Few-Shot Prompting

<aside> 📖

Few-Shot Prompting

Zero-shot prompting은 복잡한 문제 수행에 한계가 있었다.

이를 Few-shot 즉, 몇 개의 예제나 시연(Demonstrations)을 같이 넘겨 LLM이 더 적절한 답변을 추론하도록 한다.

</aside>

• 어렵고 복잡한 과제일수록, 예제를 추가하면 모델의 추론 능력을 올려 해결할 수 있다.
• 예제
• Few-Shot Prompting 한계

<aside> 📑

논문: Language Models are Few-Shot Learners

</aside>

• 지표: 파라미터 수

<aside> 📑

논문: Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?

• 예시를 사용하면 모델 성능을 향상 시킬 수 있다.

• 정답 라벨(Gold labels)이 가장 좋지만, 랜덤 예시도 모델 추론에 도움이 된다.

• 올바른 입력-라벨 형식을 유지하는 것이 중요하다. </aside>

• 분류 작업: 예시의 중요성

• 멀티 초이스 작업: 라벨 형식의 중요성

• Fomating 예제