https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/#self-consistency-sampling

• 프롬프트 엔지니어링의 성능에 영향을 주는 다양한 요소들과 방법론을 제시.
• 특히 CoT (Chain of Thought)를 중심으로 다양한 프롬프팅 설계 전략을 제시하였다.
  • 그 중, Retrieval한 방법들(RAG)을 강조하는데, Self-ask하거나 external APIs를 사용한 방법들에 주목함.

Prompt Engineering이란 LLM을 효과적으로 활용하여 의도적인 결과를 도출하기 위해 사용자가 모델의 수정 없이 프롬프트를 설계하는것.

Zero-Shot 학습

• 모델에 별도의 훈련 없이 해당 작업을 요청하고, 결과를 받는 학습.

Few-Shot 학습

• 모델이 해당 작업을 수행하기 위해 몇가지 예시를 받아 특정 작업에 맥락을 이해할 수 있게 하는 학습.
• ZeroShot학습보다 좋은 성능, 하지만 Cost가 크다.
• 프롬프트 포맷, 훈련 샘플, 훈련샘플의 순서가 성능에 크게 영향을 줄 수 있다.

****

Zhao et al. (2021)이 제안한 Few-Shot시 발생하는 편향들

1. Majority Label Bias
   1. 예시들간 라벨이 불균형하게 분포되어있다면, Majority Label Bias 가 존재한다.
   2. 자주나오는 label을 더 많이 예측하려고하는 편향
2. Recency Bias
   1. 가장 마지막으로 나타난 라벨을 반복하려는 경향
3. Common Token Bias
   1. 더 자주 나타나는 토큰을 더 많이 생성하려고 함.