Paperhttps://aclanthology.org/2024.naacl-short.69.pdf AbstractLanguage model (LM)은 주어진 input context에 충분히 주목하지 못하기 때문에 unfaithful하고 hallucinate된 출력을 생성한다. 본 논문은 context-aware decodng (CAD)를 제시하여 모델에게 context가 주어졌을 때와 그렇지 않았을 때의 출력 확률 분포 차이를 이용해서 hallucination 문제를 완화한다. CAD는 추가적인 훈련 없이 적용 가능하며, 특히 모델의 prior knowledge와 given context가 모순되는 경우, given context가 prior knowledge를 override하여 knowledge co..
