민공기

Paperhttps://aclanthology.org/2024.naacl-long.237.pdf AbstractLLM이 주어진 맥락 (non-parametric knowledge from input prompts)보다 encoded prior knowledge (parametric knowledge from pre-training)에 과도하게 의존하면서 nonfactual/contextually unfaithful한 응답을 생성하는 경향이 있다. 즉, 추론 단계에서 모델이 context와 prior knowledge를 어떻게 효과적으로 균형을 이루도록 할 것인지에 대한 연구가 필요하다. 본 논문은 adversarial irrelevant passage를 negative sample로 설정한 contras..

Paperhttps://aclanthology.org/2024.findings-acl.814.pdf AbstractReverse Prompt Contrastive Decoding (ROSE)는 추가적인 후련 없이도 LLM의 safety를 함양할 수 있는 방법론이다. 잘 설계된 ㄱreverse prompt와 contrastive decoding을 사용해 safe output의 확률은 크게 하고 undesired output의 확률은 작게 함으로써 6개의 safety task와 2개의 general task에서 성능 향상을 보였다. Introductioninstruction-tuned LLM이 harfmul & unethical한 내용을 생성하는 문제가 잔존한다. 이를 해결하기 위해 Reinforcement..

Paperhttps://arxiv.org/pdf/2309.03883 Abstract본 논문은 pretrained LLM에서 발생하는 hallucination을 줄일 수 있는 간단한 (external knowledge를 검색할 필요도, additional fine-tuning도 필요 없는) decoding 전략인 Decoding by Contrasting Layers (DoLa)를 제시한다. DoLa는 하나의 모델에서 later layers의 logit과 earlier layers의 logit 값의 차이를 이용해서 next-token distribution을 구한다. DoLa는 특히 factual knowledge를 truthful하게 잘 디코딩한다는 특징이 있다. IntroductionLLM에서의 ha..

Paperhttps://arxiv.org/pdf/2311.08981 Abstract본 논문은 smaller LM을 활용해 speculative decoding과 contrastive decoding을 합친 speculative contrastive decoding (SCD)를 제시하여 추론 속도 향상 + 좋은 성능을 내는 디코딩 방법을 고안한다. IntroductionLM은 추론 시 auto-regressive하게 토큰을 생성하기 때문에, 불가피하게 추론 시에는 많은 계산 비용을 사용한다. speculative decoding (SD)은 smaller LM이 다수의 연속적인 토큰을 생성한 뒤, 생성된 토큰을 larger model이 검토하며 쓸만한 토큰은 살리고 잘못된 토큰은 large model의 출..

Paperhttps://aclanthology.org/2024.naacl-short.69.pdf AbstractLanguage model (LM)은 주어진 input context에 충분히 주목하지 못하기 때문에 unfaithful하고 hallucinate된 출력을 생성한다. 본 논문은 context-aware decodng (CAD)를 제시하여 모델에게 context가 주어졌을 때와 그렇지 않았을 때의 출력 확률 분포 차이를 이용해서 hallucination 문제를 완화한다. CAD는 추가적인 훈련 없이 적용 가능하며, 특히 모델의 prior knowledge와 given context가 모순되는 경우, given context가 prior knowledge를 override하여 knowledge co..

📚 Paperhttps://arxiv.org/abs/2402.10200 Chain-of-Thought Reasoning Without PromptingIn enhancing the reasoning capabilities of large language models (LLMs), prior research primarily focuses on specific prompting techniques such as few-shot or zero-shot chain-of-thought (CoT) prompting. These methods, while effective, often involve manuallarxiv.org AbstractLLM의 reasoning ability를 향상시키는 기존의 연구는 f..

📚 Paperhttps://arxiv.org/pdf/2210.15097 🌟요약amateur LM은 expert LM에 비해 간단한 내용 (e.g., grammatical structure, common sense)를 학습하기 때문에 repetitive, incoherence와 같은 failure가 많다. Contrastive Decoding은 expert LM의 log prob에서 amateur LM의 log prob을 빼줌으로써 expert LM에서 undesirable output을 야기하는 특징들을 penalize (제거) 하고 expert LM에서 desirable (good) feature를 emphasize한다. 이때, amateur LM은 expert LM이 실수할 수 있는 부분을 빼줘야..