Paper
https://arxiv.org/abs/2305.10355
Evaluating Object Hallucination in Large Vision-Language Models
Inspired by the superior language abilities of large language models (LLM), large vision-language models (LVLM) have been recently explored by integrating powerful LLMs for improving the performance on complex multimodal tasks. Despite the promising progre
arxiv.org
Introduction
배경
- text encoder 대신 powerful LLM을 활용 & vision-language pre-train 후 visual instruction tuning을 통해 LVLM 만듦 -> 성능 향상
- object hallucination이란 given image에 있는 ground-truth object와 inconsistent한 내용을 생성하는 현상
- coarse-grained (object 자체)와 fine-grained (object의 attribute, characteristic 등)의 수준으로 구분 가능
- 본 논문은 coarse-grained에 초점을 맞춤
- 본 논문의 목적은 LVLM에 object hallucination 발생하고 있는지 평가하는 것
contribution
- 대표적인 LVLM이 hallucination에 취약하다는 사실을 밝힘
- 왜 취약한 지 원인을 조사
- object hallucination evaluation approach, POPE를 제시함
Object hallucination in LVLMs
preliminary experiments
- 여러 LVLM + MSCOCO dataset을 CHAIR metric으로 평가한 결과 (값이 높을수록 hallucination에 취약한 것)
- -: instruction 없이 문제만 / I1: Generate a short caption of the image / I2: Provide a brief description of the given image
- 대부분의 모델들이 hallucination에 걸림, 심지어 small vision-language model보다 낮은 성능을 보이기도 함
- InstructBLIP은 다른 모델에 비해 hallucination에 잘 걸리지 않은데, 그 이유는 InstructBLIP의 visual instruction data의 길이가 상대적으로 짧기 때문으로 추측할 수 있음. 다른 모델들의 visual instruction은 LLM으로부터 생성되어 상대적으로 길고 많은 정보가 포함되어 있어, 이것이 unexpected descriptive information을 포함하는 hallucination을 일으킬 수 있음
- 또한, existing object hallucination evaluation method가 적절하지 않음. CHAIR의 문제는, 1) instruction의 뜻이 같아도 다른 형태면 평가 결과가 달라짐 (unstable), 2) CHAIR는 LVLM의 generation의 mentioned objects가 hallucinate된 것인지 아닌지를 조사해야 하는데, 이는 복잡한 rule이 필요하기 때문에 평가가 어려움
- Polling-based Object Probing Evaluation (POPE) 제시 -> instruction-based evaluation을 yes-or-no evaluation으로 바꿈으로써 more stable & flexible 평가 가능 (e.g., Is there a car in the image?)
Influence of Instruction Data on Object Hallucination
hypotheses
- 대부분의 visual instruction tuning dataset으로 MSCOCO를 이용하는데, 이때 튜닝된 모델은 COCO 데이터셋에 많이 등장하는 object를 생성하려고 하는 bias가 존재
- given image의 ground-truth object와 co-occurring object groups (e.g., laptop-mouse-keyboard)가 발생할 확률이 높음 (e.g., laptop이 ground-truth로 등장하면 mouse가 없는데도 mouse를 언급함)
qualitative analysis
- (a): MSCOCO에서 가장 많이 나온 top-10 object가 hallucinate된 횟수 count
- (b): dining table 단어와 가장 많이 나온 top-10 object가, 실제로 dining table이 포함된 image에서 발생한 hallucination 횟수 count
quantitative analysis
- n: the total number of images: image 개수 (하나의 image 당 여러 개의 objects가 있으므로 여러 개의 hallucination이 발생할 수 있음)
- Hallucinated(i): the number of hallucinated objects in the i-th example: i번째 image에서 발생한 hallucinate된 obejct 개수
- Hit@k(i): the number of top-k frequently appearing MSCOCO objects in Hallucinated(i): i번째 image에서 발생한 hallucinate된 object 중 top-k frequent에 속하는 objects 개수
- Hit@k(i, o): the number of top-k frequently co-occurring objects with the probing object o in Hallucinated(i): i번째 image에서 발생한 hallucinate된 object 중 probing object o (ground-truth object 중 하나; dining table)와 top-k co-occurring하는 objects 개수
- 즉, HR@k는 전체 hallucinated objects 중 most frequent objects / co-occurring objects의 비율이 어느 정도로 큰 지 측정함
- k=10일 때, HR_A의 수치가 0.5~0.6인 것으로 보아 i번째 image에서 생성된 response에서 발생한 hallucinated objects의 절반 이상은 top-k frequent objects / dining table과 co-occurring objects임
POPE
exisitng evaluation method의 한계
- 평가가 instruction에 민감하며 short caption에 bias됨 (e.g., InstructBLIP의 성능이 다른 모델에 비해 더 잘 나옴)
- 모델의 response를 parsing해야 하는 번거로움이 있음
dataset
- long response를 요구하는 instruction 대신 yes/no 대답을 요구하는 prompt로 변경 -> 깔끔한 평가 가능
- sampling strategies를 이용해 LVLM이 쉽게 hallucinate되는 objects를 추출해 hard question 생성
- 하나의 데이터가 <image, {q(oi), ai}_i=1~l>으로 구성돼 있음. 즉, image x에 대해 l개의 question-answer 쌍이 있는데, 이는 i번째 object oi에 대한 것임. 또한 q(oi)는 yes/no로 답할 수 있는 문제이며 (e.g., Is there a/an <object> in the image?) ai는 yes/no 중 하나임
- oi는 annotations 또는 automatic segmentation tools (e.g., SEEM)으로부터 얻을 수 있음 (annotations이란 image에 있는 물체의 이름들)
pipeline
- human annotation 또는 SEEM으로 ground-truth objects를 구함
- nonexistent objects (response가 no인 예제)를 만들기 위해 negative sampling 이용
- random sampling: image에 존재하지 않는 objects를 랜덤으로 추출
- popular sampling: image에 존재하지 않는 top-k frequent objects 추출 (k=l/2)
- adversarial sampling: 모든 ground-truth objects와 co-occurring하는 모든 objects를 나열하고, 그 중에서 image에 존재하지 않는 top-k frequent objects 추출
- most frequent & gt와 co-occurring한 object에 대한 질문일수록 모델이 hallucinate될 가능성이 높기 때문에 어려운 문제가 됨
results
- 500 images with more than 3 ground-truth objects and construct 6 questions for each image (l=6)
- llava, multimodal-GPT, mPLUG-Owl은 yes bias를 보임 (overconfident) -> no가 정답인 예제에 대해선 낮은 acc를 보임
- 모델의 성능이 random > popular > adversarial 순으로 감소하고 있는데, 이는 모델이 most frequent / co-occurring with ground-truth object objects에 쉽게 hallucinate된다는 것을 증명함
analysis
- stability: instruction에 민감하고 short response bias된 평가를 하는 CHAIR와 다르게 prompt가 달라져도 충분히 작은 std로 안정성을 보임
- scalability: automatic segmentation tool (e.g., SEEM)을 이용해 annotation이 없는 데이터셋에 대해서도 쉽게 POPE 데이터셋 형태로 확장할 수 있음
- consistency: 모델의 yes/no response와 모델의 caption response를 비교함. no 대답을 받은 1301/1445개의 objects가 0/5개의 caption에 포함되어 있었음. yes 대답을 받은 664/1034개의 objects가 664/961개의 caption에 포함되어 있었음.
impact of hallucination on vision tasks
- 정말 hallucination이 다른 vision task에 부정적인 영향을 끼칠까?
- POPE와 VQA의 성능 차이를 보아, hallucination에 잘 걸리지 않는다고 항상 VQA를 잘하는 것은 아님.
Limitation
object hallucination에만 집중하고, LVLM의 overall performance를 평가하지 못함.
가끔 LVLM이 yes/no로 답하지 않아 부정확한 평가가 됐을 수도 있음.
SEEM을 사용해 annotation을 추출하기 때문에 human-labeled의 결과와 다를 수 있음.