민공기

코드를 로컬 VS code로 보면 아래 사진과 같이 conflict가 나는 경우가 있다. 이 경우, 파일에 들어가보면 conflict가 난 부분이 있는데 그 부분을 지워주고 다시 그 파일을 원격에 push해주면 된다. # evaluate.py에서 conflict난 부분 수정git add evaluate.pygit commit -m "fix conflict"git push

다른 사람과 함께 깃허브를 쓰다 보니 항상 merge 에러가 나서 고생했던 기억 ... 이 기회에 명확하게 정리해보려고 한다!! 먼저, 내가 기존에 로컬 -> 원격 push하는 방법은 아래와 같았다.git add .git commit -m "commit_message"git push 잘 될 때도 있었지만, 로컬과 원격의 내용이 다르다며 push가 실패하는 경우도 있었다. 클로드에게 물어보니 ... 기존의 방법이 잘 되는 경우는, 완전히 새로운 파일/폴더를 push하는 경우다. 원격: A → B → C로컬: A → B → C → D (내가 추가) 기존의 방법이 실패하는 경우는, 원격에서 또다른 사용자가 push한 내용을 내가 덮어씌울려고 하는 경우다.원격: A → B → C → E (다른 사람이 추가)로컬..

Paperhttps://arxiv.org/pdf/2410.09962 Introductionbenchmark의 종류 discriminative evaluations: Y/N, multiple choices (e.g., object가 image에 존재하는가?)generative evaluations: MLLM의 response를 LLM evaluator로 hallucinate되었는지 아닌지 평가함기존 benchmark & evaluation의 한계too simple to tell much on the cause of hallucination and to be applied to real-world scenariooff-the-shelf object annotation을 benchmark에 그대로 사용하기 때..

Paperhttps://arxiv.org/abs/2402.03190 Unified Hallucination Detection for Multimodal Large Language ModelsDespite significant strides in multimodal tasks, Multimodal Large Language Models (MLLMs) are plagued by the critical issue of hallucination. The reliable detection of such hallucinations in MLLMs has, therefore, become a vital aspect of model evaluation aarxiv.org Introductionexisting hallu..

Paperhttps://arxiv.org/abs/2304.08485 Visual Instruction TuningInstruction tuning large language models (LLMs) using machine-generated instruction-following data has improved zero-shot capabilities on new tasks, but the idea is less explored in the multimodal field. In this paper, we present the first attempt to use larxiv.org Introduction배경언어가 이미지를 설명하는 것에서 더 나아가, user instruction을 따를 수 있는 inte..

Paperhttps://arxiv.org/abs/2305.10355 Evaluating Object Hallucination in Large Vision-Language ModelsInspired by the superior language abilities of large language models (LLM), large vision-language models (LVLM) have been recently explored by integrating powerful LLMs for improving the performance on complex multimodal tasks. Despite the promising progrearxiv.org Introduction배경text encoder 대신 p..

Paperhttps://arxiv.org/abs/2501.02189 A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and ChallengesMultimodal Vision Language Models (VLMs) have emerged as a transformative topic at the intersection of computer vision and natural language processing, enabling machines to perceive and reason about the world through both visual and textual modalities. ..

Paperhttps://arxiv.org/abs/2310.14566 HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language MWe introduce HallusionBench, a comprehensive benchmark designed for the evaluation of image-context reasoning. This benchmark presents significant challenges to advanced large visual-language models (LVLMs), such as GPT-4V(Vision), ..

큰 모델을 GPU에 올리다 보면 CUDA out of memory 에러가 빈번하게 날 수 있다. device_map="auto"로 사용 가능한 모든 GPU에 자동으로 모델을 나눠서 올리는 것인데, 내가 원하는 GPU를 적접 정하고 싶은 경우에는 어떻게 할까? 내 경우에는 랩실 사람들끼리 사용하기로 한 GPU를 나눠서 지정했기 때문에 아래 방법을 찾아보게 되었다. config.py에 device_map을 정의하고, 모델을 정의한 device_map으로 분산시켜 올린다. ## opt-13b에 대한 레이어 분산 설정device_map = { "model.decoder.embed_tokens": 0, "model.decoder.embed_positions": 0, "model.de..

필요 없는 가상환경은 메모리만 낭비하기 때문에 지워야 한다. 그러나 나중에 reproduce하기 위해서는 현재 가상환경의 셋팅이 필요하다. 그럴 때, 현재 가상환경에 설치된 라이브러리/패키지를 requirements.txt 파일로 저장한 뒤, 나중에 다시 설치해주면 같은 가상환경을 사용할 수 있다. conda activate env_name # 내 가상환경 활성화cd my_dir # requirements.txt 파일을 생성하고 싶은 디렉토리로 이동pip freeze > requirements.txt # 이제 현재 가상환경 삭제 가능 # 나중에 가상환경 복구하고 싶을 때conda activate new_env # 새로운 가상환경 생성 후 활성화pip install -r requirements.txt #..