[논문리딩] How Language Model Hallucinations Can Snowball

개요 Proceeding of the 41st International Conference on Machine Learning (ICML) 2024🔗data&code Summary by ChatGPT-4o이 논문은 언어 모델(예: GPT-4, ChatGPT)의 환각(hallucination) 문제를 탐구하며, 특히 초기의 잘못된 정보가 이후 더 많은 오류를 유발하는 hallucination snowballing 현상을 정의하고 분석합니다. 기존 연구는 언어 모델의 환각을 지식 부족으로 설명했지만, 저자들은 초기 환각이 이후 설명에서 일관성을 유지하려는 모델의 특성 때문에 추가적인 환각을 유도한다고 주장합니다. 이를 검증하기 위해 세 가지 데이터셋(소수 판별, 상원의원 검색, 그래프 연결성)을 설계하여 ..

• format_list_bulleted 📚 STUDY/PAPER REVIEW
• · 2024. 12. 2.
• textsms

Retrieval-Augmented Generation (RAG)

1. 왜 RAG를 사용하는가?LLM은 충분하지 않다  LLM (Large Language Model) 은 매우 방대한 양의 텍스트 데이터를 학습하여 텍스트 생성, 번역, 질의응답 등 다양한 자연어 처리 작업을 수행할 수 있는 모델이다. LLM은 다양한 분야의 애플리케이션에서 활용되고 있지만 Large 하다는 특징 때문에 모델에 내제된 지식들을 업데이트하는 것이 쉽지 않다. 이러한 특징으로 인해 파생된 문제들 중, RAG 가 해결하고자 하는 문제는 다음과 같다.  LLM의 문제점- Out of date (오래된 지식)- No knowledge - Hallucination (환각 문제)  # Out of date LLM은 파라미터가 최소 7M개가 넘는 아주 거대한 모델이기 때문에 새로운 정보들로 매번 학습시..

• format_list_bulleted 📚 STUDY/AI
• · 2024. 9. 25.
• textsms