[논문리딩] How Language Model Hallucinations Can Snowball

[논문리딩] How Language Model Hallucinations Can Snowball

개요 Proceeding of the 41st International Conference on Machine Learning (ICML) 2024🔗data&code Summary by ChatGPT-4o이 논문은 언어 모델(예: GPT-4, ChatGPT)의 환각(hallucination) 문제를 탐구하며, 특히 초기의 잘못된 정보가 이후 더 많은 오류를 유발하는 hallucination snowballing 현상을 정의하고 분석합니다. 기존 연구는 언어 모델의 환각을 지식 부족으로 설명했지만, 저자들은 초기 환각이 이후 설명에서 일관성을 유지하려는 모델의 특성 때문에 추가적인 환각을 유도한다고 주장합니다. 이를 검증하기 위해 세 가지 데이터셋(소수 판별, 상원의원 검색, 그래프 연결성)을 설계하여 ..

  • format_list_bulleted 📚 STUDY/PAPER REVIEW
  • · 2024. 12. 2.
  • textsms
[논문 리딩] Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models

[논문 리딩] Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models

Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models키워드CompletionGraphKGKGCPLMyear2020저자Bosung Kim et al.VenueCOLING 2020MemoLR-RP-RR. KG-BERT에 멀티 테스크 러닝을 붙임.분류연구DONE 생성 일시@2023년 11월 27일 오전 4:09최종 편집 일시@2023년 11월 27일 오후 1:05Working@inproceedings{Kim2020MultiTaskLF, title={Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models}, author={..

  • format_list_bulleted 📚 STUDY/PAPER REVIEW
  • · 2023. 11. 27.
  • textsms
[논문 리딩] Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable Approach

[논문 리딩] Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable Approach

Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable Approach키워드CompletionGraphKGKGCLLMyear2022저자Xin Lv VenueACL Findings 2022MemoPKGC. PLM의 입력으로 triple prompt + support prompt 사용.분류연구DONE생성 일시@2023년 11월 21일 오후 3:13최종 편집 일시@2023년 11월 27일 오전 3:10Working@inproceedings{Lv2022DoPM, title={Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable..

  • format_list_bulleted 📚 STUDY/PAPER REVIEW
  • · 2023. 11. 27.
  • textsms
[논문 리딩] KG-BERT: BERT for Knowledge Graph Completion

[논문 리딩] KG-BERT: BERT for Knowledge Graph Completion

KG-BERT: BERT for Knowledge Graph Completion키워드CompletionGraphKGKGCPLMyear2019저자Liang YaoVenueArXiv 2019MemoKG-BERT.분류연구DONE생성 일시@2023년 11월 21일 오후 2:30최종 편집 일시@2023년 11월 22일 오후 12:19Working@article{Yao2019KGBERTBF, title={KG-BERT: BERT for Knowledge Graph Completion}, author={Liang Yao and Chengsheng Mao and Yuan Luo}, journal={ArXiv}, year={2019}, volume={abs/1909.03193}, url={https://api.seman..

  • format_list_bulleted 📚 STUDY/PAPER REVIEW
  • · 2023. 11. 22.
  • textsms
[논문 리딩] Direct Preference Optimization: Your Language Model is Secretly a Reward Model

[논문 리딩] Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Direct Preference Optimization: Your Language Model is Secretly a Reward Model키워드LLMyear2023저자Rafael Rafailov et al.VenueArXivMemoDPO. 분류연구DONE생성 일시@2023년 11월 19일 오후 5:54최종 편집 일시@2023년 11월 20일 오후 12:08Working@article{Rafailov2023DirectPO, title={Direct Preference Optimization: Your Language Model is Secretly a Reward Model}, author={Rafael Rafailov and Archit Sharma and Eric Mitchell and Stefano..

  • format_list_bulleted 📚 STUDY/PAPER REVIEW
  • · 2023. 11. 20.
  • textsms
728x90