[오류해결] Alpaca LoRA finetuning : PEFT bug

논문 결과를 reproducing하는데 결과가 제대로 안나와서 골머리를 앓았다. 저자와 메일을 나눠서 파라미터랑 train set에 대해 조언을 받고 다시 실험을 돌려봤는데도 여전히 결과가 잘 나오지 않았다... 논문에서는 backbone model로 alpaca-7b 모델을 사용했다고 하는데 alpaca는 llama를 finetuning 한 모델이고... 그럼 "tloen/alpaca-lora" 에서 안내한 모델을 reproduce해서 그걸 한번 더 finetuning 해야하는 건지, 아니면 "huggyllama/llama-7b" 에 LoRA를 finetuning하면 그게 alpaca가 되는 거라서 그대로 사용하면 되는건지... 어렵도다.... 사실 내가 LLM implement에 대해 미숙하기도 해서..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 12. 26.
• textsms

[오류해결] RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'

돌리려는 코드가 원래 GPU 기반으로 짜여진 코드인데, CPU 환경에서 돌리니 나는 오류였다. 모델을 불러올 때, (.from_pretrained), 데이터 타입이 float16 으로 되어 있는게 문제가 되는 것 같다. 문제가 되는 것으로 추정되는 부분model = LlamaForCausalLM.from_pretrained( base_model, # load_in_8bit=True, torch_dtype=torch.float16, device_map=device_map, )참고한 링크들에 따르면 몇 가지 방법이 있었는데 코드 주석 처리 (실패) torch.set_default_tensor_type(torch.cuda.HalfTensor) 이 코드를 주석 처리 하라고 하는데, 나는 이 코드가 어디 있는지 ..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 11. 29.
• textsms

[오류해결] safetensors_rust.SafetensorError: Error while deserializing header: InvalidHeaderDeserialization

참고 : https://github.com/huggingface/transformers/issues/27397 SafetensorError: Error while deserializing header: InvalidHeaderDeserialization when open .safetensor model · Issue #27397 · h System Info Hi guys, i just fine tune alpaca (LLaMA 7B base model) with custom dataset and using trainer API. After completing the training process, I received the following error: SafetensorError ... github.c..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 11. 29.
• textsms

[Python/Anaconda] CUDA, Torch 설치

매번 환경 설정할 때 마다 너무 힘들다... 나를 위한 메모... 1. GPU 정보 보기 nvidia-smi - GPU : NVIDIA GeForce RTX 3090 - Driver Version : 530.30.02 - CUDA Version: 12.1 CUDA Version은 사용중인 드라이버에 추천 되는 CUDA의 버전. 2. 드라이버에 맞는 CUDA 버전 확인 이 사이트에서 확인 할 수 있다. 내가 사용하는 서버는 Linux 니까 CUDA 12.1 아래로 사용하면 되는 듯. `nvidia-smi` 에서 추천한 것도 12.1 버전이었다. 3. GPU에 맞는 CUDA 버전 확인 이 사이트에서 확인할 수 있다. `ctrl + F` 로 찾아보니 이 GPU에 호환되는 Compute capability = ..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 11. 29.
• textsms

[오류해결] CondaValueError: Malformed version string '~': invalid character(s).

CUDA 까는 거 따라하다가 이상한 설정 해버려서 conda 명령어가 하나도 안들었음... 해결법 C:\Users\pc 경로로 가서 .condarc 파일을 연다 defaults 만 빼고 지워준다. 가상환경 문제인 줄 알고 다 지웠는데 너무 화난다 😂😂😂😂.... 참고 : https://stackoverflow.com/questions/56084960/condavalueerror-malformed-version-string-invalid-characters CondaValueError: Malformed version string '~': invalid character(s) I'm getting a Malformed version string error with my conda. I have no ide..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 11. 29.
• textsms

[논문 리딩] Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models

Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models키워드CompletionGraphKGKGCPLMyear2020저자Bosung Kim et al.VenueCOLING 2020MemoLR-RP-RR. KG-BERT에 멀티 테스크 러닝을 붙임.분류연구DONE 생성 일시@2023년 11월 27일 오전 4:09최종 편집 일시@2023년 11월 27일 오후 1:05Working@inproceedings{Kim2020MultiTaskLF, title={Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models}, author={..

• format_list_bulleted 📚 STUDY/PAPER REVIEW
• · 2023. 11. 27.
• textsms