[오류해결] CondaVerificationError: The package for setuptools located at ~~~ appears to be corrupted. The path ~~~ specified in the package manifest cannot be found.

# 오류 상황CondaVerificationError: The package for setuptools located at ~~~appears to be corrupted. The path ~~~specified in the package manifest cannot be found. Conda create을 하려니 위의 에러 메세지가 뜸 참고글을 확인해보니 이전에 사용했던 남은 찌꺼기들로 인한 문제로 보인다고 한다.  # 오류 해결불필요한 파일 제거 conda clean --all    Referencehttps://jangjy.tistory.com/377 CondaVerificationError를 해결하자conda 를 이용하여 특정 패키지를 설치를 시도하던 중 아래와 같은 에러를 만났다. ``` Co..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2024. 10. 22.
• textsms

[오류해결] ValueError: Model architectures ['MistralForCausalLM'] are not supported for now.

#오류 상황VLLM 사용하여 모델을 불러오는데 아래의 오류가 뜸ValueError: Model architectures ['MistralForCausalLM'] are not supported for now. Supported architectures: ['AquilaModel', 'AquilaForCausalLM', 'ArcticForCausalLM', 'BaiChuanForCausalLM', 'BaichuanForCausalLM', 'BloomForCausalLM', 'CohereForCausalLM', 'DbrxForCausalLM', 'DeciLMForCausalLM', 'DeepseekForCausalLM', 'DeepseekV2ForCausalLM', 'ExaoneForCausalLM', 'F..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2024. 10. 22.
• textsms

[오류해결] Alpaca LoRA finetuning : PEFT bug

논문 결과를 reproducing하는데 결과가 제대로 안나와서 골머리를 앓았다. 저자와 메일을 나눠서 파라미터랑 train set에 대해 조언을 받고 다시 실험을 돌려봤는데도 여전히 결과가 잘 나오지 않았다... 논문에서는 backbone model로 alpaca-7b 모델을 사용했다고 하는데 alpaca는 llama를 finetuning 한 모델이고... 그럼 "tloen/alpaca-lora" 에서 안내한 모델을 reproduce해서 그걸 한번 더 finetuning 해야하는 건지, 아니면 "huggyllama/llama-7b" 에 LoRA를 finetuning하면 그게 alpaca가 되는 거라서 그대로 사용하면 되는건지... 어렵도다.... 사실 내가 LLM implement에 대해 미숙하기도 해서..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 12. 26.
• textsms

[오류해결] RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'

돌리려는 코드가 원래 GPU 기반으로 짜여진 코드인데, CPU 환경에서 돌리니 나는 오류였다. 모델을 불러올 때, (.from_pretrained), 데이터 타입이 float16 으로 되어 있는게 문제가 되는 것 같다. 문제가 되는 것으로 추정되는 부분model = LlamaForCausalLM.from_pretrained( base_model, # load_in_8bit=True, torch_dtype=torch.float16, device_map=device_map, )참고한 링크들에 따르면 몇 가지 방법이 있었는데 코드 주석 처리 (실패) torch.set_default_tensor_type(torch.cuda.HalfTensor) 이 코드를 주석 처리 하라고 하는데, 나는 이 코드가 어디 있는지 ..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 11. 29.
• textsms

[오류해결] safetensors_rust.SafetensorError: Error while deserializing header: InvalidHeaderDeserialization

참고 : https://github.com/huggingface/transformers/issues/27397 SafetensorError: Error while deserializing header: InvalidHeaderDeserialization when open .safetensor model · Issue #27397 · h System Info Hi guys, i just fine tune alpaca (LLaMA 7B base model) with custom dataset and using trainer API. After completing the training process, I received the following error: SafetensorError ... github.c..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 11. 29.
• textsms

[오류해결] CondaValueError: Malformed version string '~': invalid character(s).

CUDA 까는 거 따라하다가 이상한 설정 해버려서 conda 명령어가 하나도 안들었음... 해결법 C:\Users\pc 경로로 가서 .condarc 파일을 연다 defaults 만 빼고 지워준다. 가상환경 문제인 줄 알고 다 지웠는데 너무 화난다 😂😂😂😂.... 참고 : https://stackoverflow.com/questions/56084960/condavalueerror-malformed-version-string-invalid-characters CondaValueError: Malformed version string '~': invalid character(s) I'm getting a Malformed version string error with my conda. I have no ide..

• format_list_bulleted 💬 LANGUAGES/Python
• · 2023. 11. 29.
• textsms