[Python] office, pdf, eml 파일 불러오기

# LangChain 모듈 사용하는 방법langchain에서 제공하는 document_loaders 를 이용하면 파일의 내용들을 손쉽게 파싱할 수 있다.PDF: PyPDFLoadereml: UnstructuredEmailLoaderxlsx: UnstructuredExcelLoaderdocx: Docx2txtLoaderpptx: UnstructuredPowerPointLoaderfrom langchain_community.document_loaders import ( PyPDFLoader, # .pdf UnstructuredEmailLoader, # .eml UnstructuredExcelLoader, # .xlsx, .xls Docx2txtLoader, # .docx Unstr..

• format_list_bulleted Python
• · 2024. 12. 4.
• textsms

[Python/LangChain] 세션관리

Session 상태 관리LangChain을 장시간 실행하면 세션 상태나 캐싱 문제로 인해 Retrieval 데이터가 업데이트되지 않거나, 이전 데이터를 참조하는 문제가 발생할 수 있습니다. 해결 방법1. Session Refresh특정 간격마다 Retriever 또는 Chain 객체를 재생성하세요:retriever = vector_store.as_retriever()qa_chain = RetrievalQA.from_chain_type( llm=llm, retriever=retriever) 2. Cache 비활성화LangChain이나 OpenAI API의 캐싱이 활성화되어 이전 응답이 반복될 수 있습니다. 캐싱을 비활성화하거나 적절히 관리하세요:import osos.environ["LANGCHA..

• format_list_bulleted Python
• · 2024. 11. 18.
• textsms

[오류해결] CondaVerificationError: The package for setuptools located at ~~~ appears to be corrupted. The path ~~~ specified in the package manifest cannot be found.

# 오류 상황CondaVerificationError: The package for setuptools located at ~~~appears to be corrupted. The path ~~~specified in the package manifest cannot be found. Conda create을 하려니 위의 에러 메세지가 뜸 참고글을 확인해보니 이전에 사용했던 남은 찌꺼기들로 인한 문제로 보인다고 한다.  # 오류 해결불필요한 파일 제거 conda clean --all    Referencehttps://jangjy.tistory.com/377 CondaVerificationError를 해결하자conda 를 이용하여 특정 패키지를 설치를 시도하던 중 아래와 같은 에러를 만났다. ` Co..

• format_list_bulleted Python
• · 2024. 10. 22.
• textsms

[오류해결] ValueError: Model architectures ['MistralForCausalLM'] are not supported for now.

#오류 상황VLLM 사용하여 모델을 불러오는데 아래의 오류가 뜸ValueError: Model architectures ['MistralForCausalLM'] are not supported for now. Supported architectures: ['AquilaModel', 'AquilaForCausalLM', 'ArcticForCausalLM', 'BaiChuanForCausalLM', 'BaichuanForCausalLM', 'BloomForCausalLM', 'CohereForCausalLM', 'DbrxForCausalLM', 'DeciLMForCausalLM', 'DeepseekForCausalLM', 'DeepseekV2ForCausalLM', 'ExaoneForCausalLM', 'F..

• format_list_bulleted Python
• · 2024. 10. 22.
• textsms

[오류해결] Alpaca LoRA finetuning : PEFT bug

논문 결과를 reproducing하는데 결과가 제대로 안나와서 골머리를 앓았다. 저자와 메일을 나눠서 파라미터랑 train set에 대해 조언을 받고 다시 실험을 돌려봤는데도 여전히 결과가 잘 나오지 않았다... 논문에서는 backbone model로 alpaca-7b 모델을 사용했다고 하는데 alpaca는 llama를 finetuning 한 모델이고... 그럼 "tloen/alpaca-lora" 에서 안내한 모델을 reproduce해서 그걸 한번 더 finetuning 해야하는 건지, 아니면 "huggyllama/llama-7b" 에 LoRA를 finetuning하면 그게 alpaca가 되는 거라서 그대로 사용하면 되는건지... 어렵도다.... 사실 내가 LLM implement에 대해 미숙하기도 해서..

• format_list_bulleted Python
• · 2023. 12. 26.
• textsms

[오류해결] RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'

돌리려는 코드가 원래 GPU 기반으로 짜여진 코드인데, CPU 환경에서 돌리니 나는 오류였다. 모델을 불러올 때, (.from_pretrained), 데이터 타입이 float16 으로 되어 있는게 문제가 되는 것 같다. 문제가 되는 것으로 추정되는 부분model = LlamaForCausalLM.from_pretrained( base_model, # load_in_8bit=True, torch_dtype=torch.float16, device_map=device_map, )참고한 링크들에 따르면 몇 가지 방법이 있었는데 코드 주석 처리 (실패) torch.set_default_tensor_type(torch.cuda.HalfTensor) 이 코드를 주석 처리 하라고 하는데, 나는 이 코드가 어디 있는지 ..

• format_list_bulleted Python
• · 2023. 11. 29.
• textsms