Engineering/에러 해결 모음12 [에러] ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_scheduler' pip install torch==1.4.0 ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_scheduler' Torch 1.4.0 이후 버전에서 SAVE_STATE_WARNING 모듈이 삭제되어 발생한 오류 pip install torch==1.4.0 2023. 5. 12. [에러] packaging.version.InvalidVersion: Invalid version: '0.10.1,<0.11' packaging.version.InvalidVersion: Invalid version: '0.10.1, 2023. 5. 12. [에러] ModuleNotFoundError: No module named 'transformers.tokenization_bert' ModuleNotFoundError: No module named 'transformers.tokenization_bert' from transformers.tokenization_bert import BasicTokenizer ModuleNotFoundError: No module named 'transformers.tokenization_bert' transformers version을 2.9에서 4.27로 upgrade하니 위와 같은 에러 발생. 구글링하니, 4.0 이상의 버전에서 발생한다고 하여 3.5로 install 후 해결 pip install transformers==3.5 https://stackoverflow.com/questions/74005930/loss-does-not-decreas.. 2023. 5. 12. [에러] OSError: Can't load config for 'klue/bert-base' OSError: Can't load config for 'klue/bert-base'. Make sure that: - 'klue/bert-base' is a correct model identifier listed on 'https://huggingface.co/models' - or 'klue/bert-base' is the correct path to a directory containing a config.json file 아래 늘 실행하던 간단한 코드를 실행하는데, 에러가 발생했다. from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("klue/bert-base") 혹시, transformers가 ver.. 2023. 5. 12. [에러] AttributeError: module 'torch.distributed' has no attribute '_reduce_scatter_base' pip install torch==1.10 AttributeError: module 'torch.distributed' has no attribute '_reduce_scatter_base' python 파일을 실행하는데, 아래 부분에서 위의 에러가 났다. from transformers import ( MODEL_MAPPING, AutoConfig, AutoTokenizer, AutoModel, ) apex라는 패키지의 mapping.py에서 발생하는데, apex-0.1-py3.7.egg 파일 내에 있어서 쉽게 수정이 어려웠다. 구글링을 해보니, torch >=1.10 이어야 지원가능하다는 것 확인. https://github.com/hpcaitech/ColossalAI/issues/2673#issue.. 2023. 5. 12. [Error][Git] error: src refspec master does not match any git add와 commit 후 push를 하려는데 아래와 같은 에러가 발생 error: src refspec master does not match any push하는 사용자가 누구인지 정의가 되지 않아서 발생한 오류로 확인 아래와 같이하여 해결됨 $ git config --global user.name hyen4110 $ git config --global user.email hyen4110@tistory.com $ git init $ git add . $ git commit -m "add faiss" $ git config --global user.name hyen4110 $ git config --global user.email hyen4110@tistory.com $ git push -u ori.. 2023. 1. 17. [Error] A load persistent id instruction was encountered 딥러닝 모델 예측 파일 실행하는데 아래와 같은 에러가 발생 A load persistent id instruction was encountered but no persistent\_load function was specified. 살펴보니, .bin 파일을 pickle로 load해서 발생했음 (이전에 작성한 코드 줄을 지우지 않아서 발생) 지우고나서 정상적으로 작동함 확인 https://stackoverflow.com/questions/66337562/unpicklingerror-a-load-persistent-id-instruction-was-encountered-but-no-persis 2023. 1. 12. [Error] EOFError : Ran out of input 유사문서 매칭 모델 서비스에서 문서 텍스트를 BERT 계열 언어모델을 사용하여 embedding vector로 전환한 후, faiss 라이브러리를 통해 유서 문서 검색 기능을 제공하고 있다. 좀 더 자세히말하자면, faiss index를 생성한 후, 검색 대상 문서(Document Pool)에 embedding vector를 추가하는데 저장해놓은 pickle파일 형태의 벡터를 불러온다. 이때, EOFError : Ran out of input 에러가 발생 원인을 파악한 결과, 새로운 문서가 추가 되거나 인코더 역할을 하는 언어모델을 교체하여 새로운 인덱싱을 진행한 후 파일을 다시 저장할때, 즉, 아래처럼 with open을 'wb'로 실행할 때 비정상적으로 기능이 종료가되어 파일이 손상된 것이 원인이었다.. 2022. 12. 12. [VSCode] SSH 원격 서버 연결 오류 반복 원래 정상적으로 SSH 연결이 잘 되었던 서버인데, 연결이 안되고 비밀번호를 계속 다시 입력하라는 창이 뜬다면, 아래와 같이 해보자. [F1]을 누르고 'uninstall'만 입력하면 아래와 같이된다 'Remote-SSH: Uninstall VS Code Server from Host...' 클릭하고 문제 서버를 클릭한 후 재연결하면 해결됨 2022. 12. 2. [Error] FileNotFoundError: No usable temporary directory found in ['/tmp', '/var/tmp', '/usr/tmp' 어제까지 잘 실행되었는데 오늘 갑자기 에러가 났다 FileNotFoundError: \[Errno 2\] No usable temporary directory found in \['/tmp', '/var/tmp', '/usr/tmp' ..\] 저장 공간이 부족하다는 의미인것 같아서, 가장 빨리 해볼 수 있는 conda clean --all 을 해줬더니 conda clean --all : 사용하지 않는 packages 나 cache 제거 아래처럼 총 9GB 이상의 파일이 삭제되었다. 그리고 정상적으로 실행됨 확인 2022. 11. 24. [NVIDIA] Linux NVIDIA driver 설치 오류 - 'exit X before installing' 리눅스 NVIDIA driver 수동 설치 중 아래 에러 발생 You appear to be running an X server; please exit X before installing. For further details, please see the section INSTALLING THE NVIDIA DRIVER in the README available on the Linux driver download page at www.nvidia.com 1. 아래 명령어로 DisplayManager를 비활성화 시킨후 실행 systemctl isolate multi-user.target 2. 설치 완료 후에는 다시 활성화 시키기! systemctl start graphical.target 아래 글을 참고함 .. 2022. 11. 9. [Error] ModuleNotFoundError : No modul named 'torch' [Torch import 에러] import에 문제 없던 torch 라이브러리가 갑자기 실행이 안되었다. ModuleNotFoundError : No modul named 'torch' 다시 conda install torch를 했지만, 이미 설치되어 있다는 메세지.. 구글링을 하던 중, 파일을 python 2.xx버전으로 실행했을때 오류발생 한다는 글을 보고 python main.py가 아닌 python3 main.py로 실행하니 되었다.. https://github.com/pytorch/pytorch/issues/5563 2022. 10. 11. 이전 1 다음
