우직한 우돗개씨 우직한 우돗개씨

CentOS 7에서 NVIDIA 드라이버를 업데이트하는 과정을 단계별로 설명해드리겠습니다:현재 드라이버 제거: 먼저 기존 드라이버를 제거해야 합니다.sudo yum remove nvidia*NVIDIA 저장소 추가:sudo yum-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo저장소 캐시 업데이트:sudo yum clean all sudo yum makecache필요한 패키지 설치:sudo yum install kernel-devel kernel-headers gcc make dkms acpid libglvnd-glx libglvnd-opengl libg..

임베딩 모델의 종류 1. Domain-Specific Model 특정 도메인에 대한 문서들로 이루어진 자료들을 사용해 학습한 모델 의료 처방전, 논문, 법 판례, 기술문서와 같은 문서로 학습 가능 분야별로 달라지는 언어적 표현과 언어의 특징을 학습하는 모델 2. General Model 주제와 상관없이 최대한 다양하고 대량의 문서들을 사용해 학습한 모델 글로벌 대기업들이 천문학적인 돈을 들여 만들어 놓음 여러 도메인에 범용적으로 사용 가능하다 ex) Text-embedding-3, Mistral 등등 3. Fine-Tuned Model 사전학습이 완료된 General Model에 특정 도메인에 특화된 문서들을 사용하여 그 도메인에 걸맞게 미세조정한 모델 -> Domain-Specific Model과 Ge..

도입 배경 기존의 chat gpt api를 사용할 시, 단발성의 질문요청과 답변을 주고 받았다 -> 이전의 대화에서 나왔던 답변에 대해 추가적인 질문을 할 수가 없는 문제가 발생 사용 코드 system_instruction = "농업 분야의 질문에 대해 상세히 설명해주세요" # Define your template with the system instruction template = ( f"{system_instruction} " "이전 대화 내용과 후속 질문을 참고하여 독립적인 질문을 만들어주세요." "대화 내역: {chat_history}" "후속 질문: {question}" ) # Create the prompt template condense_question_prompt = PromptTempla..

- 데이터 전처리 : 실제 분석과정의 70~80% 정도 소요 - 데이터 정제 : 이상값(반드시 처리할 필요는 없다!), 결측값(반드시 처리 해야함) 처리 이상값에 민감한, 민감하지 않은 분석기법 분류해서 공부 - 다중공선성 : 독립변수들 간에 강한 상관관계가 나타나는 문제 결측값 처리 방법 - 단순 대치법 1. 완전 분석법 : 불완전 자료 모두 무시 2. 평균 대치법 : 결측값 발생이 다른 변수와 관계가 있는 경우 유용함 3. 단순 확률 대치법 : 평균 대치법에 적절한 확률 값을 부여하여 대치하는 방법 평균 대치법에서 추정한 표준오차의 과소추정문제를 보완하고자 고안 Hot-Deck : 현재 진행중인 연구에서 비슷한 성향을 가진 응답자의 자료로 대체 Cold-Deck : 외부 출처 또는 이전의 비슷한 연구..

리눅스를 처음 사용하는 사람들에게는 터미널 명령어가 큰 벽처럼 느껴질 수 있는데요 (파일 옮기고, 삭제하고, 경로 이동하고... 등등) 자주 쓰이는 리눅스 명령어들을 알아보겠습니다! ls ls [옵션] [경로] 설명: 현재 디렉터리 내의 파일과 디렉터리를 나열한다 옵션을 통해 다양한 정보를 추가로 표시할 수 있음 주요 [옵션] 들을 아래 표에 나열함 옵션 기능 -a, --all 숨겨진 파일 및 디렉토리를 포함한 모든 파일을 나열 -l 파일의 상세 정보 보여줌 (소유자, 그룹, 크기, 수정 날짜 등) -h, --human-readable 파일 크기를 사람이 읽기 쉬운 형식으로 표시 (KB,MB,GB) -r, --reverse 파일을 역순으로 나열 (디폴트는 오름차순) -t 파일을 수정된 시간 순서대로 정렬..

ubuntu 서버를 사용해서 딥러닝 코드를 실행하는데 아래와 같은 warning이 발생하였다 (gpu를 활용한 딥러닝 연산보조는 정상작동함) UserWarning: Can't initialize NVML warnings.warn("Can't initialize NVML") 터미널에서 nvidia-smi를 입력하여 보았는데 아래와 같이 나오며 오류가 발생하였다 Failed to initialize NVML: Driver/library version mismatch 여기서 말하는 NVML이 뭔가 해서 찾아보니 NVML(NVIDIA Management Library)이란 NVIDIA GPU를 모니터링하고 제어하는 도구로, 보통 CUDA 프로그램에서 GPU 상태를 확인하거나 제어할 때 사용된다고 한다 이 문제는..