llm 학습1 10. AI 자동 매매 시스템 개발 과정: 모델 양자화 📝 이 글에서는 허깅페이스의 AutoTrain을 활용한 AI 자동 매매 시스템 개발 과정을 소개합니다.🔄 학습 완료된 모델을 가지고 ollama에 올리는 작업과 그 과정에서 마주친 문제들을 해결해봅니다.📊 병합한 모델을 양자화 진행 (4bit 양자화)💡 양자화란?양자화(Quantization)는 모델의 가중치를 더 적은 비트 수로 표현하여 모델 크기를 줄이고 추론 속도를 높이는 기술입니다. 일반적으로 32비트 부동소수점(FP32)으로 표현된 가중치를 더 낮은 정밀도(예: 4비트, 8비트)로 변환합니다.이를 통해 얻을 수 있는 이점:✅ 메모리 사용량 대폭 감소✅ 추론 속도 향상✅ 저사양 하드웨어에서도 대형 모델 구동 가능🔄 4bit 양자화 vs 8bit 양자화양자화 방식크기 감소메모리 사용량정확도.. 2025. 4. 10. 이전 1 다음 반응형
