양자화2 10. AI 자동 매매 시스템 개발 과정: 모델 양자화 📝 이 글에서는 허깅페이스의 AutoTrain을 활용한 AI 자동 매매 시스템 개발 과정을 소개합니다.🔄 학습 완료된 모델을 가지고 ollama에 올리는 작업과 그 과정에서 마주친 문제들을 해결해봅니다.📊 병합한 모델을 양자화 진행 (4bit 양자화)💡 양자화란?양자화(Quantization)는 모델의 가중치를 더 적은 비트 수로 표현하여 모델 크기를 줄이고 추론 속도를 높이는 기술입니다. 일반적으로 32비트 부동소수점(FP32)으로 표현된 가중치를 더 낮은 정밀도(예: 4비트, 8비트)로 변환합니다.이를 통해 얻을 수 있는 이점:✅ 메모리 사용량 대폭 감소✅ 추론 속도 향상✅ 저사양 하드웨어에서도 대형 모델 구동 가능🔄 4bit 양자화 vs 8bit 양자화양자화 방식크기 감소메모리 사용량정확도.. 2025. 4. 10. 3. AI 용어 정리 🧸 AI 용어 쉽게 이해하기: AI 필수 용어 친절 가이드AI 분야에서는 자주 사용되지만 어렵게 느껴지는 용어들이 많습니다. 본격적으로 AI를 공부하기 전에 한번 정리하고 공부하려고 작성했습니다.🤖 AI 모델(AI Model)정의AI 모델이란, 인간의 뇌와 유사하게 설계된 디지털 지능입니다. 데이터를 통해 학습된 패턴을 바탕으로 문제 해결, 이미지 인식, 대화 생성 등 다양한 작업을 수행할 수 있습니다.쉽게 말하면마치 사람처럼 생각하고 배워서 작업을 처리할 수 있는 '디지털 두뇌'라고 생각하면 됩니다.예시"AI 모델은 마치 아주 똑똑한 로봇 두뇌 같아요. 사람들이 많은 정보를 먹여서 키운 디지털 두뇌라고 생각하면 됩니다. 이 두뇌는 질문에 답하거나, 글을 쓰거나, 그림을 그리는 등 여러 일을 할 수 .. 2025. 3. 13. 이전 1 다음 반응형
