ollama3 10. AI 자동 매매 시스템 개발 과정: 모델 양자화 📝 이 글에서는 허깅페이스의 AutoTrain을 활용한 AI 자동 매매 시스템 개발 과정을 소개합니다.🔄 학습 완료된 모델을 가지고 ollama에 올리는 작업과 그 과정에서 마주친 문제들을 해결해봅니다.📊 병합한 모델을 양자화 진행 (4bit 양자화)💡 양자화란?양자화(Quantization)는 모델의 가중치를 더 적은 비트 수로 표현하여 모델 크기를 줄이고 추론 속도를 높이는 기술입니다. 일반적으로 32비트 부동소수점(FP32)으로 표현된 가중치를 더 낮은 정밀도(예: 4비트, 8비트)로 변환합니다.이를 통해 얻을 수 있는 이점:✅ 메모리 사용량 대폭 감소✅ 추론 속도 향상✅ 저사양 하드웨어에서도 대형 모델 구동 가능🔄 4bit 양자화 vs 8bit 양자화양자화 방식크기 감소메모리 사용량정확도.. 2025. 4. 10. 5. 추론 결과 가공 Ollama API 응답 결과 가공하기: 효과적인 프롬프트 결과 파싱 기법들어가며로컬 LLM을 구축하고 API를 통해 상호작용하는 방법을 알아보았다면, 이제 API 응답 결과를 어떻게 효과적으로 가공하고 활용할지 고민해볼 차례입니다. 특히 문서 요약, 키워드 추출과 같은 응용 분야에서는 AI 모델의 응답을 정확하게 파싱하고 구조화된 형태로 변환하는 것이 매우 중요합니다.이 글에서는 Ollama API를 통해 받은 응답 데이터를 처리하는 다양한 방법과 각 방식의 장단점을 살펴보겠습니다.프롬프트 응답 파싱의 중요성LLM은 기본적으로 텍스트 형태의 응답을 생성합니다. 이 텍스트를 그대로 사용하는 것은 간단하지만, 자동화된 시스템에서는 응답에서 특정 정보를 추출하고 구조화된 형태로 변환해야 하는 경우가 많습니다.. 2025. 3. 22. 4. 로컬 LLM 구축하기 로컬 LLM 구축하기: Ubuntu 24.04에서 Ollama로 추론 서버 만들기들어가며인공지능 기술의 발전으로 이제는 누구나 강력한 언어 모델(LLM)을 자신의 컴퓨터에서 실행할 수 있게 되었습니다. 특히 주식, 암호화폐 트레이딩과 같은 민감한 재무 데이터를 다룰 때는 데이터의 프라이버시가 중요하기 때문에 로컬에서 실행되는 LLM의 가치가 더욱 빛납니다.이 글에서는 Ubuntu 24.04 환경에서 Ollama를 설치하고, 고성능 모델(DeepSeek-R1-Distill-Qwen-32B)을 설정하는 전체 과정을 상세히 알아보겠습니다. 이 가이드를 따라하면 클라우드 API에 의존하지 않고도 강력한 AI 서버를 구축할 수 있습니다.Ollama란 무엇인가?Ollama는 로컬 환경에서 대규모 언어 모델(LLM).. 2025. 3. 13. 이전 1 다음 반응형
