인공지능
미세 조정 이란
특정 데이터에 대한 모델의 추가 학습
미세 조정 — 사전 학습된 모델을 특정 데이터셋에서 추가 학습하여 특정 작업이나 도메인에 적응시키는 과정.
미세 조정 접근법
- 전체 미세 조정 — 모든 모델 가중치 업데이트
- LoRA — Low-Rank Adaptation, 어댑터만 학습
- QLoRA — 메모리 절약을 위한 양자화 LoRA
- 프롬프트 튜닝 — 소프트 프롬프트만 학습
- 어댑터 튜닝 — 작은 학습 가능 모듈 추가
사용 시기
- 특정 도메인 — 법률, 의료 텍스트
- 기업 스타일 — 회사 톤, 용어
- 좁은 작업 — 분류, 엔티티 추출
- 포맷팅 — 특정 응답 형식
핵심 매개변수
- 학습률 — 학습 속도 (보통 낮음: 1e-5 — 5e-5)
- 에포크 — 에포크 수 (보통 1-5)
- 배치 크기 — 배치 크기
- 웜업 — 학습률 점진적 증가
비즈니스 적용
- 기업 챗봇 — 내부 문서로 학습
- 티켓 분류 — 자동 요청 라우팅
- 콘텐츠 생성 — 브랜드 스타일 텍스트
- 코드 어시스턴트 — 회사 코드베이스로 학습