인공지능
멀티모달 AI 이란
텍스트, 이미지, 오디오 등 다양한 데이터 유형 처리 AI
멀티모달 AI——텍스트, 이미지, 오디오, 비디오 등 여러 모달리티의 정보를 처리하고 이해할 수 있는 인공지능 시스템.
모달리티
- 텍스트 — 자연어 이해 및 생성
- 이미지 — 시각적 콘텐츠 분석 및 생성
- 오디오 — 음성 및 음악 인식과 합성
- 비디오 — 동적 시각 데이터 이해
- 센서 데이터 — IoT 센서 데이터
모델 예시
- GPT-4V/GPT-4o — 텍스트 + 이미지 + 오디오
- Claude 3 — 텍스트 + 이미지
- Gemini — 텍스트 + 이미지 + 오디오 + 비디오
- DALL-E 3 — 텍스트에서 이미지 생성
- Whisper — 음성 인식
기능
- 이미지 캡션 — 사진에서 텍스트 생성
- 비주얼 Q&A — 이미지에 대한 질문 답변
- 크로스모달 검색 — 텍스트로 이미지 검색
- 멀티모달 생성 — 다양한 콘텐츠 유형 생성
비즈니스 활용
- 콘텐츠 모더레이션 — 이미지와 텍스트 분석
- 문서 분석 — 스캔에서 데이터 추출
- 가상 어시스턴트 — 음성과 이미지 이해
- 마케팅 — 멀티미디어 콘텐츠 생성