Искусственный интеллект
Что такое Трансферное обучение
Перенос знаний из одной задачи в другую
Трансферное обучение — техника ML, при которой модель, обученная на одной задаче, используется как отправная точка для решения другой задачи.
Типы трансферного обучения
- Feature extraction — заморозка базовой модели, обучение только верхних слоёв
- Fine-tuning — дообучение части или всех слоёв
- Domain adaptation — адаптация к новому домену данных
- Multi-task learning — обучение на нескольких задачах одновременно
Преимущества
- Меньше данных — не нужен огромный датасет для новой задачи
- Быстрее обучение — начинаем не с нуля
- Лучшее качество — используем знания из большого датасета
- Экономия ресурсов — меньше вычислений для обучения
Популярные предобученные модели
- Изображения — ResNet, VGG, EfficientNet, CLIP
- Текст — BERT, GPT, T5, LLaMA
- Аудио — Wav2Vec, Whisper
- Мультимодальные — CLIP, BLIP, Flamingo
Применение в бизнесе
- Классификация изображений — перенос с ImageNet на корпоративные данные
- NLP задачи — перенос с BERT на специфический домен
- Медицина — перенос общей модели на медицинские изображения
- Стартапы — быстрый запуск ML без больших датасетов