Intelligence Artificielle
Qu'est-ce que Affinage
Entraînement supplémentaire d'un modèle sur des données spécifiques
Affinage — processus d'entraînement supplémentaire d'un modèle pré-entraîné sur un jeu de données spécifique pour l'adapter à une tâche ou un domaine particulier.
Approches d'Affinage
- Affinage complet — mise à jour de tous les poids du modèle
- LoRA — Low-Rank Adaptation, entraîner uniquement les adaptateurs
- QLoRA — LoRA quantifié pour économiser la mémoire
- Prompt tuning — entraîner uniquement les soft prompts
- Adapter tuning — ajouter de petits modules entraînables
Quand Utiliser
- Domaine spécifique — textes juridiques, médicaux
- Style d'entreprise — ton, terminologie de l'entreprise
- Tâche étroite — classification, extraction d'entités
- Formatage — format de réponse spécifique
Paramètres Clés
- Taux d'apprentissage — vitesse d'entraînement (généralement bas: 1e-5 — 5e-5)
- Époques — nombre d'époques (généralement 1-5)
- Taille du batch — taille du lot
- Warmup — augmentation progressive du taux d'apprentissage
Applications Business
- Chatbots d'entreprise — entraînement sur documents internes
- Classification de tickets — routage automatique des demandes
- Génération de contenu — texte style marque
- Assistants code — entraînement sur base de code entreprise