Fine-tuning

Définition

Le fine-tuning prend un modèle pré-entraîné et continue de l'entraîner sur un ensemble de données plus petit et focalisé. Le résultat est un modèle qui performe mieux sur votre tâche spécifique, généralement avec une latence et un coût inférieurs à l'appel d'un modèle frontier. Pour les tâches à fort volume (classification, extraction, sortie structurée), des petits modèles fine-tunés peuvent être 10-40x moins chers que d'appeler GPT-4 ou Claude, avec une qualité comparable sur la tâche spécifique.

Exemple

Fine-tuning d'un modèle Llama 3 sur 50 000 tickets de support pour trier et étiqueter automatiquement les problèmes entrants.

Comment Vedwix utilise ceci

Quand un client a une tâche à fort volume (plus de ~10 000 requêtes par jour), nous recommandons un fine-tune plutôt qu'un appel API presque à chaque fois. La différence de coût est souvent de 95%+.