Définition
Les Small Language Models échangent la capacité générale contre le coût et la latence. Pour des tâches étroites (classification, extraction structurée, Q&R simple), un modèle 7B fine-tuné peut surpasser un modèle frontier à 1/30 du coût. Les SLMs sont cruciaux pour les cas d'usage à fort volume et l'IA sur appareil.
Exemple
Un Phi-3 fine-tuné (3,8B paramètres) pour l'extraction de factures, exécutant 100k requêtes par jour à $0,0001 chacune.
Comment Vedwix utilise ceci
La plupart des fonctionnalités IA en production finissent comme des SLMs fine-tunés. Nous commençons avec des modèles frontier et descendons.
Vous travaillez sur un projet de Small Language Model (SLM)?
Small Language Model (SLM).
Décrivez votre projet en trois phrases ou moins.
Démarrer un projet