LoRA

Définition

LoRA gèle les poids LLM originaux et entraîne de petites matrices de bas rang qui modifient le comportement du modèle. Le résultat : une fraction du stockage et du compute du fine-tuning complet, avec une qualité souvent comparable. Les adaptateurs LoRA peuvent être chargés et déchargés au runtime, donc un seul modèle de base peut servir plusieurs variantes spécialisées.

Exemple

Une entreprise fine-tune 5 adaptateurs LoRA sur une seule base Llama 3 — un par unité business — et bascule entre eux par requête.

Comment Vedwix utilise ceci

Approche par défaut de fine-tuning. Les fine-tunes complets sont réservés aux très grands jeux de données ou quand LoRA n'est pas suffisant.