Définition
Le pré-entraînement enseigne à un modèle les motifs du langage en prédisant le prochain token à travers des trillions de tokens de données web, livres et code. Le résultat est un "modèle de base" avec une connaissance large mais sans comportement de suivi d'instructions. Le pré-entraînement est énormément cher (millions à centaines de millions de dollars) et habituellement seuls les labos frontier le font depuis zéro.
Exemple
Llama 3 a été pré-entraîné sur 15 trillions de tokens de données web publiques, livres, code et plus.
Comment Vedwix utilise ceci
Nous ne pré-entraînons jamais. Nous commençons toujours depuis une base solide et fine-tunons.
Vous travaillez sur un projet de Pré-entraînement?
Pré-entraînement.
Décrivez votre projet en trois phrases ou moins.
Démarrer un projet