Definition
Pretraining lehrt einem Modell die Muster der Sprache, indem es das nächste Token über Billionen von Tokens aus Internet-, Buch- und Code-Daten vorhersagt. Das Ergebnis ist ein "Basismodell" mit breitem Wissen, aber ohne Instruktionsbefolgungsverhalten. Pretraining ist enorm teuer (Millionen bis Hunderte von Millionen Dollar) und in der Regel führen es nur Frontier-Labore von Grund auf durch.
Beispiel
Llama 3 wurde auf 15 Billionen Tokens aus öffentlichen Webdaten, Büchern, Code und mehr vortrainiert.
Wie Vedwix das verwendet
Wir pretrainen nie. Wir starten immer von einer starken Basis und feinabstimmen.
Sie arbeiten an einem Projekt rund um Pretraining?
Pretraining.
Beschreiben Sie Ihr Projekt in drei Sätzen oder weniger.
Projekt starten