定義
事前訓練は、モデルにインターネット、書籍、コードデータの数兆トークン全体で次のトークンを予測することにより言語のパターンを教えます。結果は、広い知識を持つが指示に従う動作のない「ベースモデル」です。事前訓練は非常に高価（数百万から数億ドル）で、通常はフロンティアラボのみがゼロから行います。
例
Llama 3は、公開Webデータ、書籍、コード、その他からの15兆トークンで事前訓練されました。
Vedwixでの使用方法
事前訓練は決して行いません。常に強力なベースから始めてファインチューニングします。