Pré-treinamento

Definição

O pré-treinamento ensina a um modelo os padrões da linguagem prevendo o próximo token através de trilhões de tokens de dados de internet, livros e código. O resultado é um "modelo base" com amplo conhecimento mas sem comportamento de seguir instruções. O pré-treinamento é enormemente caro (milhões a centenas de milhões de dólares) e geralmente apenas laboratórios de fronteira o fazem do zero.

Exemplo

Llama 3 foi pré-treinado em 15 trilhões de tokens de dados web públicos, livros, código e mais.

Como a Vedwix usa isto

Nunca fazemos pré-treinamento. Sempre começamos a partir de uma base sólida e fazemos fine-tuning.