Definición
Los tokens son los fragmentos sobre los que opera un LLM. Un token puede ser una palabra, parte de una palabra, un número, o puntuación. Los precios, las ventanas de contexto y los límites de tasa se miden todos en tokens. Como regla general: 1.000 tokens son aproximadamente 750 palabras de inglés. Los idiomas con escrituras no latinas (chino, japonés, árabe) pueden usar significativamente más tokens por palabra.
Ejemplo
La oración "Vedwix construye productos de IA" es aproximadamente 7 tokens.
Cómo Vedwix usa esto
Modelamos el uso de tokens por adelantado para cualquier función de IA para que las sorpresas de costo no ocurran a escala.
Trabajando en un proyecto de Token?
Token.
Cuéntanos sobre tu proyecto en tres frases o menos.
Iniciar un proyecto