Definición
El caché de prompts almacena el prefijo de un prompt del lado del servidor. Cuando se reutiliza el mismo prefijo, paga una fracción del costo de tokens de entrada y obtiene respuestas más rápidas. Tanto Anthropic como OpenAI ofrecen mecanismos de prompt en caché. Mejor práctica: estructurar los prompts con instrucciones estáticas del sistema y contexto grande primero, entrada dinámica del usuario al final.
Ejemplo
Un chatbot de documentación cachea su prompt de sistema de 5.000 tokens; las llamadas posteriores cuestan ~10% de una llamada sin caché.
Cómo Vedwix usa esto
Siempre activado para cualquier app con un prompt de sistema sustancial. A menudo un ahorro de costo del 30-70%.
Trabajando en un proyecto de Caché de prompts?
Caché de prompts.
Cuéntanos sobre tu proyecto en tres frases o menos.
Iniciar un proyecto