定義
プロンプトキャッシングは、プロンプトのプレフィックスをサーバー側に保存します。同じプレフィックスが再利用されると、入力トークンコストの一部を支払い、より高速な応答を得ます。AnthropicとOpenAIの両方がキャッシュされたプロンプトメカニズムを提供しています。ベストプラクティス: 静的なシステム指示と大きなコンテキストを最初に、動的なユーザー入力を最後にプロンプトを構造化します。
例
ドキュメンテーションチャットボットは5,000トークンのシステムプロンプトをキャッシュします。後続の呼び出しはキャッシュされていない呼び出しの約10%のコストです。
Vedwixでの使用方法
実質的なシステムプロンプトを持つすべてのアプリで常時オン。多くの場合、30〜70%のコスト削減になります。