コンテンツにスキップ
AI Learning Playground
LinkedInX
日本語
日本語

プロンプトキャッシュとは

約5分

Shiori
対象読者: 生成AI APIの応答時間や入力コストを抑えたい方、キャッシュとメモリの違いを整理したい方
前提知識: コンテキストウィンドウと制限 の基礎

プロンプトキャッシュとは、以前のリクエストと同じプロンプト前半を再び受け取ったとき、その部分を処理した計算結果を再利用する仕組みです。主な目的は、長い共通入力を毎回最初から処理する時間と費用を減らすことです。

回答文を保存して返す「レスポンスキャッシュ」や、ユーザー情報を後の会話へ持ち込む「メモリ」とは役割が異なります。

何を再利用するのか

LLMは入力をトークンへ分け、各トークンが前の入力とどう関係するかを計算しながら回答を生成します。プロンプトキャッシュは、変更されていない前半部分について、この計算状態を保存して再利用します。OpenAIは、この状態をKVキャッシュのテンソルとして説明しています。[1]

1回目: [固定の指示 + 共通資料] + [質問A]
        └──── 計算して保存 ────┘

2回目: [固定の指示 + 共通資料] + [質問B]
        └──── 保存状態を再利用 ─┘   └ 新しく処理 ┘

再利用されるのは前半入力の計算です。質問Bへの回答は新しく生成されるため、キャッシュがヒットしても同じ回答になるとは限りません。[1]

キャッシュが効く条件

基本条件は、入力の先頭から一定範囲が一致することです。したがって、入力は次の順に組み立てると効果が出やすくなります。

  1. ツール定義や固定ルール
  2. 長く使い回す資料や例
  3. 会話履歴
  4. 今回だけ変わる質問やデータ

先頭近くの指示、ツール定義、画像、資料の順序や内容が変わると、それ以降を再利用できない場合があります。キャッシュの保持時間や明示的な設定方法はサービスごとに異なるため、利用中のモデルとAPIの仕様を確認する必要があります。[1][2]

ClaudeとOpenAI APIでの例

サービス仕組みの見え方確認・制御の例
Claude API共通するプロンプト前半をキャッシュし、後続リクエストで再利用するcache_controlで境界や保持方法を指定し、キャッシュ作成・読み取りトークンを利用量から確認する [2]
OpenAI API対応モデルで長い共通プレフィックスの処理を自動的に再利用する応答のcached_tokensなどで再利用量を確認する [1]
この表は横方向にスクロールできます。キーボードでは、表にフォーカスして左右の矢印キーを使用してください。

Claude APIでは、ツール、システムメッセージ、通常メッセージの順でキャッシュ対象が構成されます。OpenAI APIでも、固定内容を前半、可変内容を後半へ置くことが推奨されています。[1][2]

ChatGPTやCodexではどう考えるか

ChatGPTのプロジェクトやメモリは、関連資料・指示・好みなどを将来の会話へ供給する機能です。[3][4] これは「何をコンテキストへ入れるか」の機能であり、入力処理の計算を再利用するプロンプトキャッシュとは別です。

Codexでは、リポジトリの指示ファイルや会話履歴が繰り返しコンテキストへ入ります。開発者がOpenAI APIを直接使う場合は、その安定した前半部分がプロンプトキャッシュの対象になり得ます。ただし、ChatGPTやCodexの画面で見えるプロジェクト、メモリ、履歴だけを根拠に、内部でどのAPIキャッシュが使われたかを判断することはできません。

似た仕組みとの違い

仕組み何を扱うか主な目的新しい回答を生成するか
プロンプトキャッシュ同じ入力前半の計算状態遅延と入力処理コストを減らすする
レスポンスキャッシュ完成済みの回答同じ質問へ同じ結果をすぐ返す通常はしない
メモリ好み、事実、過去の要点会話をまたいで情報を利用するする
コンテキスト圧縮長い履歴から残すべき作業状態有効なコンテキストを小さくするする
この表は横方向にスクロールできます。キーボードでは、表にフォーカスして左右の矢印キーを使用してください。

特に重要なのは、キャッシュはコンテキスト量を減らさないことです。入力前半の処理が速くなっても、その情報はモデルが扱うコンテキストに含まれます。長い会話を短く整理するには、コンテキスト圧縮が必要です。

向いている場面と限界

プロンプトキャッシュは、同じ長い前半入力を繰り返す処理に向いています。

  • 同じシステム指示とツール群を使うエージェント
  • 長い規約やマニュアルに複数の質問をする処理
  • 多数の例を含む同じプロンプトでデータだけを変える処理
  • 同じコードベースの説明を前提に反復する開発支援

一方、毎回入力の先頭から変わる処理、再利用できる前半が短い処理、変更頻度の高い資料には効果が限られます。また、キャッシュは回答の正確さを保証しません。品質評価、情報の鮮度管理、権限制御は別に設計する必要があります。

まとめ

  • プロンプトキャッシュは、同じプロンプト前半を処理した計算状態を再利用する
  • 固定の指示や資料を前半、毎回変わる質問を後半へ置くと再利用しやすい
  • キャッシュがヒットしても回答は新しく生成され、同じ出力になるとは限らない
  • ChatGPTのプロジェクトやメモリは情報を供給する機能であり、プロンプトキャッシュとは目的が異なる
  • キャッシュはコンテキストを短くしない。長い履歴の整理はコンテキスト圧縮が担う

参考文献

  1. OpenAI, Prompt caching
  2. Anthropic, Prompt caching
  3. OpenAI, Projects and chats
  4. OpenAI, Memories

情報の鮮度について: キャッシュの対応モデル、保持時間、設定項目は変更される可能性があります。実装時は各サービスの最新仕様を確認してください。

クイズ