コンテキストウィンドウと制限

約5分

コンテキストウィンドウという言葉の意味を正確に知りたい方、長い資料をAIに扱わせたい方

コンテキストウィンドウとは、モデルが一度に処理できる情報量の上限です。単位は文字数ではなくトークンで、日本語では1文字が1トークン以上になることもあります。

何が含まれるか

コンテキストウィンドウには、入力だけでなく出力も含まれます。

見落とされやすいのがツール定義とツール実行結果です。ツールを20個渡せば、その説明文だけで相当量を占めます。ファイル全文を読み込むツールは、1回の実行で大きく消費します。

ウィンドウが広いモデルでも、限界まで詰め込むのは得策ではありません。モデルは渡されたすべてを判断材料として扱うため、無関係な情報が増えるほど、重要な情報の比重が下がります。

渡した情報が少ない
  → 指示と資料が明確に効く

渡した情報が上限近く
  → 技術的には処理できるが、重要な指示が相対的に埋もれる

技術的な上限と、品質が保てる実用的な範囲は別物です。

上限を超えると、多くの実装では古い履歴が切り落とされるか、エラーになります。切り落とされる場合、最初に渡した重要な指示が最初に消えることがあります。

対処は3つです。