AIエージェントの評価
対象読者: AIエージェントの品質をどう測ればよいか分からない方、最終出力だけでは評価しきれないと感じている方
前提知識: AI評価とは と AIエージェントとは の基礎
AIエージェントの評価は、単発の応答を評価するのとは異なります。最終出力だけでなく、そこへ至る過程も見る必要があります。
なぜ出力だけでは足りないか
エージェントは複数の工程を経て結果を出します。最終出力が正しくても、過程に問題があれば再現性がありません。
| 状態 | 最終出力 | 過程 | 評価 |
|---|---|---|---|
| 理想 | 正しい | 適切なツールを最短で使用 | 良い |
| 偶然の正解 | 正しい | 誤ったツールを何度も試した | 再現性が低い |
| 惜しい失敗 | 誤り | 手順は適切だが1か所で誤った | 修正しやすい |
2番目は、同じ条件でも次は失敗する可能性があります。出力だけを見ていると、この差が見えません。
実行軌跡を評価する
実行軌跡（トラジェクトリ）とは、エージェントが辿った工程の記録です。次の観点で評価します。
| 観点 | 見るもの |
|---|---|
| ツール選択 | 適切なツールを選べたか、無駄な呼び出しがないか |
| 順序 | 前提となる工程を飛ばしていないか |
| 工程数 | 同じ結果をより少ない工程で出せないか |
| リトライ | 同じ失敗を繰り返していないか |
| 停止判断 | 承認が必要な操作を正しく止められたか |
軌跡の記録は、フックによる自動記録から取得できます。
代表的な指標
| 指標 | 内容 |
|---|---|
| タスク成功率 | 完了条件を満たした割合 |
| 工程効率 | 完了までに要した工程数・ツール呼び出し数 |
| 安全性 | 承認が必要な操作を止められた割合 |
| 回復率 | 失敗から自力で回復できた割合 |
すべてを1つの数値にまとめず、複数の指標で見ます。成功率だけを上げようとすると、工程数やコストが膨らむことがあります。
評価用のタスク集を作る
エージェント評価には、正解が定まっている再現可能なタスク集が必要です。
- 実際の業務から代表的なケースを抜き出す
- 過去に失敗したケースを必ず含める
- 完了条件を、機械的に判定できる形で書く
失敗ケースを含めることが重要です。改善したつもりが元の問題を再発させていないか、これで確認できます。
まとめ
- エージェント評価では、最終出力だけでなく実行軌跡も対象にする
- 偶然の正解と再現性のある正解は、過程を見ないと区別できない
- 軌跡はツール選択・順序・工程数・リトライ・停止判断で評価する
- 過去の失敗ケースを含む再現可能なタスク集を用意する
関連リンク
クイズ