AI評価フレームワーク

AIモデルの評価を手作業で行うと、サンプル数が増えるにつれてコストと時間が膨大になります。評価フレームワークを使うことで、評価プロセスを自動化・標準化し、継続的な品質管理が可能になります。このページでは主要なAI評価フレームワークの特徴と使い分けを整理します。

対象読者: LLMアプリを開発・運用している方、評価の自動化を検討している方

学習時間の目安: 読了 25分

前提知識: AI評価とは

評価フレームワークが必要な理由

手作業での評価には次の限界があります。

• スケールの問題: 数百〜数千サンプルの評価を人手で行うのは現実的でない
• 再現性の問題: 評価者によって基準がばらつく
• 継続性の問題: モデルのアップデートのたびに一から評価し直すのは困難
• コストの問題: 専門家評価は高コストで頻繁に実施できない

評価フレームワークはこれらの問題を解決するツールセットです。

主要フレームワーク

1. LM Evaluation Harness（EleutherAI）

LM Evaluation Harnessとは、EleutherAIが開発したオープンソースのLLM評価フレームワークです。

• 対応ベンチマーク数: 100以上（MMLU、HellaSwag、TruthfulQA、GSM8Kなど主要ベンチマークを網羅）
• 評価方式: zero-shot / few-shot 評価の両方に対応
• ライセンス: MIT License（商用利用可）
• 主な用途: 研究目的のモデル比較、新しいモデルの総合的な性能評価

特徴

- Hugging FaceモデルとAPIモデルの両方に対応
- コマンドライン1つで複数のベンチマークを一括実行
- Open LLM Leaderboard（HuggingFace公式ランキング）の評価基盤として採用

向いているケース: 研究・論文でのベースライン比較、オープンソースモデルの性能評価

---

2. Ragas

Ragasとは、RAG（Retrieval-Augmented Generation）システムの品質評価に特化したフレームワークです。

• 開発元: Exploding Gradients（オープンソース）
• 評価方式: LLM-as-a-Judge（GPT-4等が評価者として機能）
• ライセンス: Apache 2.0
• 主な用途: RAGパイプライン全体の品質評価

RAG評価の4つの主要指標

指標	定義	測定内容
Faithfulness（忠実性）	回答が検索コンテキストのみに基づいているか	ハルシネーションの少なさ
Answer Relevancy（回答関連性）	回答が質問に対して適切か	質問への対応度
Context Precision（コンテキスト精度）	検索されたコンテキストの中に関連情報が含まれているか	検索の精度
Context Recall（コンテキスト再現率）	回答生成に必要な情報が検索で取得できているか	検索の網羅性

graph LR
    Q["質問"] --> R["検索\n(Retrieval)"]
    R --> C["コンテキスト\n(Context)"]
    C --> G["回答生成\n(Generation)"]
    G --> A["回答"]

    C --> CP["Context Precision\nContext Recall"]
    A --> F["Faithfulness\nAnswer Relevancy"]

向いているケース: 社内ドキュメント検索、FAQ自動回答、知識ベース連携アプリ

---

3. DeepEval

DeepEvalとは、LLMアプリケーション向けのテスト・評価フレームワークです。

• 開発元: Confident AI（オープンソース）
• ライセンス: Apache 2.0
• 主な用途: 本番LLMアプリの品質テスト、CIパイプラインへの組み込み

主要指標

指標	内容
G-Eval	LLMがカスタム評価基準に沿って採点するメトリクス
Hallucination	事実と異なる情報が含まれる割合
Toxicity	有害・不適切なコンテンツの検出
Summarization	要約の品質（忠実性・関連性）
Answer Relevancy	回答が質問に対して関連しているか

CIへの統合例

# pytest との統合例（概念コード）
from deepeval import assert_test
from deepeval.metrics import HallucinationMetric
from deepeval.test_case import LLMTestCase

def test_hallucination():
    test_case = LLMTestCase(
        input="Claude の開発元はどこですか?",
        actual_output="Claude は Anthropic が開発した AI です。",
        context=["Anthropic は Claude を開発している AI 安全性研究企業です。"]
    )
    metric = HallucinationMetric(threshold=0.5)
    assert_test(test_case, [metric])

向いているケース: LLMアプリのユニットテスト、本番デプロイ前の品質ゲート

---

4. Braintrust

Braintrustとは、LLMの実験管理・評価を行うプラットフォームです。

• 形態: SaaS（クラウドサービス）+ オープンソースSDK
• 主な用途: プロダクション環境での継続的評価、プロンプトのA/Bテスト

主な機能

• 実験管理: プロンプトの変更履歴と評価結果を紐付けて管理
• A/Bテスト: 複数プロンプトのパフォーマンスを比較
• プロンプトバージョン管理: プロンプトをコードと同様にバージョン管理
• ダッシュボード: 評価結果の可視化・トレンド分析

向いているケース: プロダクション環境での継続的な品質監視、チームでのプロンプト管理

---

5. Prometheus（オープンソース評価LLM）

Prometheusとは、評価タスクに特化してファインチューニングされたオープンソースのLLMです。

• 開発元: KAIST（韓国科学技術院）
• ベースモデル: Llama 2 / Llama 3
• 主な用途: GPT-4に依存しないLLM-as-a-Judge評価

特徴

• GPT-4を評価者として使うことなく、高品質な評価が可能
• 評価コストを大幅に削減できる
• 評価基準（ルーブリック）を自由にカスタマイズ可能

向いているケース: GPT-4 APIへの依存を避けたい場合、評価コストを最小化したい場合

---

6. OpenAI Evals

OpenAI Evalsとは、OpenAIが公開した評価フレームワークです。

• ライセンス: MIT License
• 特徴: カスタムevalの作成が容易、YAMLファイルで評価定義を記述
• 主な用途: OpenAI製モデルのカスタム評価、評価セットの共有

向いているケース: GPT-4/GPT-4oを使ったアプリの評価、コミュニティへの評価セット提供

---

フレームワーク比較表

フレームワーク	特化領域	ライセンス	学習コスト	主な用途
LM Evaluation Harness	汎用LLM評価・ベンチマーク	MIT	低〜中	研究・モデル比較
Ragas	RAGシステム評価	Apache 2.0	低	RAGパイプライン品質測定
DeepEval	LLMアプリのユニットテスト	Apache 2.0	中	CI統合・本番テスト
Braintrust	実験管理・A/Bテスト	SaaS	低（UI中心）	プロダクション継続評価
Prometheus	コスト削減評価LLM	Apache 2.0	中〜高	GPT-4不要の評価
OpenAI Evals	カスタムeval作成	MIT	低〜中	OpenAIモデル評価

評価パイプラインの構成

実際の開発では、評価を継続的に行うパイプラインを構成します。

graph TD
    A["開発\n(Development)"] --> B["ユニットテスト\n(DeepEval等)"]
    B --> C{評価通過?}
    C -->|Yes| D["ステージング\n(Staging)"]
    C -->|No| A
    D --> E["統合テスト\n(Braintrust等)"]
    E --> F{品質基準通過?}
    F -->|Yes| G["本番\n(Production)"]
    F -->|No| A
    G --> H["継続的モニタリング\n(定期評価バッチ)"]
    H --> I{品質劣化検出?}
    I -->|Yes| J["アラート\n→ 調査・修正"]
    I -->|No| H

開発フェーズの評価

• 目的: 変更が既存機能を壊していないことの確認（回帰テスト）
• ツール例: DeepEval（pytest統合）
• 実行タイミング: コミット・PR作成時

テストフェーズの評価

• 目的: 本番相当の品質基準を満たしているか確認
• ツール例: Ragas（RAGシステムの場合）、LM Evaluation Harness（ベンチマーク比較）
• 実行タイミング: デプロイ前

本番監視フェーズの評価

• 目的: 品質劣化・異常の早期発見
• ツール例: Braintrust（ダッシュボード・トレンド分析）
• 実行タイミング: 定期バッチ（日次・週次）

フレームワークの選び方

graph TD
    A["何を評価したいか?"] --> B{RAGシステムか?}
    B -->|Yes| C["Ragas を選択"]
    B -->|No| D{研究・モデル比較か?}
    D -->|Yes| E["LM Evaluation Harness を選択"]
    D -->|No| F{CIに統合したいか?}
    F -->|Yes| G["DeepEval を選択"]
    F -->|No| H{継続的な本番監視か?}
    H -->|Yes| I["Braintrust を選択"]
    H -->|No| J["用途に応じて複数組み合わせ"]

まとめ

• 評価フレームワークを使うことで、評価の自動化・標準化・継続化が実現できる
• RAGシステムには Ragas、CI統合には DeepEval、本番監視には Braintrust が適している
• 研究・モデル比較には LM Evaluation Harness が最も広く使われている
• 評価コスト削減には Prometheus が有効で、GPT-4依存を排除できる
• 本番環境では「開発→テスト→本番監視」の3フェーズで評価パイプラインを構成する

よくある質問

Q: RAGシステムを作っています。どのフレームワークを使えばよいですか?

A: Ragas を最初の選択肢として推奨します。Faithfulness・Answer Relevancy・Context Precision・Context Recallの4指標でRAGパイプライン全体を体系的に評価できます。導入も比較的容易で、pip install ragas でインストールして数十行のコードで評価を開始できます。

Q: DeepEvalとRagasを同時に使うことはできますか?

A: 可能です。DeepEvalはLLMアプリのユニットテスト全般をカバーし、RagasはRAG固有の評価に特化しています。RAGシステムを含むLLMアプリでは、両者を組み合わせることでより網羅的な評価が可能です。

Q: 評価にGPT-4を使うとコストが高くなりませんか?

A: LLM-as-a-Judge評価でGPT-4を使う場合、大量のサンプルを評価するとコストが高くなることがあります。コスト削減策として、Prometheus（評価専用のオープンソースLLM）の使用、評価サンプルのサブセット選択（全量評価から代表的なサンプルのみへの絞り込み）、安価なモデル（GPT-4o-mini等）を評価者として使うなどの方法があります。

Q: 評価結果の数値が高ければ、必ず良いモデルだと言えますか?

A: 数値だけで判断するのは危険です。評価指標はあくまで特定の側面を測定したものです。例えばFaithfulness（忠実性）スコアが高くても、回答が役に立たない場合があります。また、評価データセット自体にバイアスや偏りがある場合、スコアが実際のユーザー満足度を反映しないこともあります。複数の指標を組み合わせ、定期的な人間評価も並行して実施することが重要です。

---

次のステップ: 責任あるAIとは

このページへのリンク（英語）: AI Evaluation Frameworks