AIがAIの出力を検証するレビューループの設計：自動チェックで防げることと防げないこと

2026年6月22日

Shiori

この記事について

このサイトでは、記事の作成にAIを使っています。その過程で、AIが書いた記事の品質を確認するために、別のAIがチェックを行う仕組みを導入しています。いわゆる「AI校閲者」と「AI筆者」を分けて動かす形です。

この記事では、この仕組みで実際に防げていることと、防げていないことを整理します。

記事を作成するAI（筆者役）と、作成された記事を確認するAI（校閲者役）を別々に動かします。校閲者役のAIには、確認すべき項目のリストと判断基準を渡します。

この分担によって、同じAIが作成と確認を行うよりも、形式的なミスや設定の不備を見つけやすくなります。

記事本文に含まれるリンクが正しく機能するかを確認します。リンク先が存在しないページになっていたり、URLの形式が正しくない場合に検出できます。

本文中に [1] のような番号がある場合、その番号が文末の参考文献リストと対応しているかを確認します。番号が抜けていたり、本文で参照されていない番号がリストにある場合を検出できます。

プロジェクトのルールで使用を避けると定めた表現が含まれていないかを確認します。定義された語句が使われていないかを機械的にチェックします。

必須フィールドが揃っているか、値の形式が規則に沿っているかを確認します。日付の形式、スラグの構成、必須タグの有無などが対象です。

記事の内容が現時点の正確な情報かどうかは、自動チェックでは判断できません。記事を書いた時点では正しくても、サービスの仕様変更や状況の変化によって内容が古くなっている場合があります。定期的な見直しは人が行う必要があります。

参考文献のリンクが機能していても、その文献が記事の主張を実際に支持しているかどうかは自動的には確認できません。「この参考文献はこの主張の根拠になっているか」という確認は、内容を読んで判断する必要があります。

体験ベースの記事で「私の経験では〇〇だった」という内容が実際の体験と一致しているかどうかは、書いた人間が確認するしかありません。AIが校閲しても、著者の実体験との整合性は確認できません。

現在の方針として、次のように分担しています。

自動チェックは「形式的な問題を機械的に見つける」ことに適しており、「内容の正しさを保証する」ことには向いていません。この境界を意識して、それぞれの確認に適した方法を使い分けることが大切です。

AIによる自動レビューは、形式的なミスや設定の不備を検出する手段として有効です。一方、内容の正確性、引用元との対応、著者の体験との整合性については、人が確認する必要があります。自動化できる範囲と、そうでない範囲を把握した上で仕組みを設計することが、品質管理の観点から重要です。