Capability CI/CDとは：Agent Skillを検証して配布する設計
この記事で学べること
- Agent Skillを指示文の集合ではなく、変更と配布を管理する資産として扱う理由
- 静的検査、重複確認、実行評価がそれぞれ答える問い
- 署名と社内一覧が保証できること、保証できないこと
- 本番配布の判断に使えるCapability Release Packet
Capability CI/CDはAgent Skillを検証してから配布する
Capability CI/CD（変更のたびにSkillを自動検査し、承認済みの版だけを配布する運用）は、Agent Skillの品質と安全性を配布前に検証します。2026年8月19日、NVIDIAはSkillの構造、安全性、重複、実効性を分けて確認するSkillEvaluatorを公開しました。複数のAI実行環境へSkillを配る組織は、検査結果、必要権限、承認条件を一つの配布判断へまとめます。
この記事では、「Agent Skillをどの証拠で評価し、誰が本番配布を承認すればよいか」という問いに焦点を当て、確認済みの変化、影響を受ける判断、現時点で残る不確実性を扱います。
最後まで読むと、「Agent Skillをどの証拠で評価し、誰が本番配布を承認すればよいか」という問いを、自分の状況に照らして判断するための材料を持ち帰れます。
構造確認・重複確認・実行評価は別の問いに答える
SkillEvaluatorは評価を三つのTierに分けています。Tier 1は形式、秘密情報、個人情報、ライセンス、スクリプト、安全性を確認します。Tier 2は既存Skillとの意味的な重複を探します。Tier 3は隔離環境で同じ課題を「Skillあり」と「Skillなし」で実行し、結果の差を測ります。[1][2]
形式が正しくても、業務に役立つとは限りません。安全性の検査に合格しても、回答の正確さが下がるSkillは配布できません。正確さが上がっても、秘密情報を読み出す処理や過剰な権限が含まれていれば、本番利用には向きません。
NVIDIAは300を超えるVerified Skillsを30以上の製品群で評価し、CorrectnessやEffectivenessの平均点が上がったと報告しています。ただし、多くの課題は一回または二回の試行で、信頼区間も示されていません。[1] 組織全体の平均値を、自社のSkillが必ず改善する根拠として使わず、自社の入力、期待結果、権限で比較する必要があります。
署名と社内一覧は出所・版・承認状態を管理する
評価を終えたSkillには、作成者、版、用途、評価条件、承認環境を対応付けます。暗号署名は、署名後に内容が変わっていないことと、どの主体が署名したかを確認する手段です。Skillの業務判断が正しいことや、すべての入力で安全なことまでは保証しません。[3]
Catalogは、利用可能なSkillを探す一覧であると同時に、承認状態を確認する台帳です。最低限、Owner、版、対象業務、許可するAI実行環境、必要権限、最終評価日、有効期限、廃止状態を持たせます。利用者がGitHubのURLだけを見て導入するのではなく、社内Catalogの承認済み版を選べる状態が目的です。
既存のSkillOpsの記事では、Skillの作成、公開、評価、保守を継続運用として扱いました。Capability CI/CDは、その中でも変更ごとの品質ゲートと、本番配布を許可する証拠に範囲を絞ります。
配布判断表に検査結果・権限・承認をまとめる
配布判断では、検査結果を別々の画面に残すだけでなく、一つのSkillと証拠を対応付けます。本記事では、その最小単位をCapability Release Packetと呼びます。これは製品名ではなく、承認に必要な情報をまとめるためのテンプレートです。
| 項目 | 記録する内容 | 配布を止める条件 |
|---|---|---|
| 目的とOwner | 対象業務、利用者、保守責任者 | Ownerまたは利用目的が不明 |
| 変更内容 | 版、差分、依存先 | 未確認の実行ファイルや接続先がある |
| 静的検査 | 形式、秘密情報、個人情報、ライセンス、安全性 | Criticalな指摘が未解決 |
| 重複確認 | 既存Skillとの役割差 | 既存Skillへ統合すべき重複がある |
| 実行評価 | Skillあり／なしの正確さ、手順遵守、費用、時間 | 重要指標が基準を下回る |
| 権限 | 読み書きするデータ、外部接続、承認操作 | 目的より広い権限を要求する |
| 承認と期限 | 承認者、対象環境、再評価日 | 承認または有効期限がない |
評価指標は多ければよいわけではありません。週次報告Skillなら、情報源の利用、重要事項の欠落、数値の一致、指定フォーマット、処理時間を中心にします。利用者の行動や外部システムを変更するSkillなら、権限、取り消し方法、人の承認も合格条件に加えます。
更新・停止・切り戻しまで配布経路に含める
Skillは、接続先API、参照文書、AIモデル、社内ルールの変更で挙動が変わります。新規配布時だけ評価しても、更新後の品質低下は見つけられません。版を変えたときは同じRelease Packetを更新し、影響する評価を再実行します。
運用では、次の状態を分けると判断しやすくなります。
- Draft：作成中で、利用環境へ配布しない
- Evaluating：隔離環境で検査と比較を行う
- Approved：指定した環境と権限で利用できる
- Suspended：問題調査中で、新しい実行を止める
- Deprecated：後継へ移行し、新規利用を認めない
- Revoked：重大な問題により利用を取り消す
切り戻しには、前のSkillファイルだけでなく、その版が前提とするツール、権限、評価結果も必要です。署名済みファイルを保存していても、依存するAPIが変わっていれば、以前の動作へ戻せるとは限りません。
影響の小さいSkillは確認項目を絞って始める
すべてのSkillへ同じ重さの審査を課す必要はありません。文章の整形だけを行い、外部接続もデータ変更もないSkillと、顧客情報を読み、外部APIへ送信するSkillでは、確認の深さを変えるべきです。
最初は一つの代表Skillを選び、静的検査、Skillあり／なしの比較、Ownerの承認、版の固定から始めます。高い権限、外部送信、取り消しにくい操作、規制対象データのいずれかがある場合だけ、隔離環境、セキュリティ担当者、追加の試行、短い有効期限を組み合わせます。
また、Scannerは補助線であり、絶対的な安全証明ではありません。静的検査では、実行時の入力、外部サービスの応答、権限の組み合わせまですべて再現できないためです。検査結果、実行評価、人の責任を重ねて判断します。
まとめ：Capability Release PacketからSkillの配布管理を始める
Capability CI/CDは、Agent Skillを作成した後に、構造、安全性、重複、実効性を確認し、版と承認条件を付けて配布する設計です。SkillEvaluatorは、これまで個別に語られやすかった静的検査、重複確認、Skillあり／なしの実行比較を、一つの評価経路として具体化しました。
最初の実装では、Capability Release Packetを一つ作り、誰が、どの版を、どの証拠で、どの環境へ配布すると決めたかを残します。評価値だけでなく、停止条件と再評価日まで決めると、Skillを追加する判断と取り消す判断を同じ仕組みで扱えます。
参考文献
- NVIDIA Technical Blog, Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator, 2026年8月19日
- NVIDIA, SkillEvaluator
- NVIDIA, NVIDIA Agent Skills
最新のリリースやアップデートの詳細は、公式サイト・公式ドキュメントを確認してください。