個人情報保護法やGDPRが定める法的義務への対応は、生成AIとプライバシーの問題の一側面です。それに加えて、AIシステムには法律の条文が直接カバーしきれない、より構造的なプライバシーリスクが存在します。
この記事では、生成AIが持つプライバシーリスクを技術的・概念的な観点から体系的に整理し、設計段階から組み込むべきプライバシー保護のアプローチを解説します。
生成AIが持つ固有のプライバシーリスク
Section titled “生成AIが持つ固有のプライバシーリスク”1. メモリーゼーション（Memorization）
Section titled “1. メモリーゼーション（Memorization）”大規模言語モデル（LLM）は、学習データを「記憶」する性質があります。特に学習データ中に繰り返し登場するデータや、特定の個人に関するデータが、モデルの出力として再現されてしまう「メモリーゼーション」が報告されています。
具体的なリスク:
- 特定個人の氏名・住所・電話番号・メールアドレスの出力
- 医療記録・法的文書などのセンシティブな情報の再現
- プライベートなコード・APIキーなどの漏洩
これは、学習データに個人情報が含まれていた場合、そのモデルを利用するすべてのユーザーに対してその情報が「漏洩」するリスクを意味します。[3]
2. 推論攻撃（Inference Attacks）
Section titled “2. 推論攻撃（Inference Attacks）”推論攻撃は、AIモデルへの複数のクエリを通じて、学習データに関する情報を間接的に引き出す攻撃手法です。主な種類として以下があります。
| 攻撃の種類 | 概要 |
|---|---|
| メンバーシップ推論攻撃 | 特定のデータが学習データに含まれていたかを推定する |
| モデル逆転攻撃 | モデルの出力から学習データの内容を復元しようとする |
| 属性推論攻撃 | 部分的な情報から個人の属性（人種・健康状態等）を推定する |
これらの攻撃は、モデルをAPIとして公開しているケースで特に問題になります。
3. 文脈的完全性の侵害
Section titled “3. 文脈的完全性の侵害”哲学者Helen Nissenbaumが提唱した「文脈的完全性（Contextual Integrity）」の概念は、プライバシーを「情報の秘密」ではなく「情報が元々共有された文脈に適した形で流通しているか」と捉えます。[2]
例: 医師に伝えた健康情報が、診療目的で他の担当医に共有されることは文脈的完全性に適合します。しかし、同じ情報が保険会社や雇用主に共有されることは、元の文脈（医療）を逸脱しており、プライバシー侵害と感じられます。
生成AIでは、以下のような文脈的完全性の侵害が起きる可能性があります。
- ソーシャルメディアの公開投稿（友人向けの文脈）を学習して、企業向けの分析に使用する
- 特定目的のサービスへの入力データを、他のサービス改善のために使用する
- 公開情報を組み合わせて、当初の公開文脈では意図されなかったプロファイリングを行う
4. 差別的推論とプロファイリング
Section titled “4. 差別的推論とプロファイリング”生成AIは、個人情報を直接保持していなくても、入力された特徴から性別・人種・健康状態・政治的傾向等の属性を推定するプロファイリングが可能です。こうした推論が採用・融資・保険等の判断に使われる場合、差別的な扱いにつながるリスクがあります。
プライバシー・バイ・デザインの実践
Section titled “プライバシー・バイ・デザインの実践”プライバシー・バイ・デザイン（Privacy by Design）は、カナダの元個人情報保護委員 Ann Cavoukian が提唱した、システム設計段階からプライバシー保護を組み込む考え方です。7つの基本原則で構成されます。[1]
| 原則 | 説明 |
|---|---|
| 事後対応でなく予防的 | プライバシーリスクを発生後に対処するのではなく、設計段階で防ぐ |
| デフォルトでのプライバシー保護 | デフォルト設定が最もプライバシー保護度が高い状態 |
| 設計への組み込み | プライバシー保護をアドオンではなく設計の中核に |
| 全機能の実現（ゼロサム回避） | プライバシーと機能性はトレードオフではなく両立できる |
| エンドツーエンドのセキュリティ | データのライフサイクル全体を通じた保護 |
| 可視性と透明性 | データ処理を透明にし、独立した検証を可能にする |
| ユーザー中心 | 個人のプライバシー利益を最優先に設計する |
AIシステムへの適用
Section titled “AIシステムへの適用”データ最小化（Data Minimization）
目的達成に必要な最小限のデータのみを収集・処理します。AIシステムでは、モデルの精度向上のためにデータを増やしたい誘因がありますが、不必要なデータの収集はプライバシーリスクを高めます。
目的限定（Purpose Limitation）
データを収集した目的以外には使用しません。AIのモデル改善・新機能開発等の目的でユーザーデータを使用する場合は、元の収集目的との関係を明示的に確認する必要があります。
ストレージ制限（Storage Limitation）
目的達成後は速やかにデータを削除します。AIシステムではモデルの継続改善のためにデータを長期保存したい場合がありますが、保存期間ポリシーを明確にし、不要なデータは削除することが原則です。
プライバシー保護技術の活用
Section titled “プライバシー保護技術の活用”差分プライバシー（Differential Privacy）
Section titled “差分プライバシー（Differential Privacy）”差分プライバシーは、統計クエリの結果に数学的に保証された「ノイズ」を加えることで、クエリの結果から特定個人の情報が推定できないようにする手法です。[4] 学習データ全体の傾向は保持しながら、個人の情報は保護します。
Appleが「ヘルスデータの集計」、GoogleがChrome内の分析に採用しており、プライバシー保護と統計的有用性の両立手法として注目されています。
AIモデル学習への適用: DP-SGD（Differentially Private Stochastic Gradient Descent）のような手法で、学習プロセスに差分プライバシーを適用できます。モデルの精度はある程度低下しますが、メモリーゼーションや推論攻撃へのリスクを大幅に低減できます。
連合学習（Federated Learning）
Section titled “連合学習（Federated Learning）”連合学習は、データを一か所に集約せず、各デバイスやサーバーでローカルに学習を行い、モデルの更新情報（勾配）のみを集約する手法です。[5] 元の個人データが学習サーバーに送られないため、プライバシーリスクが低減されます。
Googleの「Gboard」（スマートフォンキーボードの予測変換）で採用されており、個人のタイピングデータを端末外に送らずにモデルを改善できます。
匿名化・仮名化
Section titled “匿名化・仮名化”個人を識別できる情報を削除または置換します。ただし、単純な匿名化は再識別攻撃（複数のデータを組み合わせて個人を特定する）に対して脆弱な場合があります。k-匿名性・l-多様性・t-近接性といった、より強力な匿名化手法の適用が推奨されます。
企業が取り組むべき実務対応
Section titled “企業が取り組むべき実務対応”AIシステム設計時のチェックポイント
Section titled “AIシステム設計時のチェックポイント”AIシステムを開発・導入する際に、以下の観点でプライバシー評価を実施することが推奨されます。
データライフサイクル
- どのデータを収集するか、その目的は何か
- データの保存期間と削除ポリシーは定められているか
- データへのアクセス制御は適切か
モデルのリスク評価
- 学習データに個人情報が含まれているか
- メモリーゼーションのリスクを評価したか
- 出力の監視体制はあるか
ユーザーへの透明性
- AIシステムがどのようなデータを使用するかを明示しているか
- ユーザーがデータ利用をコントロールできる手段が用意されているか
社内利用ポリシーの整備
Section titled “社内利用ポリシーの整備”社員が外部の生成AIツールを業務利用する場合のプライバシーポリシーを整備します。[6]
- 入力してはいけない情報の種類（顧客個人情報・要配慮個人情報等）
- 利用が許可されているAIサービスの一覧とその条件
- 生成されたコンテンツに個人情報が含まれていないかの確認ルール
生成AIのプライバシーリスクは、法的義務の範囲を超えて、メモリーゼーション・推論攻撃・文脈的完全性の侵害・差別的プロファイリングといった構造的な問題を含んでいます。
これらに対応するためには、法令遵守にとどまらず、設計段階からプライバシー保護を組み込む「プライバシー・バイ・デザイン」のアプローチが重要です。差分プライバシー・連合学習・適切な匿名化手法といった技術的手法を組み合わせながら、データ最小化・目的限定・透明性の原則を実践することが、信頼性の高いAIシステムの構築につながります。
個別の実装や法的判断については、プライバシー保護・情報セキュリティを専門とする専門家への相談を検討してください。
関連トピック: 生成AIと個人情報 | AIと著作権 | AIガバナンス
- Cavoukian, Ann, Privacy by Design: The 7 Foundational Principles, Information and Privacy Commissioner of Ontario, 2011
- Nissenbaum, Helen, Privacy in Context: Technology, Policy, and the Integrity of Social Life, Stanford University Press, 2010
- Carlini, Nicholas et al., Extracting Training Data from Large Language Models, USENIX Security 2021
- Dwork, Cynthia, Differential Privacy: A Survey of Results, Theory and Applications of Models of Computation, 2008
- McMahan, H. Brendan et al., Communication-Efficient Learning of Deep Networks from Decentralized Data, AISTATS 2017
- 個人情報保護委員会, 生成AIサービスの利用に関する注意喚起等について, 2023年6月2日