本文へ移動

ホーム / ML / 第5部 運用と責任

第5部 運用と責任・第11章

責任ある AI

★★☆ 重要6トピック・面接 3問

モデルが人に影響を与えることへの責任と、その対策を押さえる。

ひとことで

データの偏りがモデルの判断の偏りになる。属性ごとの性能を測って確かめる。

モデルは過去のデータから学ぶので、データに偏りがあれば、判断も偏ります。たとえば、過去の採用で男性ばかり採っていた会社のデータで学習すると、性別に関係する特徴(使う言葉・学校)を通して、同じ偏りを再現することがあります。性別などの列を取り除いても、他の列から推し量れてしまう(代理変数)ので、それだけでは防げません。

全体の数字だけでなく、グループごとに測る(数値は説明用の例)再現率(見逃さなかった割合)全体82%グループA86%グループB84%グループC61%全体が 82% でも、グループ C だけ見逃しが多い → データの量・ラベルの偏りなど原因を調べる
グループごとに性能を測る(数値は説明用の例)

公平性の指標:全体の精度だけでなく、属性(性別・年齢層・地域など)ごとに性能を測るのが出発点です。

指標意味
属性ごとの精度・再現率特定のグループだけ外れが多くないか
陽性の割合の差(demographic parity)グループによって「合格」と判定される割合が違わないか
誤りの割合の差(equalized odds など)本当は陽性の人を見逃す割合・陰性の人を誤って陽性にする割合が、グループで同じか

これらの指標は一般に同時には満たせないので、どれを重視するかは用途と法律・社内の方針に合わせて、事業や法務の担当と一緒に決めます。

面接ではこう答える

モデルは過去のデータから学ぶので、データに偏りがあれば判断も偏ります。性別などの列を取り除いても、使う言葉や学校のような別の列から推し量れる代理変数があるので、それだけでは防げません。まず性別や年齢層などの属性ごとに精度や再現率を測ることが出発点で、陽性と判定される割合の差や、誤りの割合の差を見ます。これらの公平性の指標は一般に同時には満たせないので、どれを重視するかは用途と法律に合わせて事業や法務と決めます。

11.2偏りへの対策

★★☆ 重要
対策は、データ・学習・後処理・運用のどこにでも入れられるデータ集める・重み学習公平性の条件後処理しきい値の調整運用人の確認・異議の窓口どれを選んでよいかは、用途と規制によって違う(事業・法務と決める)
偏りへの対策を入れる場所

対策の例:

  • データ:少ないグループのデータを集める・重みを付ける。ラベル自体に偏りがないか見直す。
  • 学習:公平性の条件を入れて学習する手法を使う。
  • 後処理:グループごとにしきい値を調整する(ただし、それが許されるかは用途と規制によります)。
  • 運用:人の確認を挟む・異議を申し立てられる窓口を作る。リリースの前だけでなく、本番でも属性ごとの性能を定期的に測ります。
ひとことで

判断の理由を説明できるようにし(SHAP など)、個人情報を学習やログに残さない。

説明の手法:「なぜこの判断になったか」を説明できると、利用者の納得・誤りやリークの発見・規制への対応に役立ちます。

手法内容
説明しやすいモデルを使う線形モデルの係数や、浅い決定木。性能の差が小さければ、これで十分なことも多い
特徴量の重要度モデル全体で、どの特徴量がよく効いているか。リークの発見にも使う
SHAP1件の予測について、各特徴量がスコアをどれだけ押し上げ・押し下げたかを示す(ゲーム理論の考え方に基づく)。木のモデルでは速く計算できる
部分依存のグラフある特徴量の値を変えると、予測が平均でどう変わるか
SHAP:1件の予測を、特徴量ごとの押し上げ・押し下げに分ける(例:解約の確率)平均の予測0.20購入回数が少ない+0.2530日ログインなし+0.15契約年数が長い-0.10この人の予測0.50モデルがどう計算したかの説明で、現実の原因とは限らない
SHAP で1件の予測を分解する(数値は説明用の例)

注意点として、これらは「モデルがどう計算したか」の説明であり、「現実の原因」ではありません。相関の強い特徴量がある場合は、重要度が分散して読みにくくなります。LLM の場合は、根拠の文書を引用して示すのが現実的な説明になります。

面接ではこう答える

説明可能性は、なぜその判断になったかを説明できるようにすることで、利用者の納得、誤りやリークの発見、規制への対応に役立ちます。モデル全体では特徴量の重要度、1件ずつでは SHAP を使い、各特徴量がスコアをどれだけ押し上げたか押し下げたかを示します。ただし、これはモデルがどう計算したかの説明で、現実の原因ではありません。相関の強い特徴量があると重要度が分散するので、読み方に注意します。

11.4個人情報の扱い

用語★★☆ 重要
ひとことで

学習・推論・ログの各段階で、必要な分だけ集め、ID に置き換え、保存期間を決めて個人情報を扱うこと。

集めるところから捨てるところまで、各段階で減らす集める必要な分だけ学習仮名化・氏名は入れない推論外部 API の契約ログマスク・保存期間削除の依頼にどう応えるか(学習済みのモデルを含めて)を法務と決めておく
各段階で個人情報を減らす

個人情報の扱い:

  • 必要な分だけ集める:予測に要らない個人情報は学習データに入れない。氏名やメールアドレスは、ID に置き換える(仮名化)。
  • ログに残さない:推論のリクエストや LLM のプロンプトのログに個人情報が入りやすいので、保存の前にマスクし、保存期間を決めます。
  • モデルから漏れることがある:大きなモデルは学習データの一部を覚えて出力することがあります。特に LLM のファインチューニングに個人情報を入れないようにします。
  • 利用目的と同意:集めたときの目的の範囲で使っているか、削除の依頼にどう応えるか(学習済みのモデルへの扱いも含めて)を、法務と確認します。外部の API に送る場合は、送った情報が学習や保存に使われない設定・契約かを確認します。

面接ではこう答える

ML での個人情報の扱いは、必要な分だけ集めることから始めます。予測に要らない個人情報は学習データに入れず、氏名やメールアドレスは ID に置き換える仮名化をします。推論のリクエストや LLM のプロンプトのログにも個人情報が入りやすいので、保存の前にマスクして保存期間を決めます。外部の API に送るときは、学習や保存に使われない契約かを確かめ、削除の依頼への対応も法務と決めておきます。

ひとことで

モデルの用途・使ってはいけない用途・学習データ・評価結果・限界を1枚にまとめた文書。

人に影響するモデルを出すときは、「何のためのモデルで、どこまで使ってよいか」を文書にして残します。代表的な形がモデルカードです。

書くこと例
用途と使ってはいけない用途問い合わせの振り分け用。採否の判断には使わない
学習データ期間・集め方・分かっている偏り
評価の結果全体と属性ごとの指標
限界と注意新しい商品カテゴリでは精度が低い
責任者と見直しの時期半年ごとに再評価

EU の AI 規則(AI Act)のように、用途のリスクの高さに応じて義務を課す規制もあり、日本でも政府の指針が出ています。採用・与信・医療のような影響の大きい用途では、リリースの前に事業・法務と一緒にリスクを評価し、人の確認を残すかどうかを決めます。

面接ではこう答える

モデルカードは、モデルの用途と使ってはいけない用途、学習データの期間と分かっている偏り、全体と属性ごとの評価結果、限界、責任者をまとめた文書です。人に影響するモデルでは、これを残しておくことで、想定外の使われ方を防ぎ、監査や問い合わせに答えられます。用途のリスクに応じて義務を課す規制もあるので、影響の大きい用途ではリリース前に事業や法務とリスクを評価します。

モデルそのものも攻撃の対象になります。代表的なものを知っておき、影響の大きい用途では対策を検討します。

攻撃内容対策の例
敵対的な入力人には分からない小さな変化で、モデルの判断を変える(スパム判定をすり抜ける文章など)入力の検証・複数の仕組みを重ねる・攻撃例を学習に入れる
データの汚染(ポイズニング)学習データに細工したデータを混ぜ、特定の入力で誤らせるデータの出どころの管理・外れたデータの検出
モデルの抜き取りAPI に大量に問い合わせて、モデルの振る舞いをまねるレート制限・利用状況の監視
学習データの推測出力から、特定の人のデータが学習に使われたかを推し量る個人情報を学習に入れない・出力を丸める
プロンプトインジェクションLLM に外から指示を紛れ込ませる安全性とガードレールを参照

この章のまとめ

🖨 まとめシート(印刷・PDF)
  • バイアス・公平性・説明可能性
  • プライバシーと法令への対応
  • バイアスと公平性の指標:データの偏りがモデルの判断の偏りになる。属性ごとの性能を測って確かめる。
  • 説明可能性(SHAP など):判断の理由を説明できるようにし(SHAP など)、個人情報を学習やログに残さない。
  • 個人情報の扱い:学習・推論・ログの各段階で、必要な分だけ集め、ID に置き換え、保存期間を決めて個人情報を扱うこと。
  • モデルカードとリスクの管理:モデルの用途・使ってはいけない用途・学習データ・評価結果・限界を1枚にまとめた文書。

この章のクイズ

面接ではこう聞かれる

まず答えを見ずに声に出して答え、そのあと開いて比べる。

Q1モデルのバイアスにどう対処しますか?

模範回答

まず測定します。全体の精度だけでなく、性別・年齢層・地域などの属性ごとに精度や再現率、陽性と判定する割合を出し、差がないかを見ます。どの公平性の指標を重視するかは用途によるので、事業や法務と一緒に決めます。差があれば原因を探し、特定のグループのデータが少ないのか、ラベル自体に過去の偏りがあるのか、属性の代わりになる特徴量を使っているのかを確かめます。

対策は原因に合わせて、データを集め直す・重みを付ける、学習で公平性の条件を入れる、しきい値を調整する、人の確認を挟む、などを選びます。そして一度で終わりにせず、本番でも属性ごとの性能を定期的に監視し、再学習のときの評価の関門にも入れます。

深掘りされたら

  • 属性の列(性別など)を取り除けば、バイアスはなくなりますか?

見られているポイント測定・原因・対策・継続的な確認

Q2SHAP とは何ですか?使うときの注意は?

模範回答

1件の予測について、各特徴量がスコアをどれだけ押し上げたか、押し下げたかを数値で示す方法です。ゲーム理論の考え方をもとにしていて、全部の特徴量の寄与を足すと、平均の予測からその予測までの差になります。木のモデルでは速く計算できます。予測の理由を利用者や担当者に説明したり、怪しいほど効いている特徴量からリークを見つけたりするのに使います。

注意点は、「モデルがどう計算したか」の説明であって、「現実の原因」ではないことです。相関の強い特徴量があると、寄与が分かれて読みにくくなります。

深掘りされたら

  • 全体の特徴量の重要度と、1件ごとの説明は、どう使い分けますか?

見られているポイント仕組みの直感・用途・因果ではないこと

Q3LLM のアプリで、個人情報をどう扱いますか?

模範回答

まず、送らなくてよい個人情報は送りません。必要なら、送る前に氏名や電話番号などをマスクしたり、ID に置き換えたりします。外部の API を使う場合は、送った内容が学習や保存に使われない設定・契約になっているか、どこに保存されるかを確かめます。

ログにもプロンプトや出力が残るので、保存の前にマスクし、保存期間と見られる人を決めます。RAG では、利用者に見る権限のない文書が検索に出ないよう、検索の段階で絞ります。ファインチューニングの学習データにも個人情報を入れないようにします。利用目的の範囲は、法務と一緒に確認します。

深掘りされたら

  • 個人情報が出力に出てしまったと分かったら、どうしますか?

見られているポイント送らない・マスク・契約の確認・ログと権限