Project ExplAIn: 英国におけるAIの説明可能性の取り組み

2019年12月2日、英国のInformation Commissioner's Office（ICO）は、アラン・チューリング研究所と共同で、説明可能なAI（explainable AI / XAI）に関する ”Explaining decisions made with AI”と題する実務指針（案）を公表しました。

XAIに関しては、技術面からの論文や記事が近年増加しており、国内外におけるガイドライン等でも扱われるホットなトピックなのですが、その流れの中で、英国が実務運用に即した「AIの説明」のあり方についてまとめたのが、この実務指針（案）です。

この記事は、この実務指針（案）の内容を（公表から1か月も経っちゃいましたが）年末年始に自分の勉強として簡単にまとめたものとなります。

但し、割愛している部分も多くあり、原文もわかりやすい英語で書かれており、具体例も豊富なので、（英語が読める方は）ぜひとも原文にあたっていただければと思います。*1

Explaining decisions made with AIとは？

この実務指針（案）が出されるに至った経緯をまず簡単に説明したいと思います。

2017年10月、Professor Dame Wendy Hallと Jérôme Pesentiが発表したindependent reviewのなかで、AIに基づく決定・判断を説明するためのフレームワークの構築をする必要性が示されていました。

また、2018年4月には、英国政府は、AI Sector Dealという産業戦略計画のなかで、ICOとアラン・チューリング研究所が共同で、AIに基づく決定の説明を助けるガイダンスを作成するように求めていました。

これらのindependent review及びSector Dealの求めに応じて開始されたのがProject ExplAInと呼ばれる、ICOとアラン・チューリング研究所協働のプロジェクトで、今回の実務指針（案）はその成果物というわけです*2。

また、この実務指針（案）は、法的拘束力のある規則ではなく、パーソナルデータを処理・利用するAIシステムに基づく行われた決定に関して、「説明」を行うためのGood Practiceを示した実務指針（practical guidance）であるとされています。

この実務指針（案）は、以下のとおり、3つのパートで構成されています。

• Part 1: The basics of explaining AI
  →AIを「説明する」とはどういうことか？メリット・デメリット・類型は？
• Part 2: Explaining AI in practice
  →AIを「どう説明」すればいいのか？実務に生かせる方法は？
• Part 3: What explaining AI means for your organisation
  →「意義ある説明を実現」するために事業者が実施すべき方策とは？

実務指針（案）については、現在意見公募を2020年2月24日まで行っており、最終的な実務指針は2020年の後半に公表されるとされています。

それでは、早速、それぞれのPartの内容についてみていきましょう。

Part 1: The basics of explaining AI

「何について」説明するのか？AI decision（AIに基づく決定）とは？

「説明可能なAI」「AIの説明」という場合、より具体的には、何を対象とする説明のことを指すのでしょうか？

この実務指針（案）では、現実のAIの利用の方法として、AIの出力結果が直接「決定」（当該出力結果に基づきとられた行動を指します。decision）が行われる場合もあれば、AIの出力の後、他の情報等を踏まえて人間の判断が介在し「決定」が下される場合があることを紹介しています。

そのうえで、実務指針（案）で使用されている 'AI decision'（AIに基づく決定）という言葉には、AIに基づく出力結果やそれに基づく（人間の判断の介在後の）「決定」を両方含むものとしています。

説明することのメリットとデメリットは？*3

 AIに基づく決定を説明することで、会社には以下のメリットがあるとしています。

• 法令順守
• 顧客からの信頼獲得
• 内部統制

また、個人・社会には以下のメリットがあるとしています

• AIの理解向上と建設的な議論の促進
• AI決定の改善（公平性等の向上など）
• 人間中心の実現

他方で、以下のデメリット（リスク）もあるとしていますが、適切な「説明」を実現することで回避できるとしています。

• 過度な情報による不信
• AIシステムの内部構造など企業秘密の漏洩
• 第三者のパーソナルデータの漏洩
• AIシステムの内部構造を把握したうえでの悪用

それどころか、AIに基づく説明をしないことによるリスクとしては、以下のものがあるとしています。

• 規制の強化・行政介入
• レピュテーションリスク
• AIに対する国民からの信頼喪失

以上のような、説明によるメリットと説明しないことによるデメリット・リスクを踏まえて、この実務指針（案）は策定されたというわけです。

AIに基づく決定についての「何を」説明するのか？6つの「説明類型」とは？

AIに基づく決定を「説明する」というとき、どういう場面を想像するでしょうか？どういう内容の説明を求めるでしょうか？

実はこれまで「説明する」ってなんだっけ？ということが各所で議論されてくる中で、結構いろんなパターン（類型）があるのでは、ということが言われています。

実務指針（案）では、主要な「説明類型」として以下の6つを挙げています。なお、各項目の後ろに記載している日本語やその説明は、私が訳したものなので（かなり）不正確な点があるのはご留意ください。 

1. Rationale explanation（「根拠」の説明）
   特定の決定に至った理由・ロジックを、把握できる形で、かつ非技術的な方法で説明すること。また、AIシステムのどの構成要素が、特定の決定に至る重要な要素となったかを説明すること。
   
   
2. Responsibility explanation（「責任所在」の説明）
   AIの開発・管理・実行において誰が関与しているか、及び当該決定に対して誰がレビューをするのかなど責任の所在について説明すること。
   
   
3. Data explanation（「データ」の説明）
   
   AIモデルの開発に際しての学習データ及びテストデータとして、どんなデータがどんなふうに利用されたかについて説明すること。また、特定の決定において、どんなデータがどんなふうに利用されたかについて説明すること。
   
   
4. Fairness explanation（「公平性」の説明）
   
   その決定が一般的に不偏で公平となるように、AIの設計及び実装において、どのようなステップが踏まれたかを説明すること。そして、各個人が公平に扱われているかどうかを説明すること。（データセットの公平性、設計の公平性、結果の公平性）
   
   
5. Safety and performance explanation（「安全性・性能」の説明）
   その決定等の正確性・信頼性・安全性及び頑強性が確保されるように、AIの設計及び実装において、どのようなステップが踏まれたかを説明すること。
   
   
6. Impact explanation（「影響」の説明）
   AIの利用が個人・社会に与える影響が何か、そしてそれらを十分に考慮したこと等を説明すること。

以上が、実務指針（案）で示されている「説明類型」ですが、そこでも書かれている通り、これは網羅的なリストではありません。事業領域やAIシステムの内容などによって、「利用者たる個人が求める説明」の内容は異なりうることを意識する必要があります。

4つの「説明原則」とは？

実務指針（案）では、（ルール・ベースではなく）プリンシプル・ベースのアプローチをとるべきとしています。つまり、「ああしろ、こうしろ」と詳細・個別に規定するのではなく、「原則を示してその中でベストなプラクティスを探していくべし」というスタンスをとっています。

具体的には次の4つの原則です。これらの原則は、この後で説明するPart 2やPart 3でも度々参照される原則です。

1. Be trasparent
   AIに基づく決定を行っている事実、その場面と理由についてオープンで率直（candid）であること、そして偽りのない意味のある説明（truthful and meaningful explanation）を適切な方法で適切なタイミングですること
   
   
2. Be accountable
   AIの説明可能性について誰が管理・監督するのか、最終的な責任の所在はどこか、個人が説明可能性を問える人間を配置すること、AIの設計からデプロイに至る各過程において説明可能性について十分な検討を行うこと
   
   
3. Consider context
   どんな事業にも適用できるような説明方法はないということを念頭に、当該事業が行われる文脈（事業分野、利用シーン、決定を受ける個人の状況など）を考慮すること
   
   
4. Reflect on impacts
   AIの設計からデプロイに至るまで、AIが個人及び社会に対して与える影響を顧慮すること

Part 2: Explaining AI in practice

「説明」の類型や原則はわかったとして、実務指針（案）は結局何を事業者に求めているのでしょうか。それは、AIに基づく決定を受ける個人に対して意味のある説明をするということです。

そのために、事業の中で決定プロセスにある全ての者が、AIに基づく決定に対して説明ができるようにあらかじめ準備すべきとしています。例えば、AIの設計及び実装の背後にあるプロセスをドキュメント化することに加えて、その出てきた結果（出力）について実際に説明することも含まれています。これらの具体的な内容はPart 3で触れることになります。

事業者は何から手を付けたらいいの？７つの「ステップ」とは？

でもそうだとしても、実際にAIを「説明」するには事業者は何から手を付けたらいいのか？どういう手順で考えていけばいいのか？そのような疑問に答えるために、事業者が参考としうる７つのステップがPart２において示されています。

ステップ１：Select priority explanations by considering the domain, use case and impact on the individual（取り組むべき「説明類型」に優先順位をつけよう）

Part 1で見たとおり、「説明」にはいくつかの類型が存在します。そこで、それらの類型の中から、「利用者たる個人が説明してほしいと思う類型の説明とはなんだろうか」と考えてみます。

一般的には、Rationale explanation（「根拠」の説明）とResponsibility explanation（「責任所在」の説明）の重要性が高いことが多いだろうとしていますが、自分たちの事業領域・ユースケース（利用シーン）や個人への影響度等を踏まえた検討をすることが重要としています。

例えば、実務指針（案）では以下のような具体例を挙げています。*4

• 医療分野のような安全性が重要な分野では、Safety and performance explanation（「安全性・性能」の説明）が、既存の医療分野における安全基準等に合致していることが重要となる
• 刑事司法分野のような公平性が重要な分野では、Fairness explanation（「公平性」の説明）が重要となる
• 商品のクレーマーを分類するAIシステムと、医療機関の集中治療室の患者を分類するAIシステムとでは、個人への影響度が異なり、優先順位も変わりうる

いずれにせよ、このように優先順位をつけることで、何から手を付けたらいいのか、各類型ごとにどういった情報を準備すべきか、どの程度カバーすべきかなどが見えてくるでしょう。 

ステップ２：Collect the information you need for each explanation type（各説明類型ごとに必要な情報を集めよう）

説明類型に優先順位をつけることが出来たら、それぞれの説明類型について説明に必要な情報を集めましょう。

その際に、実務指針（案）では、プロセス・ベースの説明とアウトカム・ベースの説明の二つの説明があるとしたうえで、それぞれの説明ができることが重要としています。

• Process-based explanation：
  AIシステムの設計及び利用の場面において、適切なガバナンスプロセスとベスト・プラクティスに従ったことを説明すること
• Outcome-based explanation：
  AIに基づく特定の決定が出された場面において、その決定に至った理由を平易で理解しやすい、日常用語で説明すること

実務指針（案）では、ステップ１でみた「説明類型」ごとに、

• 「何を示す必要があるのか（What you need to show）」と
• 「どんな情報で説明することができるのか（What information goes into this explanation）」（Process basedとOutcome basedごとに）

を整理して示してくれていて、とても参考になると思います*5

ステップ３：Build your rationale explanation to provide meaningful information about the underlying logic of your AI system（AIシステムの「論拠」の説明を考えよう）

AIシステムの内部ではどのようなことが行われているのか、というRationale explanation（「根拠」の説明）を理解することは、次のステップ以降の重要な要素となります。また、そもそもステップ１見た通り、一般的には優先順位が高い説明類型になりますので、これを解明することはとても大切なことです。

その際に注意すべきことは、そのシステムの利用シーン・業務分野や影響の度合いを踏まえて、適切な水準の説明になっている（理解が可能であること）ようにすることです。

実務指針（案）では、以下のような具体例を示しています。

• 金融サービス部門の与信判断においては、その判断を厳格に正当化しうる、完全に透明で、容易に理解可能なモデルを使用する必要があるだろう
• 医療分野においては、厳格な安全性基準を満たすために、性能に関する高水準の説明が可能なモデルを採用する必要があるだろう
• 従業員の手書きフィードバックを読み取る画像認識システムと、保安検査場で危険を判別する画像認識システムとでは、その影響度が異なる結果、採用すべきモデルも異なりうるだろう

AI開発においてモデルの選択を説明可能性の観点から検討するにあたって、実務指針（案）では、 15のアルゴリズムを一覧化して、それぞれの概要や想定される利用シーン、そして解釈可能性について示しています。このうち、最初の11のアルゴリズム*6については、基本的には解釈可能性が高く、最後の4つのモデル*7については（程度の差はあれど）解釈可能性が低い、いわゆるブラックボックス型のモデルだとしています。

ここで実務指針（案）が示す重要なポイントの一つは、ブラックボックス型のAI*8を利用する場合の取り扱いです。

実務指針（案）においても、一定の分野においては、分かりやすく解釈が可能なAIシステムを利用できない場合があることには理解を示しています。

しかしながら、このブラックボックス型のAIモデルを利用するのは、

• 潜在的な影響とリスクを予め徹底的に検討し、
• AIシステムの想定利用シーンと組織としての能力・資源ならば、責任ある設計と実装が可能であると判断し、かつ
• 補助的な解釈ツール（supplemental interpretability tools）を使うことで、事業領域に適したレベルの説明可能性が実現でき、これによって、合理的に十分な水準で、潜在的なリスクを軽減し、AIが出した結果の根拠について意味のある情報を示すことのできる確固たる基盤を提供できる場合に限り、

認められるとしています。

実務指針（案）では、ここでいうsupplemental interpretability toolsとして、例えば、Surrogate models、PDP、LIMEやSHAPなどを一覧化したうえで、それぞれの内容及び限界も示していますので、技術者も参考にすることができる内容になっているのではないでしょうか。*9

ステップ４：Translate the rationale of your system's results into useable and easily understandable reasons（AIが出す結果の論拠を理解しやすい言葉での説明に言い換えよう）

一般的にステップ３を経ることで、どんな入力・特徴量や関係が、特定の出力結果に影響を与えたのかという統計的関連性（statistical association）がわかってくるわけですが、次はその説明を、技術者ではない利用者等が理解できるような日常用語に翻訳することが必要になります。

その際に注意しなければならないこととして実務指針（案）が指摘するのは、「相関関係は因果関係を含意しない (Correlation does not imply causation)」という点です。

つまり、ステップ３で把握できることは、特定の入力・特徴量等（X）がある特定の出力結果（Y）と強い相関関係があることまでであり、XとYに因果関係があるとまでは言えない場合があるという点に留意すべきとしています。

この点を留意したうえで、ここに、ドメイン知識や決定を受けた者の個別具体的な状況に関する知識を動員していきます。

そうすることで、どの統計的関連性（相関関係）が「正当で（legitimate）合理的に説明してくれている（reasonably explanatory）」か否かを分析・検討して、それが「説明」に関連性があるかの理解・納得できるかチェック（Sense check）することになります。

実務指針（案）では、以下のような具体例として挙げています。

• 家族の看病・介護のために数年間仕事を離れていた者が、求人・採用AIにはじかれてしまった原因が、「失業期間の長さと職務能力の低さ」という統計的相関関係に基づくとステップ３で把握できた場合、Sense checkの結果、本件では当てはまらない（家族の看病のために離れていただけなのだから、今回の例にとっては正当で合理的な説明ではない）と考える

ステップ５：Prepare implementers to deploy your AI system（実装者・介在者（implementer）がAIをデプロイできるように準備をしよう）

また、完全自動型のAI*10ではなく、判断権限を持つ人間が決定に関与するAIの場合、その人間（implementer）がAIに関して適切な理解を持ち、それを責任をもって公平に利用するためにトレーニングをあらかじめ受けていることが必要です。

そうでなければ、最終的に適切な説明が可能な決定が出来ない可能性が出てきてしまいます。

例えば、機械学習の性質や、AIの限界等（上記の「相関関係は因果関係を含意しない 」を含みます。）に関する基礎的な知識を適切に持つこと、そして認知バイアスにどう対処するかを理解することが必要です。

また、AIシステムが、人間による判断を助けるものであって、人間の判断に代替するものではないと理解することも必要です。

ステップ６：Consider contextual factors when you deliver your explanation（文脈や状況を踏まえて説明を考えよう）

ステップ６では、説明の内容をよりブラッシュアップしていきます。

具体的には、ドメイン、影響力、データ、緊急性及び聴衆などを考慮したうえで、人々（利用者）が欲しい・必要と思う情報が何か、その情報で人々はどうしたいと思うのか、を考えることが必要になってきます。具体的には、以下のとおりです。

• ドメイン：
  例えば、刑事司法分野のAIの場合に重要となる「公平性」の説明については、Eコマース分野のレコメンドAIの場合にはそれほど重要とはならないことが多い
• 影響力：
  例えば、個人に強い影響を与えるAIの場合には、一般的には「公平性」や「安全性・性能」の説明が重要になることが多い
• データ：
  例えば、生物的・身体的データを利用して診療するAIの場合には「影響」や「安全性・性能」の説明が重要でありうるのに対して、社会的・主観的データを利用されたAIの場合には「公平性」の説明の重要性が高まりうる
• 緊急性：
  例えば、緊急性の高い決定を行うAIの場合には、その決定を受けた個人が速やかに受け入れるための「安全性・性能」の説明の重要性が高くなることが多い
• 聴衆：
  例えば、聴衆（説明すべき相手）が一定のドメイン知識を持っているならば「根拠」の説明だけで事足りる（全部を理解してくれる）ことがあるかもしれないが、そのような知識がない聴衆には「安全性・性能」の説明に加えて、「責任所在」の説明によって「AIの決定に疑問があった場合に誰に聞けばいいか把握」できるようにした方がいいこともあるでしょう

ステップ７：Consider how to present your explanation（どうように説明するか考えよう）

そして最後に、どうように説明を伝えるのかを考える必要があります。

実務指針では、説明の方法としては、Layered approachという方法が提案されています。つまり、ステップ１で優先順位が高いとしたもの第一Layerとして、順にLayerを変えながら、説明を加えていくという手法です。

By layered we mean proactively providing individuals with the prioritised
explanations (the first layer), and making the additional explanations
available on a second, and possibly third, layer. If you deliver your
explanation on a website, you can use expanding sections, tabs, or simply
link to webpages with the additional explanations.

 こうすることで、利用者が知りたい情報や説明を探すのに負担をかけなくて済み、関係する重要情報に速やかにアクセスすることができる（さらに詳細を知りたければ、知ることもできる）ことを実現できるとされています。

もっとも、実務指針（案）が強調するのは、こういった情報・説明は「一方的」なものではなく「会話的」なものであるべきという点です。単にウェブサイトに掲載するだけではなく、AIの行った決定に関して、人間と議論をすることができるようにすべきとしています。

また、説明の方法に加えて、説明のタイミングも重要な検討事項です。

ステップ２で示した、Process-based explanationならば事前に情報提供することができるはずですし、Outcome-based explanationも「責任所在」、「影響」、「データ」の説明の一部は事前に示すことができるでしょう。

そして、決定がなされた後は、全ての説明を提供できるはずです。

これでPart２は終わりです。これで「説明」の在り方についてはおさえました。 

Part 3: What explaining AI means for your organisation

Part3では、Part2でみた「意味のある説明」を実現するためにどうしたらいいのか、採用しうる役割分担、方針及び手続き等の規定、並びに記録・文書管理等のあり方について触れています。

①組織内での役割分担のあり方

実務指針（案）では、AIの結果に基づき決定・判断を行うプロセスにいる全ての者*11が、「説明」のために担うべき役割があるとしています。

例えば、AI開発チームであれば、AIに入力するデータが信頼性・関連性があり、かつ最新であるように確保すること、データ・アーキテクチャーやインフラが意図したとおりに機能し、かつ必要な「説明」が取り出せるように構築・整備すること、AIシステムに利用するモデルを構築・学習・最適化し、解釈可能なメソッドを優先することなどが期待されています。 

他方で、DPO*12及びコンプラチームは、AI開発及び利用が、法令、社内規則、ガバナンス指針等を遵守している状況を確保することが求められており、

マネジメントは、AIに基づく決定が適切な水準で説明可能であることを確保する責任を負うことが役割とされています。

 なお、AI開発自体は外部のベンダーに委託する場合でも、実務指針（案）では、事業者（委託者）が、AIに基づく決定に関する説明の第一義的責任を負うとしています。もしも、外部ベンダーから供給を受けたAIについて、それ単体では「意味のある説明」ができないのであれば、補助的なモデル等の利用が必要になる場合もあることが示されています。

②方針及び手続を定めた規則のあり方

実務指針（案）では、以下の観点から、AIに基づく決定の「説明」に関して方針及び手続を規定した規則を作成することが望ましいとしています。

• 運営と手続の一貫性を確保し、標準化を図る
• ルールと責任を明確化する
• 組織のカルチャーを育て広めることを支える

そのうえで、規則には、「どういう規則なのか」「なぜそういう規則なのか」「誰に適用される規則なのか」「それを実現するための具体的な手順は何か」を規定する必要があるとしています。

実務指針（案）では、具体例として、以下の各項目を挙げています。

• Policy Objective：
  「AIに基づく決定についての適切な説明の実現」という目的の明確化
• Policy Rationale：
  なぜこの規則が必要なのか（法令上の要請に加えて、順守することによる会社のメリットや会社のビジョン・価値との関連性）
• Policy Scope：
  どんなAIに適用されるのか、どの部署に適用されるのかなど
• Policy Ownership：
  この規則が順守されているかの管理監督を行うのはどの部署かなど
• Roles：
  役職・部署ごとに「AIの説明可能性」にどういう役割を担っているのか
• Impact Assessment：
  AIに基づく決定による影響度評価の必要性とその方法について
• Awareness Raising：
  AIを利用する理由、どこで使用しているのか等の意識の向上の重要性について
• Data Collection：
  説明可能性の向上のためにどのようにデータを収集・評価・構造化・ラベリング等するかについて
• Model Selection：
  「説明可能性」を支える要素がどのようにAIモデルの選択に際して考慮されるのか、AIシステムの利用シーンや潜在的な影響の観点からの適切性などについて
• Explanation Extraction：
  「説明」にはいくつかの類型が存在すること、そして各類型の説明を抽出するための必要な要素が何かについて
• Explanation Delivery：
  個人（利用者）にとって意味のある説明を実現するためにどうするか（説明類型の優先順位のつけ方、技術用語を日常用語に翻訳する方法、説明フォーマットなど）
• Documentation：
  AIシステムの開発から利用に至るまでの記録・文書管理のあり方について
• Training：
  説明の重要性とその方法に関しての一般従業員に対する教育などについて

③記録・文書管理のあり方

 AIに基づき決定がなされたとき、その説明を行うためには、プロセスの各ステージにおいて適切な記録・文書管理が必要になってきます。その際

• AIシステムの設計及び実装の過程での記録・文書管理
• AIシステムを利用して特定の決定がなされた過程での記録・文書管理

の両方をカバーすることが重要とされています。

そして、何よりも、技術的知識のレベルが多用な人々に対して理解可能な記録・文書を作成・管理することが重要だと、実務指針（案）は示しています。

実務指針（案）の当該節は、GDPRにおいてどのような記録・文書が必要なのかを、各条項ごとにおさらいしてくれています。

また、以下の各段階において、具体的にどういった記録・文書を作成・管理しておく必要があるのか（望ましいのか）についても、詳細に記載してくれていますので、ぜひ原文をご参照ください。

• Decision to use an AI system（AIシステムを利用することとした経緯）
• Scoping and selecting explanation types（説明類型の選択と範囲）
• Data collection and procurement（データの収集）
• Data pre-processing（データの前処理）
• Model selection（モデルの選択）
• Model building, testing and monitoring（モデル構築・テスト・モニタリング）
• Tools for extracting an explanation（説明抽出ツール）
• Explanation delivery（説明の提供）

おわりに

以上、ICOとアラン・チューリング研究所が共同で公表した ”Explaining decisions made with AI”をざっと見てきました。

何度も言いますが、原文はとても分かりやすい英語で書いてくれるので、英語を読める方はぜひ原文にあたっていただければと思います。

今後、日本での議論においても参考にできるものもあるのではないかと思います。

 

*1:なお、筆者は技術的知識面では素人ですので、記事中に誤訳等があるだろうと思います。その場合には、コメント欄でご指摘いただければ幸いです。

*2:より詳細に関しては、アラン・チューリング研究所のウェブページ（https://www.turing.ac.uk/research/research-programmes/public-policy/programme-articles/project-explain）等をご参照ください。

*3:ここでは項目を挙げるだけにしておりますが、具体的な内容に関しては原文をご参照ください。

*4:この他にも、コラムのような形で、リクルーティング分野でのAIや医療診断分野でのAIではどう考えたらいいかを説明してくれています。

*5:その他、Part 2の26ページから30ページにかけて、データの収集と前処理の仕方が、各類型の説明方法・内容にどう影響・方法してくるのかについて分析しており、とても面白いと思ったのですが、今回は割愛しています。

*6:Linear regression, Logistic regression, Regularised regression(LASSO and Ridge), GLM, GAM, Decision tree, Rule /  decision lists and sets, Case-based reasoningなど

*7:Support vector machines, Artificial neural net, Random Forest, Ensemble methods

*8:実務指針（案）では、'Black box' AI systemについて、以下のとおり定義しています。"we define a ‘black box’ model as any AI system whose inner workings and rationale are opaque or inaccessible to human understanding. These systems may include neural networks (including recurrent and convolutional neural nets), ensemble methods (an algorithmic technique such as the random forest method that strengthens an overall prediction by combining and aggregating the results of several or many different base models), and support vector machines (a classifier that uses a special type of mapping function to build a divider between two sets of features in a high dimensional space). "

*9:その他、解釈可能性の高いモデルを対顧客では利用しつつ、それと並行してブラックボックス型AIモデル―いわば「チャレンジャー」モデルを走らせ、特徴量エンジニアリング等に活用し、次元削減等を通じて解釈可能性を向上させるという、ハイブリッドモデルの可能性についても触れています。

*10:AIが出す結論が直接提供されるものであって、人間の判断が介在しないものを指します。

*11:具体的には、一番最初にAIを使って問題解決をしようと決定した担当者・チーム、AIシステムを開発する担当者・チーム、AIの出した結論に基づき最終的な決定を行う担当者・チーム、そしてその決定の管理監督を行う担当者・チームなどが含まれます。

*12:GDPRに基づくData Protection Officerを意味します。