ブラックボックスというと、万が一のときに死後の解析に役立つ航空機の記録装置を思い浮かべる人もいることだろう。また、小さな劇場や最小限の設備しかない劇場を思い浮かべる人もいるかも知れない。しかし、ブラックボックスは、人工知能（AI)の世界でも重要な用語だ。
AIブラックボックスとは、ユーザーには見えない内部構造を持つAIシステムのことを指す。入力と出力は出来るが、システムのコードや出力を生成するロジックを調べることは出来ない。
機械学習は、人工知能の主要なサブセットだ。機械学習には、アルゴリズム（またはアルゴリズムのセット）、学習データ、モデルという3つの要素がある。アルゴリズムとは、手順の集合体だ。機械学習では、アルゴリズムは、大規模な例（訓練データ）のセットで訓練された後、パターンを識別することを学習する。機械学習アルゴリズムが学習されると、その結果、機械学習モデルが作成される。このモデルは、人々が使用するものだ。
例えば、画像中のパターンを識別する機械学習アルゴリズムを設計する場合、学習データは犬の画像になる。そうしてできた機械学習モデルが「ドッグスポッター」です。入力として画像を与え、出力として、その画像のどこのピクセルの集合が犬を表しているかどうかを得ることが出来る。
機械学習システムの3つのコンポーネントは、いずれもブラックボックスに隠すことが出来る。よくあることだが、アルゴリズムは一般に知られているので、ブラックボックスに入れるのはあまり効果的ではない。そのため、知的財産を保護するために、AI開発者はモデルをブラックボックスに入れることが多い。また、モデルの学習に使用するデータを隠蔽する、つまり、学習データをブラックボックスに入れるというアプローチもある。
ブラックボックスの反対語は、グラスボックスと呼ばれることがある。AIのグラスボックスとは、アルゴリズムや学習データ、モデルなどがすべて誰でも見ることができるシステムのことだ。しかし、研究者はこれらさえもブラックボックスとする側面を特徴付けることがある。
それは、機械学習アルゴリズム、特にディープラーニングアルゴリズムがどのように動作するのか、研究者が完全に理解していないからだ。説明可能なAIという分野では、必ずしもグラスボックスではないものの、人間がより理解できるようなアルゴリズムの開発に取り組んでいる。
AIのブラックボックスが重要な理由
多くの場合、ブラックボックスの機械学習アルゴリズムやモデルを警戒するのには十分な理由がある。例えば、機械学習モデルがあなたの健康状態について診断を行ったとする。あなたは、そのモデルがブラックボックスであることを望むだろうか？それともグラスボックスであることを望むだろうか？あなたの治療方針を決める医師はどうだろうか。おそらく彼女は、モデルがどのようにしてその判断に至ったかを知りたいと思うだろう。
銀行からのビジネスローンを受ける資格があるかどうかを判断する機械学習モデルが、あなたを断ったとしたらどうだろう？その理由を知りたくはないだろうか。そうすれば、より効果的にその判断を不服としたり、自分の状況を変えて、次に融資を受けられる可能性を高めたりすることができるかも知れない。
ブラックボックスは、ソフトウェアシステムのセキュリティにも重要な影響を与える。長年、コンピュータの分野では、ソフトウェアをブラックボックスに入れておけば、ハッカーに調べられることがなく、安全であると考える人が多くいた。だが、ハッカーはソフトウェアをリバースエンジニアリングすることができ、そのソフトウェアの動作を詳細に観察して模造品を作ることができるため、この仮定は大部分が間違っていることが証明されている。
もしソフトウェアがグラスボックスに入っていれば、ソフトウェアテスターや善意のハッカーがそれを調べ、制作者に弱点を知らせることで、サイバー攻撃を最小限に抑えることが出来る。
