Facebookの親会社であるMetaは、「科学的知識」AIモデル「Galactica」を公開したが、偽の、そして誤解を招く情報を生成していると研究者らから指摘を受け、その公開デモを取り下げた。

Galacticaは、11月15日に公開された。公開当初、「科学的知識を保存、結合、推論できる」AI言語モデルであり、研究論文の要約、方程式の解法、その他科学的に有用な様々な作業を行うことができると説明されていたが、科学者や研究者は、このAIシステムの要約が、実在しない研究論文の著者を引用するなど、衝撃的な量の誤った情報を生成していることをすぐに発見し報告している。

マックス・プランク知能システム研究所のMichael Black（マイケル・ブラック）所長は、このツールを使用した後、Twitterのスレッドに「すべてのケースで、間違っていたり偏っていたりしたが、正しくて権威あるように見えてしまい危険だと思う。」と書き込んでいる。

Black氏のスレッドは、Galacticaが生成した科学的文章が、誤解を招いたり、単に間違っていたりする様々なケースを捉えている。いくつかの例では、AIは権威あるように聞こえる、信憑性のある記事を生成しているが、実際の科学的研究に裏打ちされていない。中には、引用文献に実在する著者の名前が含まれているのに、実在しないGithubリポジトリや研究論文にリンクしているケースもあったとのことだ。

また、Galacticaが幅広い研究テーマの結果を返さないことを指摘する声もあった。これは、AIが自動的にフィルターをかけているためと思われる。ワシントン大学のコンピューターサイエンス研究者であるWillie Agnew（ウィリー・アグニュー）氏は、「クィア理論」「人種差別」「エイズ」といったクエリーはすべて結果が出なかったと指摘する。

これらの指摘を受けて、11月17日にMeta社はGalacticaのデモを削除した。コメントを求められた同社は、このシステムを担当するプロジェクト『Papers With Code』を通じてTwitterにて声明文を発表している。

皆様、Galacticaモデルデモをお試しいただきありがとうございます。これまでコミュニティからいただいたフィードバックに感謝し、デモを一旦停止しています。私たちのモデルは、作品についてもっと知りたい、論文で結果を再現したいという研究者のために用意されています。

Facebookが偏ったAIをリリースした後、釈明しなければならなくなったのはこれが初めてではない。同社は8月、BlenderBotというチャットボットのデモを公開し、奇妙に不自然な会話を蛇行させながら「攻撃的で真実味のない」発言をした。同社はまた、OPT-175Bと呼ばれる大規模な言語モデルも公開しており、研究者は、OpenAIのGPT-3などの類似システムと同様に、人種差別や偏見の「傾向が強い」ことを認めている。

また、「Galactica」は大規模言語モデルであり、人間が書いたかのような非常に信憑性の高いテキストを生成することで知られる機械学習モデルの一種である。このようなシステムの結果はしばしば印象的だが、「Galactica」は、信じられる人間の言葉を生成する能力があっても、システムがその内容を実際に理解しているわけではないことを示すもう一つの例である。研究者の中には、大規模な言語モデルを意思決定に用いるべきかどうか疑問視する者もいる。その気の遠くなるような複雑さゆえに、科学者がそれを監査することはもちろん、その仕組みを説明することさえ事実上不可能であることを指摘しているのだ。

これは科学的研究については明らかに大きな問題だ。科学論文は厳密な方法論に基づくものであり、テキストを生成するAIシステムには明らかに理解できない。Black氏は、Galacticaのようなシステムのリリースがもたらす結果について、当然ながら心配している。彼は、「深い科学の偽物の時代の到来を告げるかもしれない」と述べている。

Black氏はTwitterのスレッドで、「科学的方法に基づかない、権威あるように聞こえる科学を提供する。科学的文章の統計的性質に基づく疑似科学が生み出される。文法的に科学的な文章を書くことと、科学をすることは同じではありません。しかし、それは区別するのが難しいでしょう。」と述べている。