人間もAIも幻覚を見るが、一体何が異なるのだろうか？

GPT-3.5のような高性能な大規模言語モデル（LLM）が登場したことで、この半年間、多くの関心が集まった。しかし、LLMは間違いを犯す可能性があること、そして我々と同じようにLLMも完璧ではないことがわかり、LLMへの信頼は薄れている。

誤った情報を出力するLLMは「幻覚を見ている」と言われ、現在、この影響を最小限に抑えるための研究が進められている。しかし、この課題に取り組むにあたり、私たち自身の偏見や幻覚の能力、そしてそれが私たちが作成するLLMの精度にどのような影響を与えるかを考えてみる価値があるのではないだろうか。

AIの幻覚の可能性と私たちの幻覚の可能性の関係を理解することで、よりスマートなAIシステムを作り始め、最終的にヒューマンエラーを減らすことができるのだ。

人はどのように幻覚を見るのか

人が情報を作り上げていることは周知の事実だ。意図的に行うこともあれば、無意識に行うこともある。後者は、認知バイアスやヒューリスティック（過去の経験によって培われた精神的な近道）の結果である。

このようなショートカットは、多くの場合、必要に迫られて生み出されたものだ。私たちは常に、五感から溢れる情報を限られた量しか処理できず、これまでに接したすべての情報のほんの一部しか覚えていない。

そのため、私たちの脳は、学習された連想によってギャップを埋め、目の前の疑問や問題に素早く対応する必要がある。つまり、私たちの脳は、限られた知識をもとに、正解を推測しているのだ。これを「confabulation」といい、人間のバイアスの一例である。

私たちのバイアスは、判断を誤らせる可能性がある。例えば、自動化バイアスは、自動化されたシステム（ChatGPTなど）が生成した情報を、自動化されていないソースからの情報よりも優先する傾向がある。このバイアスは、私たちが誤りを見逃したり、偽の情報をもとに行動したりすることにつながる可能性がある。

もう一つのヒューリスティックは、ハロー効果で、何かに対する最初の印象が、その後の私たちの行動に影響を与えるというものだ。また、「流暢さバイアス」は、読みやすい方法で提供された情報を好むことを説明するものだ。

要するに、人間の思考はしばしば独自の認知バイアスや歪みによって彩られており、こうした「幻覚」的な傾向は、私たちが意識していないところで起こっているのである。

AIはどのように幻覚を見ているのか

LLMの文脈では、幻覚を見ることは異なる。LLMは、限られた精神資源を節約して、効率的に世界を理解しようとしているわけではない。この文脈での「幻覚」は、入力に対する適切な反応を予測する試みが失敗したことを表すだけなのだ。

とはいえ、人間とLLMの幻覚の仕方は似ている。LLMも「ギャップを埋める」ために幻覚を見るからだ。

LLMは、前に出てきた単語と、システムが訓練によって学習した連想に基づいて、一連の流れの中で次に出てくる可能性が最も高い単語を予測することによって反応を生成する。

人間と同じように、LLMは最も可能性の高い応答を予測しようとする。しかし、人間とは異なり、LLMは自分が何を言っているのか理解できないまま、この作業を行う。そのため、無意味な言葉を出力してしまうことがあるのだ。

LLMが幻覚を見る理由については、さまざまな要因がある。主なものは、欠陥のある、あるいは不十分なデータで訓練されることだ。また、そのようなデータから学習するようにシステムがプログラムされていること、さらに人間のもとで訓練することでプログラミングが強化されることも要因のひとつだ。

より良いものを一緒に作る

では、人間もLLMも（理由は違えど）幻覚を見やすいとしたら、どちらが治りやすいのだろうか？

LLMを支えるトレーニングデータやプロセスを修正することは、私たち自身を修正するよりも簡単だと思われるかも知れない。しかし、これでは、AIシステムに影響を与える人間の要因を考慮することが出来ない（また、基本的帰属エラーと呼ばれる人間のバイアスの一例でもある）。

現実には、私たちの失敗とテクノロジーの失敗は表裏一体であり、一方を修正すれば他方も修正できるのだ。そこで、私たちができることをいくつかご紹介しよう。

責任あるデータ管理：AIにおけるバイアスは、偏った、あるいは限られたトレーニングデータから生じることが多い。これに対処する方法としては、トレーニングデータを多様で代表的なものにすること、バイアスを意識したアルゴリズムを構築すること、歪んだパターンや差別的なパターンを取り除くためにデータバランシングなどの技術を導入することが挙げられる。
透明性と説明可能なAI：しかし、上記のようなアクションにもかかわらず、AIにおけるバイアスは残り、検出が困難な場合がある。偏りがどのようにシステムに入り込み、その中で伝播していくのかを研究することで、出力に偏りがあることをよりよく説明することが出来る。これが、AIシステムの意思決定プロセスをより透明化することを目的とした「説明可能なAI」の基礎となる。
国民の利益を最優先する：AIにおけるバイアスを認識し、管理し、そこから学ぶには、人間の説明責任と人間の価値観をAIシステムに統合させることが必要です。これを実現するには、ステークホルダーが多様な背景、文化、視点を持つ人々の代表であることを保証する必要がある。

このように協力することで、私たちの幻覚をすべて抑えることができる、よりスマートなAIシステムを構築することが可能になるのだ。

例えば、医療の現場では、人間の意思決定を分析するためにAIが活用されている。機械学習システムは、人間のデータの矛盾を検出し、臨床医に注意を促すプロンプトを提供する。その結果、人間の説明責任を果たしつつ、診断結果を改善することができるのだ。

ソーシャルメディアの分野では、女性に対するオンライン暴力に対処することを目的とした「Troll Patrol」プロジェクトなど、虐待を特定するために人間のモデレーターを訓練するためにAIが使用されている。

また、AIと衛星画像を組み合わせることで、地域間の夜間照明の違いを分析し、その地域の相対的貧困の代理として利用することが出来る（照明が多いほど貧困が少ないという相関がある）。

重要なのは、私たちがLLMの精度を向上させるという本質的な作業を行う一方で、LLMの現在の誤謬が私たち自身を映し出す鏡であることを無視してはいけないということだ。

本記事は、Sarah Vivienne Bentley氏とClaire Naughtin氏によって執筆され、The Conversationに掲載された記事「Both humans and AI hallucinate — but not in the same way」について、Creative Commonsのライセンスおよび執筆者の翻訳許諾の下、翻訳・転載しています。