大規模言語モデルは、生物兵器の開発を加速させたり、より多くの人々がアクセスできるようにする可能性がある。OpenAIは、AIモデルに関する研究を実施し、これらのモデルが生物学的脅威の創出に関する危険な情報への悪意ある行為者のアクセスを有意に増加させることができるかどうかを評価した。
これは、これらのAIモデルの作成者が、AIの有害な使用と社会への潜在的脅威に関する政策立案者からの圧力の高まりに直面していることを意味する。この研究の目的は、これらのモデルによってもたらされるリスクを評価し、現在の立ち位置と将来の立ち位置を確認することである。
そのために、OpenAIはAIの早期警告システムに取り組んでいる。この早期警告システムは、大規模言語モデルが、生物学的脅威の開発に関する情報への行為者のアクセス能力を、インターネットに比べて向上させることができるかどうかを示すことを目的としている。
OpenAIによれば、このシステムは、生物兵器の可能性が存在し、悪用の可能性をさらに調査する必要があることを示す「トリップワイヤ」として機能する可能性がある。これはOpenAIの準備態勢の枠組みの一部である。
これまでのところ、OpenAIによれば、「GPT-4は、生物学的脅威の創造精度を、せいぜい軽度に高める程度」だという。同社はまた、生物学的脅威をもたらす情報は、AIがなくてもインターネットで「比較的簡単に」見つけることができ、一般的にこのようなLLMリスク評価を開発するにはまだ多くの作業が必要であることを学んだとのことだ。
インターネットvs.GPT-4：生物兵器開発にはどちらのリソースが有用か？
この研究のために、研究者たちは100人の参加者を評価した。これらの参加者の半数は、博士号を持ち、専門的なウェットラボの経験を持つ生物学の専門家であった。一方、残りの半分は、生物学の大学レベルの講義を少なくとも1回は受講したことのある学生レベルの参加者であった。
参加者の各グループは、インターネットのみにアクセスできる対照グループと、インターネットとGPT-4にアクセスできる治療グループに無作為に割り当てられた。GPT-4にアクセスできる参加者は、その研究専用モデルにもアクセスできるようにされたので、生物兵器に関する質問には答え、通常有害かもしれない質問には答えないようにされた。
参加者全員を対象としたテストは、生物兵器の着想プロセス、入手、拡大、調合、放出など、生物学的脅威の創造に関するあらゆる側面を網羅した課題をこなすというものであった。
OpenAIは、5つの成果指標に基づいて参加者のパフォーマンスを決定した：正確さ、完成度、革新性、所要時間、自己評価による難易度である。
正確性、完全性、革新性は専門家によって採点され、所要時間は参加者の回答から直接導き出された。各課題の難易度は、参加者が1～10の尺度で評価した。
この研究では、GPT-4にアクセスした人の回答の正確さと完全性がわずかに向上したことが示された。回答の正確さを10点満点で評価したところ、インターネットのベースラインと比較して、専門家では平均0.88、学生では平均0.25の改善が見られた。
完全性についても同様の改善が見られた（専門家は0.82、学生は0.41）。しかし、OpenAIによると、その効果は統計的に有意といえるほど大きくはない。
この研究の限界は、情報へのアクセスを評価しただけであり、その実際的な応用を評価していないことである。加えて、LLMが新たな生物兵器の開発に貢献できるかどうかは検証していない。
さらに、使用したGPT-4モデルは、インターネット調査や高度なデータ解析などのツールを利用することができなかった。研究および商用アプリケーションにおけるLLMの全体的な性能と有用性を向上させるためには、ツールへのアクセスが最優先事項であるため、この結果もせいぜい予備的なものと考えることができる。
OpenAIは、「情報アクセスがどのレベルまで増加すると実際に危険なのかは、まだ明らかではありません。また、オンライン情報を物理的な生物脅威に変換できる技術の利用可能性やアクセシビリティが変化するにつれて、このレベルも変化する可能性が高い。私たちは、準備態勢の枠組みを運用していく中で、この問題をめぐる議論を活性化させ、より良い答えを導き出したいと考えています」と、述べている。
Source
コメントを残す