あなたの好奇心を刺激する、テックと科学の総合ニュースサイト

大規模言語モデルは、生物兵器の開発を加速させたり、より多くの人々がアクセスできるようにする可能性がある。OpenAIは、AIモデルに関する研究を実施し、これらのモデルが生物学的脅威の創出に関する危険な情報への悪意ある行為者のアクセスを有意に増加させることができるかどうかを評価した。

これは、これらのAIモデルの作成者が、AIの有害な使用と社会への潜在的脅威に関する政策立案者からの圧力の高まりに直面していることを意味する。この研究の目的は、これらのモデルによってもたらされるリスクを評価し、現在の立ち位置と将来の立ち位置を確認することである。

そのために、OpenAIはAIの早期警告システムに取り組んでいる。この早期警告システムは、大規模言語モデルが、生物学的脅威の開発に関する情報への行為者のアクセス能力を、インターネットに比べて向上させることができるかどうかを示すことを目的としている。

OpenAIによれば、このシステムは、生物兵器の可能性が存在し、悪用の可能性をさらに調査する必要があることを示す「トリップワイヤ」として機能する可能性がある。これはOpenAIの準備態勢の枠組みの一部である。

これまでのところ、OpenAIによれば、「GPT-4は、生物学的脅威の創造精度を、せいぜい軽度に高める程度」だという。同社はまた、生物学的脅威をもたらす情報は、AIがなくてもインターネットで「比較的簡単に」見つけることができ、一般的にこのようなLLMリスク評価を開発するにはまだ多くの作業が必要であることを学んだとのことだ。

インターネットvs.GPT-4:生物兵器開発にはどちらのリソースが有用か?

この研究のために、研究者たちは100人の参加者を評価した。これらの参加者の半数は、博士号を持ち、専門的なウェットラボの経験を持つ生物学の専門家であった。一方、残りの半分は、生物学の大学レベルの講義を少なくとも1回は受講したことのある学生レベルの参加者であった。

sourcing table content
実験のセットアップ。 (Credit: OpenAI)

参加者の各グループは、インターネットのみにアクセスできる対照グループと、インターネットとGPT-4にアクセスできる治療グループに無作為に割り当てられた。GPT-4にアクセスできる参加者は、その研究専用モデルにもアクセスできるようにされたので、生物兵器に関する質問には答え、通常有害かもしれない質問には答えないようにされた。

参加者全員を対象としたテストは、生物兵器の着想プロセス、入手、拡大、調合、放出など、生物学的脅威の創造に関するあらゆる側面を網羅した課題をこなすというものであった。

biological thread creation process
被験者がこなさなければならなかった課題。 (Credit: OpenAI)

OpenAIは、5つの成果指標に基づいて参加者のパフォーマンスを決定した:正確さ、完成度、革新性、所要時間、自己評価による難易度である。

正確性、完全性、革新性は専門家によって採点され、所要時間は参加者の回答から直接導き出された。各課題の難易度は、参加者が1~10の尺度で評価した。

この研究では、GPT-4にアクセスした人の回答の正確さと完全性がわずかに向上したことが示された。回答の正確さを10点満点で評価したところ、インターネットのベースラインと比較して、専門家では平均0.88、学生では平均0.25の改善が見られた。

accuracy
インターネット検索に加えて言語モデルを使用した人は、潜在的に危険な生物学的製剤を検索する際に若干有利であった。 (Credit: OpenAI)

完全性についても同様の改善が見られた(専門家は0.82、学生は0.41)。しかし、OpenAIによると、その効果は統計的に有意といえるほど大きくはない。

completeness
OpenAIによると、LLMユーザーの完全性における優位性は、モデルが生成した出力と人間が生成した出力の記録傾向の違いによって説明できるかもしれない。言語モデルは、より長い出力を生成する傾向があり、より多くの関連情報を含む可能性が高い。一方、Webを利用する人は、たとえ詳細を見つけたとしても、またそれが重要だと考えていたとしても、関連するすべての詳細を記録するとは限らない。 (Credit: OpenAI)

この研究の限界は、情報へのアクセスを評価しただけであり、その実際的な応用を評価していないことである。加えて、LLMが新たな生物兵器の開発に貢献できるかどうかは検証していない。

さらに、使用したGPT-4モデルは、インターネット調査や高度なデータ解析などのツールを利用することができなかった。研究および商用アプリケーションにおけるLLMの全体的な性能と有用性を向上させるためには、ツールへのアクセスが最優先事項であるため、この結果もせいぜい予備的なものと考えることができる。

OpenAIは、「情報アクセスがどのレベルまで増加すると実際に危険なのかは、まだ明らかではありません。また、オンライン情報を物理的な生物脅威に変換できる技術の利用可能性やアクセシビリティが変化するにつれて、このレベルも変化する可能性が高い。私たちは、準備態勢の枠組みを運用していく中で、この問題をめぐる議論を活性化させ、より良い答えを導き出したいと考えています」と、述べている。


Source

Follow Me !

この記事が気に入ったら是非フォローを!

Share on:

関連コンテンツ

コメントする