AIを搭載した大規模言語モデル（LLM）の近年の進歩はめざましく、近い将来、多くの職種を手助けする、もしくはそれらを置き換える可能性すら指摘されている。使いようによっては極めて有用であるが、それが悪用される場合の影響力についても人々の懸念はもっともな話で、これまでに様々な研究が行われてきた。そしてこの度、スタンフォード大学、ジョージタウン大学、OpenAIの科学者による新しい研究は、オンラインコンテンツの普及を通じてLLMが世論操作に関する大きな影響力を持つ可能性について警鐘を鳴らしている。

この研究によると、LLMは、大規模なコンテンツ作成を可能にし、人件費を削減し、ボット活動の検出を困難にすることで、政治的影響力のある活動を後押しすることができることが判明したのだ。

研究は、スタンフォード大学インターネット観測所（SIO）、ジョージタウン大学セキュリティ・新興技術センター（CSET）、OpenAIが2021年にワークショップを共催し、プロパガンダ目的のLLMの悪用可能性を探った後に実施されたものである。また、LLMの改良が進むにつれて、悪意ある者がLLMを悪意のある目的に利用する理由が増えることが懸念される。

大規模言語モデルは影響力の3つの要素全てに影響を与える

影響力の運用は、3つの重要な要素で定義される。それが、アクター、行動、コンテンツだ。スタンフォード大学、ジョージタウン大学、OpenAIによる研究では、LLMは以下の通り、3つの側面すべてに影響を与えることができることが分かっている。

• アクター: 言語モデルによって、影響力の行使にかかるコストが削減され、新たなアクターやアクタータイプが影響力を行使できるようになる可能性がある。同様に、テキストの作成を自動化した傭兵は、新たな競争上の優位性を獲得することができる可能性が生じる。
• 行動: 言語モデルを使用したインフルエンス・オペレーションは、スケールが容易になり、現在高価な戦術（パーソナライズされたコンテンツの生成など）が安価になる可能性がある。また、チャットボットのリアルタイムコンテンツ生成のように、言語モデルによって新たな戦術が生まれる可能性もある。
• コンテンツ: 言語モデルによるテキスト作成ツールは、プロパガンダ担当者、特にターゲットに関する必要な言語的・文化的知識を持たない担当者に比べて、よりインパクトのある、説得力のあるメッセージを生成できる可能性がある。また、コピー＆ペーストなどの手間をかけずに新しいコンテンツを繰り返し作成できるため、影響力の行使が発見されにくくなる可能性もある。

研究者らは、言語モデルは宣伝活動家にとって有用であり、オンライン上での影響力行使を一変させる可能性が高いと考えている。更に、たとえ最先端のモデルが非公開であったり、APIアクセスによって制御されていたとしても、オープンソースの代替品が出現する可能性や、国家自身がその技術に投資する可能性についても言及している。

判明していないこと

ただし、LLMの限界についても指摘されている。例えば、最も高度なLLMであっても、文章が数ページ以上になると、不合理な発言をしたり、一貫性を失ったりする傾向がある。

また、学習データに含まれていない事象の文脈を把握することができず、再学習には煩雑な作業とコストがかかる。そのため、リアルタイムでの解説が必要な政治的影響力のあるキャンペーンには利用しにくい。

しかし、こうした制約は、必ずしもあらゆる種類の影響力行使に当てはまるわけではないとGoldstein氏は言う。

「長文のテキストを用い、特定の物語を人々に説得しようとする作戦では、より重要な意味を持つかもしれません。また、”ゾーンに殺到 “させたり、人々の注意をそらしたりするような作戦の場合は、あまり重要ではないかもしれません」と述べている。

また、言語モデルが影響力のある業務に使用されるかどうか、またどの程度使用されるかは、多くの要因に影響されるが、論文ではこれらの要因についても考察している。例えば以下の例が考えられるという。

• 善意の研究や商業投資の副作用として、どのような影響力のための新しい能力が出現するのか？言語モデルに対して大規模な投資を行うのはどの企業か？
• テキストを生成するための使いやすいツールはいつ公開されるのか。一般的な言語モデルを適用するよりも、影響力を行使するための特定の言語モデルを設計する方が効果的なのだろうか。
• AI を利用した影響力行使を行う行為者の意欲を削ぐような規範は生まれるのか？行為者の意図はどのように発展していくのだろうか？

そして、技術が成熟し続ける事で、これらが改善される可能性についても指摘している。加えて、Goldstein氏は、今回の論文が、OpenAIのAIチャットボットChatGPTがリリースされる前に起草されたものであるとしており、新しいデータ収集とトレーニング技術がLLMのパフォーマンスを向上させることも示唆している。

また、LLMに対する商業的な関心が高まっていることから、この分野は今後数カ月から数年のうちにさらに急速に発展することが予想される。例えば、言語モデルの学習、実行、微調整を行うための一般公開されたツールが開発されれば、LLMを影響力行使のキャンペーンに利用する際の技術的な障壁がさらに低くなることが予想される。

大規模言語モデルによる世論操作への悪用を防ぐには

論文の著者らは、世論操作にLLMが悪用されるのを防ぐための緩和策の種類について、「キルチェーン」の枠組みを提案している。

まず、言語モデルを活用した影響力行使を成功させるためには、プロパガンダを行う側が以下の条件を満たす必要がある。(1）モデルが存在すること、（2）モデルに確実にアクセスできること、（3）モデルからコンテンツを発信できること、（4）エンドユーザーが影響を受けること。

「悪用に対抗するために何が必要なのかは、単純な質問から始めることができます。宣伝担当者が言語モデルを使った影響力行使を成功させるには何が必要だろうか？このような観点から、私たちは、モデル構築、モデルへのアクセス、コンテンツの普及、信念の形成という4つの介入ポイントを特定しました。それぞれの段階で、さまざまな緩和策が考えられます」とGoldstein氏は述べている。

例えば、構築の段階では、開発者は電子透かしの技術を利用して、生成モデルで作成されたデータを検出できるようにすることができます。同時に、政府はAIハードウェアにアクセス制御を課すことができる。

アクセス段階では、LLMプロバイダーはホストされたモデルにより厳しい使用制限をかけ、モデルのリリースに関する新しい規範を開発することができる。

ただし、緩和策によってAIを利用した影響力のある作戦の脅威を軽減できたからといって、それを実行に移すべきとは限らない。緩和策の中には、それ自体がマイナス面のリスクを伴うものもあるからだ。また、実現不可能なものもある。論文では、緩和策を明示的に支持または評価するわけではないが、政策立案者などが検討すべき一連の指針的な質問を提供している。それは、以下の通りだ。

• 技術的実現可能性: 提案された緩和策は技術的に実行可能か?技術的なインフラに大きな変更を加える必要があるか。
• 社会的実現可能性: その緩和策は、政治的、法的、制度的な観点から実行可能か？コストのかかる調整が必要か、主要な関係者がそれを実施する動機付けがあるか、既存の法律、規制、業界標準の下で実行可能か。
• ダウンサイドリスク: 緩和策がもたらす潜在的な負の影響は何か、またその影響はどの程度大きいか。
• 影響: 提案された緩和策が脅威を減らすのにどの程度効果的であるか。

「どの緩和策が望ましいか、また見落としている緩和策を明らかにするために、もっと研究、分析、テストが必要です。私たちは銀の弾丸のような解決策を持っていない。」と、Goldstein氏は述べている。

論文

• OpenAI: Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations (PDF)

参考文献

• Stanford University: Forecasting potential misuses of language models for disinformation campaigns—and how to reduce risk
• via The Venture Beat: OpenAI, Georgetown, Stanford study finds LLMs can boost public opinion manipulation

研究の要旨

近年、人工知能（AI）システムは著しく進歩し、その機能を拡大している。特に、「生成モデル」と呼ばれるAIシステムは、文章から画像を生成するなど、コンテンツの自動生成において大きな進歩を遂げている。特に急速に発展しているのが、オリジナルの言語を生成できる生成型モデルで、法律や医療など多様な分野でのメリットが期待されている。
しかし、生成型言語モデル、略して「言語モデル」には、負の側面もある。悪意のある行為者がプロパガンダ（行為者の利益を図るために認識を形成するための情報）を広めようとする場合、この言語モデルは、影響力行使に使用する説得力のある、誤解を招く文章を、人手に頼らずに自動作成することを可能にするものである。社会にとって、このような発展は新たな懸念をもたらす。それは、密かに世論に影響を与えようとする人々による、拡張性の高い、そしておそらくは説得力の高いキャンペーンが行われるという見通しである。
この報告書の目的は、言語モデルがどのように影響力のある活動を変化させるのか、またこのような脅威を軽減するためにどのような手段を講じることができるのかを評価することにある。AIも影響力の行使も急速に変化しているため、この作業は本質的に推測の域を出ない。
本報告書の多くのアイデアは、2021年10月に著者らが開催した、AI、影響力作戦、政策分析の専門家30人が集まり、言語モデルが影響力作戦に与えうる影響について議論したワークショップから得たものである。この報告書は、ワークショップ参加者の総意を示すものではなく、また、誤りは私たち自身のものである。
本報告書が、新技術の影響に関心を持つディスインフォメーション研究者、AI開発者の方針決定や投資、社会的課題に備える政策立案者にとって有用であることを願う。この報告書が、新たなテクノロジーの影響に関心を持つ情報弱者研究者、AI開発者の方針決定や投資、テクノロジーと社会の接点における社会的課題への対応に備える政策立案者のために役立つことを願っている。