ChatGPTやGeminiを感染させるAIワームは機密データを盗み出しマルウェアを効果的に拡散させる

masapoco
投稿日
2024年3月4日 6:15
gen ai worm

ChatGPTなどの生成AIが進化を遂げ、徐々に人々の生活を変えていく中で、こうした新たな技術が悪用されることもまた、確実に訪れると予想される未来の形だが、今回ある研究グループによって生成AIに関する新たな脅威が提示された。彼らが新たに考案した生成AIワームは、一般的な大規模言語モデル(LLM)に感染し、データを盗み出し、マルウェアを拡散し、電子メールクライアントを介して他の人にスパムを送り、複数のシステムに拡散することが可能だという。

「基本的には、今までにない新しいサイバー攻撃を行う能力があるということです」とコーネル工科大学の研究者Ben Nassi氏はWiredに述べている。

生成AIワームはまだ実際には発見されていないが、スタートアップ、開発者、テクノロジー企業が懸念すべきセキュリティリスクであると複数の研究者が述べている。

この第1世代の生成AIワームは、コーネル工科大学のBen Nassi氏、イスラエル工科大学のStav Cohen氏、IntuitのRon Bitton氏らによって作成された。彼らはこのワームを、1988年にオンライン上で世界的な迷惑行為を引き起こした最初のコンピューター・ワームであるオリジナルのMorrisにちなんで「Morris II」と名付けた。このワームは、生成AIアプリや、Gemini Pro、ChatGPT 4.0、LLaVAのようなAIモデルや、テキストや画像を生成する生成AI対応の電子メール・アシスタントをもターゲットにして動作する。

これは、AIを使用して有害なコンテンツを拡散するために“脱獄”が用いられるのと同様に、そのモデルに対して使用される敵対的な自己複製プロンプトを使用することによって動作する。研究者は、これらの生成AIエンジンを使って電子メールシステムを作成し、テキストを使用するか、画像ファイルに埋め込まれた自己複製プロンプトを使用して、これを実証した。

最初の方法では、このワームはRAG(Retrieval Augmented Generation)を使って電子メール・プログラムのデータベースを「汚染」し、電子メールに応答する際にデータを盗んだり、新しいホストに感染させたりする。2つ目の方法では、画像に埋め込まれた悪意のあるリクエストが引き金となり、電子メールアシスタントがメッセージを転送し、スパムや攻撃的な内容、プロパガンダを拡散する。

この2つのプロセスの間に、研究者はクレジットカードの詳細や社会保障番号を含むがこれに限定されない機密情報をマイニングすることができる。

このようなワームは、たとえ管理された環境下であっても、もはや理論的なものではなく、このような悪意のあるプロンプトが発見されるたびに、効果的なソリューションを導入して真剣に検討する必要があることを証明している。今回のような研究発表は、被害を受けた当事者と共有され、他の人々がシミュレーションや検証を行えるようにするためにも大いに有意義である。

GenAIリーダーの対応と抑止策の展開計画

他の責任ある研究者と同様、チームは発見をGoogleとOpenAIに報告した。Wiredが問い合わせたところ、Googleはこの研究についてのコメントを拒否したが、OpenAIの広報担当者はこれに応じた。彼らは、「チェックもフィルタリングもされていないユーザー入力に依存することで、プロンプト・インジェクション型の脆弱性を悪用する方法を発見したようだ」と述べている。彼らはまた、自社のシステムをより耐性のあるものにしていると断言し、開発者は有害な入力を使っていないことを確認する方法を使うべきだと付け加えた。

このような方法が生成AIアプリケーションに感染し、ユーザーのシステムを危険にさらす可能性があることを考えると、このような発見は、AIやNPUがPC、スマートフォン、自動車、電子メールサービスなどのGPUやCPUに実装され、重要な役割を担っている場合にもたらされる。場合によっては、AIを搭載したSSDがランサムウェアを特定し、駆除できることもある。しかしもう一方では、マルウェアを作成できるワームやカスタムLLMがある。

そこで、業界は自らのペースを保ち、一般にリリースされるすべてのAIベースの製品に対して、攻撃対策を講じたり、効果的なソリューションを展開したりする必要がある。新しいソリューションやイノベーションは、新たな問題を引き起こす可能性がある。AIアプリの初期段階でこのような問題が露呈するような研究では、潜在的に危害を加える可能性のあるGenAIエンジンの安全性を確保することを優先する必要がある。

研究者たちは、今後2〜3年のうちに生成AIワームが野生の状態で出現する可能性があると考えている。


論文

参考文献

研究の要旨

昨年、多くの企業が生成 AI(Generative AI: GenAI)機能を新規および既存のアプリケーションに組み込み、GenAIサービスによって駆動される半/完全に自律的なエージェントで構成される相互接続された生成 AIエコシステムを形成した。現在進行中の研究では、エージェントの生成 AIレイヤーに関連するリスク(ダイアログポイズニング、プライバシー漏洩、ジェイルブレイクなど)が強調されているが、重大な問題が浮上している:攻撃者はエージェントの生成 AIコンポーネントを悪用するマルウェアを開発し、生成 AIエコシステム全体にサイバー攻撃を仕掛けることができるのか?
本稿では、敵対的な自己複製プロンプトの使用を通じて生成 AIエコシステムを標的とするように設計された最初のワームであるMorris IIを紹介する。この研究は、攻撃者がこのようなプロンプトを入力に挿入し、生成 AIモデルによって処理されると、モデルが入力を出力として複製し(複製)、悪意のある活動(ペイロード)に従事するよう促すことができることを実証している。さらに、これらの入力は、生成 AIエコシステム内の接続性を悪用することで、エージェントに新しいエージェントへの配信(伝播)を強制する。我々は、2種類の入力データ(テキストと画像)を使用し、2つの設定(ブラックボックスとホワイトボックスアクセス)の下で、2つのユースケース(スパミングと個人データの流出)において、生成 AIを搭載した電子メールアシスタントに対するMorris IIの適用を実証する。ワームは3つの異なる生成 AIモデル(Gemini Pro、ChatGPT 4.0、LLaVA)に対してテストされ、ワームのパフォーマンスに影響する様々な要因(伝播速度、複製、悪意のある活動など)が評価される。



この記事が面白かったら是非シェアをお願いします!


  • huawei ascend
    次の記事

    HuaweiのAIチップ「Ascend 910B」はNVIDIA A100をしのぐ性能を誇る可能性

    2024年3月4日 6:52
  • 前の記事

    IntelのNPUアクセラレーション・ライブラリがオープンソース化 – Meteor Lake CPUでTinyLlamaや他の軽量LLMが実行可能に

    2024年3月3日 17:37
    Intel Meteor Lake processor
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事