プロンプト・インジェクション攻撃を阻止する革新的なアプローチ

masapoco
投稿日
2023年5月16日 13:55
security injection error

急速に進化する大規模言語モデル(LLM)の世界では、プロンプト・インジェクション攻撃という新たな脅威が出現している。これらの攻撃は、ChatGPTのようなチャットボットの出力を操作し、システムの脆弱性を突くものだ。こうしたセキュリティ上の懸念が高まっている中、今回これらの攻撃に対抗するための驚くべきソリューションが提案されている。

プロンプト・インジェクション攻撃は、新しい現象ではない。SQLクエリが信頼できない入力を受け入れるようになってから、ずっと存在するものだ。この攻撃は、チャットボットのテキストプロンプトのような信頼できる入力に信頼できない入力を追加し、その両方を受け入れるようにしてプログラムをだますという手法だ。これにより、ユーザーはLLMのプログラミングを回避することが出来る。

この問題を解決する可能性がある方法について、Andrew Ng氏とIsa Fulford氏による開発者向けのプロンプト・エンジニアリングに関する講座で新たに提案されたものがある。Fulford氏は、信頼できる入力と信頼できない入力を区別するために「デリミタ」を使用することを提案した。しかし、この解決策は、SQLデータベースには有効だが、トークン・ベースの入力システムのため、LLMには適用できない。

Datasette氏の創設者でDjangoの共同開発者であるSimon Willison氏は、LLMを2つ使うという応急処置を提案した。このデュアルLLMアーキテクチャでは、1つのLLMは特権を持ち、信頼できる入力を受け付け、もう1つは隔離され、信頼できないコンテンツを処理するのだ。コントローラーコンポーネントは、LLMをトリガーしてユーザーと対話する。特権LLMのみにデータへのアクセスを与え、その出力を隔離LLMを通して解析することで、プロンプト・インジェクション攻撃から保護することができるという考えだ。

しかし、このような保護の必要性は短期間で終わるかも知れない。専門家によると、プロンプト・エンジニアリングとプロンプト・インジェクションは、過渡期の技術似すぎないという意見もある。将来のLLMは、慎重に構築されたプロンプトを必要としない可能性があるという訳だ。OpenAIのCEOであるSam Altman氏も、5年後にはプロンプト・エンジニアリングを行う必要が無くなると考えている。また、トークン化が廃止され、プロンプト・インジェクション攻撃の攻撃ベクトルが減少する可能性を示唆する研究結果も出てきている。

LLMにおけるプロンプト・インジェクションは最近発見された脆弱性であり、その影響のほとんどは、機密データや強力なツールにアクセスできるLLMにある。しかし、現在のLLMを中心としたAI研究のペースは、既存の技術を陳腐化させる可能性が高い。その結果、プロンプト・インジェクション攻撃は、問題にならなくなるまで緩和されるかも知れない。


Sources



この記事が面白かったら是非シェアをお願いします!


  • lab grown meat
    次の記事

    研究室で培養された食肉は従来の食肉よりも25倍のCO2排出量となる可能性

    2023年5月16日 14:12
  • 前の記事

    Microsoftは、AIは既存の仕事を奪うかもしれないが新たな仕事も創出すると考えている

    2023年5月16日 13:23
    MSFT WTI annual hero 788x496 1
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事