OpenAIがAIによる破滅を防ぐ為に取り始めた戦略とは

masapoco
投稿日
2023年12月20日 15:54
5d3960e99b2b813696fb6241acb9a2da

OpenAIは、有害なAIの脅威から身を守るため、社内の安全プロセスを拡大している。新しい “安全諮問グループ”は技術チームの上に位置し、リーダーシップに提言を行い、取締役会には拒否権が与えられているとのことだ。

「Preparedness Framework (Beta)」と名付けられた文書では、破滅的なAIリスクを監視、評価、予測、ヘッジするための戦略が詳細に語られている。

OpenAIは、慎重な評価を通じて破滅的リスクを監視しようとしている。そのために、リスクのレベルを正確に測定するための評価手順やその他のモニタリング方法を開発し、改良することを目指している。

同時に、将来のリスク展開を予測し、安全対策を事前に準備することを目指している。

OpenAIはまた、新たなリスク(「未知の未知」)の特定と調査にも取り組んでいる。その目的は、潜在的な脅威が拡大する前に対処することだ。

サイバーセキュリティ、生物兵器、説得、自律性

準備フレームワークは、4つの主要なリスク・カテゴリーを特定している:

  • サイバーセキュリティ
  • 化学、生物、核、放射線(CBRN)の脅威、
  • 説得
  • およびモデルの自律性である。

説得は、人々を説得して信念を変えさせたり、それに従って行動させたりすることに伴うリスクに焦点を当てている。

低レベルから重大まで

このフレームワークは、安全性の閾値を定義している。各カテゴリは「低」から「重大」までのスケールで評価され、リスクのレベルを反映している。

OpenAIは、リスク評価が「中」以下のモデルは、運転に適しているとしている。

さらに開発できるのは、緩和後のリスク評価が「高」以下のモデルのみである「重大」と評価されたモデルは開発できない。

OpenAIでは、社内の専門チームが、リスクの研究、評価、監視、予測を推進する。このチームは、OpenAIの経営陣と取締役会が十分な情報を得た上で安全に関する決定を下すのを支援する諮問機関である安全諮問グループ(SAG)に定期的に報告する。

準備チームは、3つのOpenAIセキュリティチームのうちの1つである。準備チームの他に、現在のモデルを扱う安全システムチームと、スーパーAIから起こりうる脅威を予測することを目的としたスーパーアライメントチームがある。準備チームは、基礎となるAIモデルを評価する。

スコアカードとガバナンスシステム

準備フレームワークは、各リスクカテゴリーについて、リスク軽減前と軽減後の現在のモデルリスクを測定する動的なスコアカードを提供する。さらに、OpenAIはセキュリティポリシーと手続き要件を定義している。

実用的なアプリケーションを説明するために、OpenAIは2つの可能なシナリオを概説している。

説得リスクシナリオ:リスク軽減の前に、新しく訓練されたモデルに対して「高」の説得リスクが特定された場合、安全機能が有効になり、リスク軽減アクションが実行される。これらのステップを経て、リスク軽減後のリスクは「中」と評価される。

サイバーセキュリティリスクのシナリオ:新しい効果的なプロンプト技術の発見後、6ヶ月以内に「重大」なサイバーセキュリティリスクが予測される。これを契機に安全計画が策定され、リスク軽減後もリスクが「高」レベルにとどまるように安全対策が実施される。

OpenAIは、潜在的なAIの脅威から人類を守るため、他の業界関係者にも同様の戦略を採用するよう呼びかけている。


Sources



この記事が面白かったら是非シェアをお願いします!


  • videopoet monalisa
    次の記事

    Google、テキストや画像から動画を生成出来る「VideoPoet」を発表

    2023年12月20日 17:53
  • 前の記事

    2024年登場とされるAirPods 4には、Proじゃなくてもノイズキャンセリングが搭載か

    2023年12月20日 12:24
    AirPods 3
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事