OpenAI CEO、「言語モデルのパラメータ数競争は終わりを迎えるだろう」

masapoco
投稿日 2023年4月15日 10:02
chatgpt

マサチューセッツ工科大学(MIT)で行われたイベント「Imagination in Action」で、OpenAIのSam Altman CEOは、同社が現在、次世代大規模言語モデル(LLM)「GPT-5」に取り組んでいないことを確認した。また、AI研究の6ヶ月間の禁止を要請する公開書簡に関して言及し、同社が安全性に関して抱くビジョンについて語っている。

Altman氏はZoomによるオンラインインタビューを通じて、GPT-5についてあちこちで語られていることについて触れ、“現在同社が次のバージョンに取り組んでおらず、しばらく 取り組まない”ことを確認した。彼は、会社がGPT-4モデルの安全性の問題を優先していると述べている。「書簡の内容には、本当に賛同できる部分があります。私たちは、GPT-4をリリースする前に、トレーニング終了後6ヵ月以上を費やしました。ですから、時間をかけて安全モデルを研究し、外部監査や外部のレッドチーマーに依頼して、何が起こっているかを理解し、できる限り軽減することが重要なのです」。

Altman氏はまた、この手紙には “どこで立ち止まるべきか”という最も技術的なニュアンスが欠けていると強調する。おそらく、AIの懸念が高まる中、AIの安全性に対する同社の見通しを改めて示したのだろう。彼は、安全性の問題に対して慎重に動き、“厳密性を高める”ことが本当に重要だと考えている。

またAltman氏は、LLMのサイズ競争の終わりが近い事も示唆している。同氏は、「私たちは、このような巨大なモデルで、他の方法でより良いものを作るという時代の終わりに来ていると思います」と述べ、LLMのサイズそのものが限界に近付いていると考えているようだ。

彼は、現在のパラメータ数の競争が、かつてCPUで見られたクロック周波数競争と比較している。「パラメータ・カウントは確かに増加傾向にあるかもしれません。しかし、これは1990年代から2000年代にかけてのチップのギガヘルツ競争と同じで、誰もが大きな数字を示そうとしていました。しかし、私たちは、その速さについてほとんど理解していません。重要なのは、急速に能力を向上させることに焦点を当てることです。そして、時間の経過とともにパラメータ数を減らすべき理由があれば、あるいは複数のモデルを連携させ、それぞれを小型化すべきであれば、そうするつもりです。私たちが世界に届けたいのは、最も高機能で有用かつ安全なモデルです。パラメータ数について自讃するためにここにいるのではありません」。

OpenAIがこれほどまでに成功したのは、Altman氏が大きな賭けに出た後、慎重に動き、自分の会社やその製品について深く考えるようになったからだろう。

「“本当にうまくいくのか”という自信を徐々に深めながら、長い間、取り組んできました。私たちは7年間、会社を(作って)きました。こういうことは長い長い時間がかかるものです。他の会社が成功しなかったのに、なぜ私たちが成功したのかというと、それは私たちが長い間、細部にまでこだわって汗を流してきたからなのです。しかし、多くの人はそれを望んでいません」。


Source



この記事が面白かったら是非シェアをお願いします!


  • hero image matt
    次の記事

    落雷によって、これまで地球上で発見された事のない新たな物質が生成された

    2023年4月15日 10:24
  • 前の記事

    Elon Musk氏、OpenAIと競合するAIスタートアップの立ち上げを計画と報じられる

    2023年4月15日 7:18
    elon musk

スポンサーリンク


この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事