あなたの好奇心を刺激する、テックと科学の総合ニュースサイト

OpenAI CEO、「言語モデルのパラメータ数競争は終わりを迎えるだろう」

マサチューセッツ工科大学(MIT)で行われたイベント「Imagination in Action」で、OpenAIのSam Altman CEOは、同社が現在、次世代大規模言語モデル(LLM)「GPT-5」に取り組んでいないことを確認した。また、AI研究の6ヶ月間の禁止を要請する公開書簡に関して言及し、同社が安全性に関して抱くビジョンについて語っている。

Altman氏はZoomによるオンラインインタビューを通じて、GPT-5についてあちこちで語られていることについて触れ、“現在同社が次のバージョンに取り組んでおらず、しばらく 取り組まない”ことを確認した。彼は、会社がGPT-4モデルの安全性の問題を優先していると述べている。「書簡の内容には、本当に賛同できる部分があります。私たちは、GPT-4をリリースする前に、トレーニング終了後6ヵ月以上を費やしました。ですから、時間をかけて安全モデルを研究し、外部監査や外部のレッドチーマーに依頼して、何が起こっているかを理解し、できる限り軽減することが重要なのです」。

Altman氏はまた、この手紙には “どこで立ち止まるべきか”という最も技術的なニュアンスが欠けていると強調する。おそらく、AIの懸念が高まる中、AIの安全性に対する同社の見通しを改めて示したのだろう。彼は、安全性の問題に対して慎重に動き、“厳密性を高める”ことが本当に重要だと考えている。

またAltman氏は、LLMのサイズ競争の終わりが近い事も示唆している。同氏は、「私たちは、このような巨大なモデルで、他の方法でより良いものを作るという時代の終わりに来ていると思います」と述べ、LLMのサイズそのものが限界に近付いていると考えているようだ。

彼は、現在のパラメータ数の競争が、かつてCPUで見られたクロック周波数競争と比較している。「パラメータ・カウントは確かに増加傾向にあるかもしれません。しかし、これは1990年代から2000年代にかけてのチップのギガヘルツ競争と同じで、誰もが大きな数字を示そうとしていました。しかし、私たちは、その速さについてほとんど理解していません。重要なのは、急速に能力を向上させることに焦点を当てることです。そして、時間の経過とともにパラメータ数を減らすべき理由があれば、あるいは複数のモデルを連携させ、それぞれを小型化すべきであれば、そうするつもりです。私たちが世界に届けたいのは、最も高機能で有用かつ安全なモデルです。パラメータ数について自讃するためにここにいるのではありません」。

OpenAIがこれほどまでに成功したのは、Altman氏が大きな賭けに出た後、慎重に動き、自分の会社やその製品について深く考えるようになったからだろう。

「“本当にうまくいくのか”という自信を徐々に深めながら、長い間、取り組んできました。私たちは7年間、会社を(作って)きました。こういうことは長い長い時間がかかるものです。他の会社が成功しなかったのに、なぜ私たちが成功したのかというと、それは私たちが長い間、細部にまでこだわって汗を流してきたからなのです。しかし、多くの人はそれを望んでいません」。


Source

Follow Me !

この記事が気に入ったら是非フォローを!

Share!!

スポンサーリンク

執筆者
Photo of author

masapoco

TEXAL管理人。中学生の時にWindows95を使っていたくらいの年齢。大学では物理を専攻していたこともあり、物理・宇宙関係の話題が得意だが、テクノロジー関係の話題も大好き。最近は半導体関連に特に興味あり。アニメ・ゲーム・文学も好き。最近の推しは、アニメ『サマータイムレンダ』

記事一覧を見る

コメントする

CAPTCHA