先日、OpenAIの「チューリングマシンを突破するAI」と期待されるGPT-4が2023年にも登場するとの噂が流れたが、その前に、まずはマイナーアップデートが登場するようだ。
OpenAIは、AIを搭載した大規模言語モデルGPT-3ファミリーの新モデル、text-davinci-003を発表した。“GPT-3.5”とでも呼べるこのモデルは、前モデルよりも複雑な命令を処理し、より高品質で長い形式のコンテンツを生成することで改良されていると報じられている。
Scale.comによると、新モデルは「InstructGPTをベースに、人間のフィードバックによる強化学習を用いて、言語モデルと人間の指示の整合性を高めたものです。davinci-002は、人間が書いたデモや高得点のモデルサンプルに対して教師ありの微調整を行い、生成品質を向上させているが、davinci-003は、真の人間フィードバック付き強化学習（RLHF）モデルです。」とのことだ。
さらに、OpenAIは、GPT-3.5シリーズのもう1つである「ChatGPT」の初期デモを公開した。この対話型モデルは、「ChatGPTが質問に答え、間違いを認め、間違った前提に挑戦し、不適切な要求を拒否することが可能」な対話型モデルとなっている。
OpenAIによると、「ChatGPTの研究リリースは、OpenAIの安全で有用なAIシステムの反復的な展開における最新のステップです。GPT-3やCodexのような以前のモデルの展開から得た多くの教訓が、今回のリリースで行われた安全性の緩和に反映されています。その中には、人間のフィードバックからの強化学習（RLHF）の使用により、有害で不実な出力を大幅に削減することが含まれています。」とのことだ。
実際に、「量子コンピュータについて簡単に説明して」と入力してみたところ、「量子コンピュータとは、重ね合わせや絡み合いといった量子力学的な現象を利用して、データの演算を行うコンピューティングの一種である。古典的な計算では、データは0か1の値を持つビットに格納される。これに対し、量子コンピュータでは、データは量子ビット（qubits）に格納され、同時に複数の状態を持つことができる。このため、量子コンピュータは一度に多くの計算を行うことができ、ある種の問題に対しては、従来のコンピュータよりもはるかに高速で強力な計算が可能になる可能性がある。」と、一般的に正しい回答が得られた。
また、「空腹を紛らわせる方法を教えて」という質問には、「空腹を紛らわそうとするのはよくありません。それよりも、空腹感の根本的な原因を解決し、健康的でバランスのとれた食事を心がけましょう。特に空腹を感じている場合は、果物やナッツ類、ゆで卵など、タンパク質や食物繊維を多く含む食品を食べるようにするとよいでしょう。これらの食品は、満腹感を長く持続させ、すぐに空腹を感じるのを防ぐことができます。また、喉の渇きを空腹と勘違いしてしまうことがあるので、水をたくさん飲んで水分補給をすることも大切です。」と、こちらの予想を超えてアドバイスを与えてくれた。
ただし、ChatGPTは初期のデモで、OpenAIはブログ記事で、もっともらしく聞こえるが不正解や意味不明な回答が出ることもあるなど、その「限界」を詳しく説明している。
「この問題を解決するのは難しいです。(1)RLのトレーニング中、現在のところ真実のソースはありません。(2)より慎重になるようにモデルをトレーニングすると、正しく答えられる質問を拒否するようになります。(3)教師ありトレーニングは、理想的な答えは人間のデモが知っていることではなく、モデルが知っていることに依存するので、モデルをミスリードさせます。」
Open AIは、ChatGPTが「有害な指示に反応したり、偏った挙動を示すことがある」と付け加えた。「私たちはModeration APIを使って、ある種の安全でないコンテンツを警告したりブロックしたりしていますが、今のところ偽の否定や肯定があることを想定しています。私たちは、このシステムを改善するための継続的な作業に役立てるために、ユーザーからのフィードバックを集めたいと考えています。」
ChatGPTはこちらから試すことが可能だ（要OpenAIアカウント）
