約45TBの大規模なテキストデータのコーパスを約1750億個のパラメータを使用して学習したOpenAIのニューラルネットワーク言語モデル「GPT-3(Generative Pre-Training-3、以下GPT-3)」は、早ければ今年12月、遅くとも2023年2月までに新たなバージョン「GPT-4」となり、リリースされるとのことだ。

2020年5月の「GPT-3」のリリースは、AIが人間が読んでも自然に見える文章を作成する機能を持ち、世界に衝撃を与えた。その正式な後継者について、今年4月にはOpenAI CEOのSam Altman氏が「GPT-4」を今後数カ月の間に発売することを明らかにしていた。GPT-4によって、AIが、“より人間らしい”自然な会話をするようになり、関連アプリケーションのトレーニングコストが大幅に削減され、人工知能との付き合い方が変わるとされている。

2019年に登場したGPT-2のパラメータ数15億と比較すると、現在のGPT-3は1750億以上のパラメータを持ち、規模も約100倍となっている。特に、2018年にリリースされたGPT-1の1億1700万パラメータに比べると、このスケールアップは非常に印象的だ。そのため、その次に来るGPT-4では、より自然なインタラクションだけでなく、チューリング・テストによってインタラクションの対象が本当に「人間」であることをユーザーに納得させるために、より多くのパラメータ（一説では100兆個とも）が設定されると多くの人は考えている。

これまでにもチューリング・テストに合格したとするAIシステムは数多くあったが、主に特定の状況下で合格したもので、真にチューリング・テストに完全に合格したと言えるAIシステムは、OpenAIの次期GPT-4が初めてと考えられている。

一方で、今後のGPT-4の企業採用の敷居は、既存のGPT-3より低くなるとも言われている。GPT-3では学習モデル構築のために各段階で数十万ドル、トレーニングの目標に応じて莫大な費用がかかる可能性があるのと比較すると、GPT-4では学習コストを平均100万ドル以下に抑えることができ、より多くの企業が大規模AIシステムを構築し、より多くの分野で活用することが可能になるという。

しかし、GPT-4は、やはりAIの偏りや誤報などの影響と関連し、さらに問題を引き起こす可能性があるという見方もある。

Open AIはこれらの噂に対してまだ回答していないが、早ければ数カ月以内にGPT-4に関する発表があるだろう。

Source

• Towards Data Science: GPT-4 Is Coming Soon. Here’s What We Know About It