OpenAIが新しい言語モデル「gpt-3.5-turbo-instruct」を静かに公開したようだ。この新モデルは、特定の指示を効率的に与えるために設計されており、チャットに特化したGPT-3.5 Turboと同様の性能を持つ。この新モデルは、既存のInstructモデルや一部のテキストベースのモデルを置き換えるものであり、他のGPT-3.5モデルと同じコストと性能を維持している。
gpt-3.5-turbo-instructはチャットモデルではない。代わりに、質問に直接答えたり、テキストタスクを迅速に完了することに優れている。その目的は、指示に効果的に従うことだ。
Instructモデルとは、大量のデータで事前訓練された後、人間のフィードバック（RLHF）によって改良される大規模な言語モデルだ。このプロセスでは、ユーザーが提供したプロンプトに対するモデルの出力を人間が評価し、目標結果を達成するためにモデルを改善する。
その結果、Instructモデルは、人間のクエリをよりよく理解し、期待通りに応答できるようになり、ミスが減り、有害なコンテンツが拡散されなくなる。OpenAIのテストでは、175Bのパラメータを持つGPTモデルよりも、1.3Bのパラメータを持つInstructGPTモデルの方が、100倍小さいにもかかわらず、人々に好まれることが示されている。
ただし、OpenAIのLogan Kilpatrick氏（開発者対応担当）は、新しいgpt-3.5-turbo-instructを3.5 Turboへの移行のための応急処置と呼んでいる。これの利用は「長期的な解決策」ではないという。
Source
- The Decoder: OpenAI releases new language model InstructGPT-3.5
