OpenAIは、企業が独自のデータを使ってGPT-3.5 Turboをファインチューニングできるようになった事を明らかにした。同社は、これによって、カスタムモデルは、特定のタスクにおいてGPT-4の能力に匹敵するか、それを上回ることができるとしている。この秋には、GPT-4でのファインチューニングも可能になるとのことだ。
ユーザーは慎重に選択したカスタムデータでさらに訓練することで、すでに訓練された大規模言語モデルの行動や能力をよりよく形成することができる。例えば、健康とウェルネスのチャットボットは、追加の医療アドバイスでファインチューニングされた言語モデルによって駆動され、一般的な既製のシステムよりも、より正確で効果的な応答を生成する可能性が高くなる。これまでは、企業顧客は、davinci-002やbabbage-002のようなGPT-3の亜種を利用する事しか出来なかった。
ファインチューニングをしなければ、開発者は大規模言語モデルにどのように振る舞い、タスクを完了するかを指示するために、より良い入力プロンプトを考え出さなければならない。
また、モデルが実行されるたびに、OpenAIは入力プロンプトで処理しなければならないトークンの量と、出力で生成されるトークンの数をユーザーに請求する。トークンとは単語の一部分のことで、英単語の場合は4文字程度で1トークンとなる。より短い入力プロンプトを使用することで、モデルから同じパフォーマンスを引き出すことができれば、ファインチューニングによってこれらのコストを削減することができるのだ。
カスタマイズされたGPT-3.5ターボモデルは、何も手を加えていないGPT-4と比較して、より安価に実行でき、いくつかのユースケースでより効果的でないとしても、同じくらい効果的であれば、長期的には開発者のコストを削減できるとOpenAIは主張している。
OpenAIの価格設定ページを見てみると、ファインチューニングされたGPT-3.5 Turboモデルの入力処理と出力生成にかかるコストは、それぞれ1,000トークンあたり0.012ドルと0.016ドルで、GPT-4の同じ入力と出力にかかる1,000トークンあたり0.03ドルと0.06ドルよりも安いことがわかる。GPT-3.5 Turboをファインチューニングすると、1,000トークンあたり推定0.008ドルの追加トレーニングコストが発生するのだ。
とはいえ、モデルの運用コストはコンテキストウィンドウのサイズ（入力クエリごとにモデルが処理できるトークンの最大数）に依存し、モデル構成によって異なるため、OpenAIから適切なapples-to-apples比較を得ることは困難だ。以下は、8,000トークンと32,000トークンのコンテキストウィンドウを提供するGPT-4の価格だ：
| GPT-4 model | Input | Output |
|---|---|---|
| 8K context | $0.03 / 1K tokens | $0.06 / 1K tokens |
| 32K context | $0.06 / 1K tokens | $0.12 / 1K tokens |
GPT-3.5 Turboは、同社が今年初めに発表したGPTモデルファミリーで、チャットに特化していないユースケースに最適だという。一度に4,000トークンを処理することができ、OpenAIによれば、これは以前提供されていたモデルが解釈できたものの2倍だという。GPT-3.5の初期テスターは、ファインチューニングされた命令でプライミングした後、90％短いプロンプトを作ることができたと同社は付け加えた。
以下は、GPT-3.5 Turboの基本モデルの価格だ：
| GPT-3.5 model | Input | Output |
|---|---|---|
| 4K context | $0.0015 / 1K tokens | $0.002 / 1K tokens |
| 16K context | $0.003 / 1K tokens | $0.004 / 1K tokens |
OpenAIは、100,000トークンを含むトレーニングデータでモデルをファインチューニングするのに3回実行すると2.40ドルかかると見積もっている。
「GPTモデルをファインチューニングすることで、特定のアプリケーションに適したものにすることができますが、時間と労力を慎重に投資する必要があります。まず、プロンプトエンジニアリング、プロンプトチェイニング（複雑なタスクを複数のプロンプトに分割すること）、関数呼び出しで良い結果を得ることを試みることをお勧めします」と述べている。
一方、ファインチューニングされたGPT-3.5 Turboモデルを実行するには、GPT3.5ターボの基本モデルの最大8倍のコストがかかる。通常のGPT-3.5 Turboから出力を生成するのに1,000トークンあたり0.002ドル、ファインチューニングされたGPT-3.5 Turboでは1,000トークンあたり0.016ドルだ。以下は、全価格となる：
| Fine-tuned model | Training | Input | Output |
|---|---|---|---|
| babbage-002 | $0.0004 / 1K tokens | $0.0016 / 1K tokens | $0.0016 / 1K tokens |
| davinci-002 | $0.0060 / 1K tokens | $0.0120 / 1K tokens | $0.0120 / 1K tokens |
| GPT-3.5 Turbo | $0.0080 / 1K tokens | $0.0120 / 1K tokens | $0.0160 / 1K tokens |
企業は、特定のタスクのためにモデルをファインチューニングするために前払いする価値があるのか、あるいは、より効率的なプロンプトを定義して、本番稼動にかかる下流のコストを節約する価値があるのかを見極めなければならない。
そして、ファインチューニングされたモデルはそれぞれの開発者に非公開となり、ファインチューニングのためのトレーニングデータは節度を持って管理されるようだ。
OpenAIは今年後半にGPT-4のファインチューニング機能を提供する予定だ。
Source
