OpenAIがGPT-3.5 Turboのファインチューニングに対応:企業が独自データでカスタムモデルを構築する事が可能に

masapoco
投稿日 2023年8月23日 6:23
chatgpt unsplash

OpenAIは、企業が独自のデータを使ってGPT-3.5 Turboをファインチューニングできるようになった事を明らかにした。同社は、これによって、カスタムモデルは、特定のタスクにおいてGPT-4の能力に匹敵するか、それを上回ることができるとしている。この秋には、GPT-4でのファインチューニングも可能になるとのことだ。

ユーザーは慎重に選択したカスタムデータでさらに訓練することで、すでに訓練された大規模言語モデルの行動や能力をよりよく形成することができる。例えば、健康とウェルネスのチャットボットは、追加の医療アドバイスでファインチューニングされた言語モデルによって駆動され、一般的な既製のシステムよりも、より正確で効果的な応答を生成する可能性が高くなる。これまでは、企業顧客は、davinci-002やbabbage-002のようなGPT-3の亜種を利用する事しか出来なかった。

ファインチューニングをしなければ、開発者は大規模言語モデルにどのように振る舞い、タスクを完了するかを指示するために、より良い入力プロンプトを考え出さなければならない。

また、モデルが実行されるたびに、OpenAIは入力プロンプトで処理しなければならないトークンの量と、出力で生成されるトークンの数をユーザーに請求する。トークンとは単語の一部分のことで、英単語の場合は4文字程度で1トークンとなる。より短い入力プロンプトを使用することで、モデルから同じパフォーマンスを引き出すことができれば、ファインチューニングによってこれらのコストを削減することができるのだ。

カスタマイズされたGPT-3.5ターボモデルは、何も手を加えていないGPT-4と比較して、より安価に実行でき、いくつかのユースケースでより効果的でないとしても、同じくらい効果的であれば、長期的には開発者のコストを削減できるとOpenAIは主張している。

OpenAIの価格設定ページを見てみると、ファインチューニングされたGPT-3.5 Turboモデルの入力処理と出力生成にかかるコストは、それぞれ1,000トークンあたり0.012ドルと0.016ドルで、GPT-4の同じ入力と出力にかかる1,000トークンあたり0.03ドルと0.06ドルよりも安いことがわかる。GPT-3.5 Turboをファインチューニングすると、1,000トークンあたり推定0.008ドルの追加トレーニングコストが発生するのだ。

とはいえ、モデルの運用コストはコンテキストウィンドウのサイズ(入力クエリごとにモデルが処理できるトークンの最大数)に依存し、モデル構成によって異なるため、OpenAIから適切なapples-to-apples比較を得ることは困難だ。以下は、8,000トークンと32,000トークンのコンテキストウィンドウを提供するGPT-4の価格だ:

GPT-4 modelInputOutput
8K context$0.03 / 1K tokens$0.06 / 1K tokens
32K context$0.06 / 1K tokens$0.12 / 1K tokens

GPT-3.5 Turboは、同社が今年初めに発表したGPTモデルファミリーで、チャットに特化していないユースケースに最適だという。一度に4,000トークンを処理することができ、OpenAIによれば、これは以前提供されていたモデルが解釈できたものの2倍だという。GPT-3.5の初期テスターは、ファインチューニングされた命令でプライミングした後、90%短いプロンプトを作ることができたと同社は付け加えた。

以下は、GPT-3.5 Turboの基本モデルの価格だ:

GPT-3.5 modelInputOutput
4K context$0.0015 / 1K tokens$0.002 / 1K tokens
16K context$0.003 / 1K tokens$0.004 / 1K tokens

OpenAIは、100,000トークンを含むトレーニングデータでモデルをファインチューニングするのに3回実行すると2.40ドルかかると見積もっている。

「GPTモデルをファインチューニングすることで、特定のアプリケーションに適したものにすることができますが、時間と労力を慎重に投資する必要があります。まず、プロンプトエンジニアリング、プロンプトチェイニング(複雑なタスクを複数のプロンプトに分割すること)、関数呼び出しで良い結果を得ることを試みることをお勧めします」と述べている。

一方、ファインチューニングされたGPT-3.5 Turboモデルを実行するには、GPT3.5ターボの基本モデルの最大8倍のコストがかかる。通常のGPT-3.5 Turboから出力を生成するのに1,000トークンあたり0.002ドル、ファインチューニングされたGPT-3.5 Turboでは1,000トークンあたり0.016ドルだ。以下は、全価格となる:

Fine-tuned modelTrainingInputOutput
babbage-002$0.0004 / 1K tokens$0.0016 / 1K tokens$0.0016 / 1K tokens
davinci-002$0.0060 / 1K tokens$0.0120 / 1K tokens$0.0120 / 1K tokens
GPT-3.5 Turbo$0.0080 / 1K tokens$0.0120 / 1K tokens$0.0160 / 1K tokens

企業は、特定のタスクのためにモデルをファインチューニングするために前払いする価値があるのか、あるいは、より効率的なプロンプトを定義して、本番稼動にかかる下流のコストを節約する価値があるのかを見極めなければならない。

そして、ファインチューニングされたモデルはそれぞれの開発者に非公開となり、ファインチューニングのためのトレーニングデータは節度を持って管理されるようだ。

OpenAIは今年後半にGPT-4のファインチューニング機能を提供する予定だ。


Source



この記事が面白かったら是非シェアをお願いします!


  • parmegiano reggiano
    次の記事

    偽造に対抗するため、イタリア人はマイクロチップをチーズに埋め込む

    2023年8月23日 10:35
  • 前の記事

    Meta、100の言語に対応した多言語音声・テキスト翻訳モデルをリリース

    2023年8月23日 6:00
    seamlessm4t

スポンサーリンク


この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事