Bloombergは、金融業界の自然言語処理（NLP）タスクをサポートするために、幅広い金融データに特化した新しい大規模言語モデル（LLM)、「BloombergGPTTM」の開発について研究論文を発表した。金融分野では、その複雑さと独特の専門用語のため、ドメイン特化モデルが必要であったが、BloombergGPTはその開発と適用の最初のステップを踏み出す物だ。このモデルは、感情分析、名前のエンティティ認識、ニュース分類、質問応答などの既存の金融NLPタスクを改善するために、Bloombergが支援するものである。また、BloombergGPTはBloomberg Terminalで利用可能な膨大なデータを結集し、金融分野にAIの全潜在能力をもたらすことができる。
「少数点学習、テキスト生成、会話システムなど、生成型LLMが魅力的である理由はさまざまです。- 金融分野に特化した最初のLLMを開発したことに大きな価値を感じています。BloombergGPTは、カスタムモデルよりもはるかに高い性能を提供し、より速い市場投入時間を実現しながら、多くの新しいタイプのアプリケーションに対応することができます」とBloombergの最高技術責任者であるShawn Edwards氏は語っている。
金融データ会社であるBloombergは、金融に関する言語文書を40年間にわたり収集・維持してきたため、多様なNLPタスクを支援するために、新しい金融認識言語モデルが必要であった。そこで、BloombergのML製品・研究チームは、同社の既存のデータ作成・収集・編成リソースに頼り、ドメイン特化データセットの構築に協力した。チームは、金融英語文書からなる包括的な3,630億トークンのデータセットを作成し、さらに3,450億トークンのパブリックデータセットと併せて、7,000億トークンを超える大規模なトレーニングコーパスを作成した。そして、そのトレーニングコーパスの一部を使用して、500億のパラメータを持つデコーダーのみの因果言語モデルをトレーニングした。その結果、BloombergGPTモデルは、金融特化のNLPベンチマーク、Bloombergの内部ベンチマーク、および一般的なNLPタスクの広範なカテゴリからなる人気のあるベンチマーク（BIG-bench Hard、Knowledge Assessments、Reading Comprehension、Linguistic Tasksなど）において検証された。特に、同モデルは、同等のサイズのオープンモデルよりも、金融タスクにおいて大きなマージンで優れたパフォーマンスを発揮し、一般的なNLPベンチマークでも同等以上の性能を発揮した。
「機械学習とNLPモデルの品質は、それらに投入されたデータにかかっています。」とBloombergのML製品・研究チームの責任者であるGideon Mann氏は説明する。「Bloombergが40年にわたって編成してきた金融文書の収集のおかげで、金融ユースケースに最適なLLMをトレーニングするための大規模でクリーンなドメイン特化データセットを慎重に作成することができました。私たちは、BloombergGPTを使用して既存のNLPワークフローを改善するとともに、顧客を喜ばせるためにこのモデルを新しい方法で活用することを想像しています」
論文
参考文献
研究の要旨
金融技術の領域におけるNLPの利用は、センチメント分析、名前付きエンティティ認識から質問応答まで、幅広くかつ複雑である。大規模言語モデル（LLM）は様々なタスクで有効であることが示されているが、金融領域に特化したLLMは文献上では報告されていない。本研究では、幅広い金融データで学習させた500億パラメータの言語モデル、BloombergGPTを発表する。Bloombergの広範なデータソースに基づく3630億トークンデータセットを構築し、おそらくこれまでで最大のドメイン特化型データセットに、汎用データセットからの3450億トークンを追加している。BloombergGPTは、標準的なLLMベンチマーク、オープンな金融ベンチマーク、そして我々の意図する使い方を最も正確に反映する一連の内部ベンチマークで検証された。混合データセットによるトレーニングにより、一般的なLLMベンチマークの性能を犠牲にすることなく、金融タスクにおいて既存のモデルを大幅に上回る性能を持つモデルが完成した。さらに、我々のモデルの選択、学習プロセス、評価方法について説明する。次のステップとして、BloombergGPTのトレーニングの経験を詳述したトレーニングログ（Chronicles）を公開する予定である。
コメントを残す