OpenAIのChatGPTやGoogleのGeminiなど、現在主流のAIチャットボットは、その処理に膨大なマシン能力を必要とすることから、クラウドベースのサービスが主流だが、徐々に効率化が進み、スマートフォンやPC上でローカルにAIを実行する流れも生まれてきている。そんな中NVIDIAは、Windows PCでユーザーがGPUを活用してPC上で大規模言語モデルに基づく独自のAIチャットボットを実行するデモアプリケーションをリリースした。

「Chat with RTX」はWindows 11上で動作し、GeForce RTX 30または40シリーズGPU（またはRTX AmpereまたはAda Generation GPU）が必要となる。

正確なハードウェア要件は次のとおりだ。

• GPU – Nvidia GeForce RTX 30 または 40 シリーズ GPU、または少なくとも 8GB の VRAM を搭載した Nvidia RTX Ampere または Ada Generation GPU
• RAM – 16GB 以上
• OS – Windows 11
• Geforce ドライバー – 535.11 以降

これは、検索拡張生成（retrieval-augmented generation: RAG）、TensorRT-LLM、およびRTXアクセラレーションを使用し、独自のコンテンツに基づいてパーソナライズされたGPT大規模言語モデルを作成するものだ。

さらに、Chat with RTX、YouTubeのクリップなど、ウェブ上の動画をフィードすることも出来る。ソース動画のURLを入力し、動画の内容に関連する質問をチャットボットに投げかけるだけで良いのだ。

その名が示すように、検索拡張生成は、外部ソースから収集した事実を使用して生成AIモデルの精度と信頼性を高める技術である。NVIDIAは、この技術についてより深い理解を求める人のために、このテーマに関する詳細な記事を用意している。

クラウド上ではなくローカルで実行され、あなた自身の個人データに基づいて学習されるため、高速かつよりあなたの意図したものになるはずだ。NVIDIAはまた、セキュアな結果を提供するとしている。

GeForce 30または40シリーズGPUをお持ちで、Chat with RTXを試してみたい方は、Nvidiaのウェブサイトからインストールファイルを入手することが可能だ。

Source

• NVIDIA: NVIDIA Chat with RTX