コーダーやプログラマーのためのQ＆Aサイト「Stack Overflow」は、AIチャットボット「ChatGPT」が生成した回答をユーザーが共有することを一時的に禁止した。

同サイトのモデレータは、この禁止令は一時的なもので、最終的な裁定はコミュニティと協議の上、今後しばらくして下されると述べている。ここでモデレータが指摘しているように、ChatGPTは簡単に質問に対する答えを返してくれるが、一見正しく見えるがよく調べると間違っていることが多く、この容易さから、誤った解答でサイトがあふれかえってしまう可能性があるのだ。

主な問題は、ChatGPTが生成する回答は不正確である率が高い一方で、一般的に良さそうに見え、回答が非常に簡単に生成されることです。そのため、これらの投稿の量を減らす必要があります[…]だから、今のところ、Stack Overflowで投稿を作成するためにChatGPTを使用することは許可されていません。この一時的なポリシーが掲載された後、ユーザーがChatGPTを使用したと思われる場合、そのようなコンテンツを投稿し続けることができないように、たとえその投稿が許容範囲内であっても、制裁が課されることになります。

ChatGPTは、OpenAIが作成した実験的なチャットボットで、同社のAIテキストジェネレーターGPT-3.5をベースとしている。先週、このボットのデモが公開され、サイトで入力すれば質問に簡単に答えてくれるその手軽さから（なんと日本語でも使える）、Web上では熱狂を持って迎えられた。このボットは、詩や歌、ニュース記事の生成から、トリビアの質問への回答、コードの書き込みやデバッグまで、さまざまなクエリに対して印象的で滑らかな結果を提供し、人々に質問をするよう促すインターフェイスを備えている。

しかし、多くのユーザーがChatGPTの能力に熱狂している一方で、もっともらしいが誤った回答を生成する傾向があることを指摘する声も多い。例えば、特定の機能を持つソフトウェアのプログラミング方法を説明するよう依頼すると、信憑性はあるが最終的には誤ったコードを生成することがある。

これは、大規模言語モデル（LLM）として知られるAIテキスト生成モデルのよく知られた欠点の1つである。これらのシステムは、インターネット上からかき集めた膨大な量のテキストからパターンを分析することによって訓練される。このデータから統計的な規則性を見つけ出し、それを使って、任意の文の中で次に来るべき単語を予測するのである。しかし、このシステムは、世の中の特定のシステムがどのように動作するかというハードコードされたルールを持たないため、“流暢なデタラメ”を生成する傾向がある。

これらのシステムの巨大な規模を考えると、その出力の何パーセントが誤りであるかを確実に答えることは不可能だ。そして、Stack Overflowの場合、例えその割合が少ないものではあっても、ユーザーを誤解させるリスクが高すぎると判断したのだ。

これまでのところ、実社会でLLMの弊害を示す証拠はほとんどない。しかし、Stack Overflowのこの決定は、このようなシステムの規模が実際に新たな課題を生み出すという議論を裏付けるものだ。同サイトのモデレータは、ChatGPTの禁止を発表する際にそのように述べ、「これらの（AIが生成した）回答の量（数千）と、その回答が実際に悪いと判断するために、少なくとも何らかの専門知識を持つ人が詳細に読む必要がしばしばあるという事実は、我々のボランティアベースの品質管理インフラを事実上押し流してしまった」と指摘している。

心配なのは、このパターンが他のプラットフォームでも繰り返され、AIが生成するコンテンツの洪水が、もっともらしいが間違ったデータで実際のユーザーの声をかき消してしまうことだ。そして、そういったプラットフォームの安定は、プラットフォーム自身の性質とそのモデレーション能力に依存することになる。将来的に、スパムフィルターの改善などのツールを使って、このような問題を軽減できるかどうかは、まだ不明だ。