MicrosoftがOpenAIと共同で作った新しい検索サービス「Bing」は、大きな反響を呼んでいるが、実は、もちろん間違えることや、物議を醸す問題も多く見られる。Microsoftももちろんこの状況は認識しており、それらフィードバックから得られた結果と、今後の方針を示している。
Microsoftは、すでにフィードバックを評価し、新バージョンのBing検索の対話パターンを調整する見込みであるとし、「長すぎる会話は新バージョンのBing検索を混乱させ、コンテンツの重複や積極的なヘルプにならない返答につながる可能性がある」と考えているようだ。
「15問以上の長いチャットセッションで、Bingは繰り返しになったり、必ずしも有用ではない、または私たちのデザインしたトーンに沿った応答をするように促されることがあることを発見しました。」と同社は述べている。これは、質問のたびにボットが最初に答えようとしたことを「忘れてしまう」ために起こるようだ。この問題を解決するために、Microsoftは、検索の文脈をリセットしたり、最初からやり直したりできるツールを追加する可能性がある。
もうひとつの問題は、より複雑で興味深いものだ。Microsoftは、「モデルは時として、われわれが意図していないスタイルにつながる回答を提供するよう求められている口調で回答したり反映したりしようとする」と書いている。そうなるにはかなりのプロンプトが必要だが、エンジニアたちは、ユーザーがもっとコントロールできるようにすることで解決できるかもしれない、と考えている。
ただし、これらの問題にもかかわらず, テスターは、一般的に検索用の引用や参考文献にBingのAIに良い評価も与えている。また、Microsoftは、Bingが提供する回答が不正確な場合、その精度を高めるためにモデルに送信する根拠となるデータ量を4倍に増やし、ユーザーがコンテンツの精度についてフィードバックできるようにするとのことだ。
加えて、Bingサーチをより便利にするために、チケットの予約、メールの送信、検索結果や回答の共有など、ユーザーがBingサーチに追加してほしい機能を検討するとしている。
Source
- Microsoft Bing Blogs: The new Bing & Edge – Learning from our first week
