現場の労働者をAIに置き換えるのは悪い考えかもしれない

AIチャットボットは、電話やウェブサイト上で、顧客に挨拶したり質問に答えたりするために、すでに企業で広く使われている。一部の企業では、コールセンター業務において、ある程度人間を機械に置き換えることができることがわかっている。

しかし、入手可能な証拠によると、医療や人事など、こうした最前線のツールの使用に関して細心の注意を払う必要があり、倫理的な監視が必要な分野もあるようだ。

最近の、そして大きく報道された例としては、米国のNational Eating Disorder Association（NEDA）が使用したTessaというチャットボットがある。この団体は当初、サラリーマンとボランティアの組み合わせで運営されるヘルプラインを維持していた。これには、摂食障害に苦しむ弱い立場の人々を支援するという明確な目的があった。

しかし今年、同団体はヘルプラインのスタッフを解散させ、代わりにチャットボット「Tessa」を導入すると発表した。この理由には異論がある。元従業員たちは、このシフトはヘルプラインスタッフが組合結成を決定したことに従ったものだと主張している。NEDAの副会長は、コール数や待ち時間の増加、ボランティアスタッフの使用に関する法的責任を挙げている。

いずれにせよ、ごく短期間の運用の後、Tessaは、摂食障害の助けを求める人々の症状を悪化させる可能性のある、問題のあるアドバイスをチャットボットが発していたという報告を受けて、オフラインになった。

また、Tessaの作成に協力したEllen Fitzsimmons-Craft博士とC Barr Taylor博士という2人の優秀な研究者が、このチャットボットは決して既存のヘルプラインの代わりとして、あるいは摂食障害の激しい症状を経験している人々に即座に援助を提供するためのものではないと定めていたことも報告された。

大幅なアップグレード

では、Tessaは何のために設計されたのか？研究者たちは同僚とともに、摂食障害を心配するユーザーと対話するルールベースのチャットボットを設計する際に直面した課題に焦点を当てた観察研究を作成した。それは、デザインの選択、操作、落とし穴、修正点を示す、非常に魅力的な読み物である。

Tessaのオリジナルバージョンは、高度に洗練されたものとはいえ、伝統的なルールベースのチャットボットであった。それは、クリエイターによって調整された標準化された事前プログラムされた応答から逸脱することはできなかった。

彼らの結論には次のような点が含まれていた：「ルールベースのチャットボットは、情報や簡単なインタラクションを提供することで、低コストで大規模な集団にリーチできる可能性があるが、ユーザーの予期せぬ反応を理解し、適切に対応するには限界がある」。

このため、Tessaが適している用途は限られているように見えるかもしれない。では、なぜTessaはNEDAが以前使用していたヘルプラインに取って代わることになったのだろうか？NPRによると、チャットボットのホスティング会社は、Tessaをあらかじめプログラムされた回答をするルールベースのチャットボットから、「強化された質問と回答機能」を持つチャットボットに変更した。

Tessaの後のバージョンは、ChatGPTや類似製品のような生成AIを採用したものだった。これらの高度なAIチャットボットは、より現実的で有用な回答を与えることを意図して、人間の会話パターンをシミュレートするように設計されている。このようなカスタマイズされた回答の生成は、機械学習、ディープラーニング、自然言語処理といった様々な技術プロセスを通じてAIモデルが「理解」するように訓練された情報の大規模なデータベースに依存している。

教訓を学ぶ

最終的に、チャットボットは一部のユーザーの質問に対して、有害な可能性のある回答を生成した。その後の議論では、責任の所在がある機関から別の機関に移された。しかし、倫理的な監督を行う機関、「ループ内の人間」、そしてTessaの当初の設計の明確な目的を遵守する機関があれば、その後の事態は回避できた可能性があるという点は変わらない。

このような事例から教訓を得ることは、様々なシステムにAIが統合されようとしている背景から重要である。そして、これらの出来事はアメリカで起こったことではあるが、他の国で同じことを行おうとする人々への教訓を含んでいる。

英国は、この問題に対するアプローチがやや断片的であるように見える。データ倫理・イノベーションセンター（CDEI）の諮問委員会は最近解散し、その席は新たに設立されたフロンティアAIタスクフォースが占めることになった。また、ロンドンではすでにAIシステムが労働者を支援するツールとして試用されているという報告もある。

これらの例はいずれも、倫理的配慮とビジネス上の利益との間の潜在的な緊張関係を浮き彫りにしている。最終的にはこの2つが一致し、個人のウェルビーイングとAIが提供しうる効率性や利点のバランスが取れるようになることを願わなければならない。

しかし、組織が一般市民と接する一部の分野では、AIが生成する応答やシミュレートされた共感は、本物の人間性や思いやりに取って代わるには十分ではないかもしれない-特に医療やメンタルヘルスの分野では。

本記事は、Mark Tsagas氏によって執筆され、The Conversationに掲載された記事「Replacing frontline workers with AI can be a bad idea — here’s why」について、Creative Commonsのライセンスおよび執筆者の翻訳許諾の下、翻訳・転載しています。