OpenAIのChatGPTが、かなり説得力のある医療データを捏造できることが、『Patterns』に掲載された新しい論文で明らかになった。

これにより、“これまで以上に不正な研究の発表が容易になり、すべての正当な研究に疑念を抱かせることになる”と、この研究の著者は主張している。

「本稿では、AIが生成したチャットボックスが、医療界における研究の捏造にどのように活用される可能性があるのかを、事例を交えて明らかにする。さらに、捏造されたAI生成作品の識別精度を測るために、AIベースの作品の人間による検出の研究を比較する」と著者らは指摘する。

「さらに、無料のオンラインAI検出器の精度をテストする。そして、捏造研究の危険性を、医学研究を捏造したいと思う理由と、この迫り来る脅威に対する潜在的な救済策とともに強調する」と、彼らは論文で述べている。

研究者らは、ChatGPTに、関節リウマチに対する2種類の薬剤の効果に関する科学論文のアブストラクトを作成するよう依頼した結果、この結論に至ったという。ChatGPTには、2012年から2020年までのデータを使用するよう依頼している。

ChatGPTは、現実的なアブストラクトを作成し、実数値まで出した。さらに、研究者が促したところ、ある薬が他の薬より効くと主張したが、これはチャットボットが行うには危険な肯定表現である。

ChatGPTは2019年までのデータしか考慮していないため、2020年以降の数字を持つことは出来なかったが、アクセスに料金が必要なプライベートデータベースから裏付けとなる数字を取ったと主張していた。

「一日の午後の時間だけで、様々な学会に投稿して発表できる数十のアブストラクトを手に入れることができる 」と研究者は警告している。

「発表用のアブストラクトが受理されると、この同じ技術を使って、捏造されたデータと改ざんされた結果に基づいて完全に構築された原稿を書くことが可能となる」

AIのポジティブな活用法

警告を発したものの、研究者たちは、研究者がAIを利用する際にポジティブな方法があり得ることも指摘している。

「研究にAIを活用することは、本質的に悪意があることではない」と、述べている。

「AIに文法チェックを依頼したり、研究で得られた正当な結果に対して結論を書いたりすることも、AIが研究プロセスに組み込むことで、科学研究のプロセスを遅らせる可能性のある雑務を省くことができる」

問題は、存在しないデータを作ることのほうにあるのだ。

「存在しないデータを利用して結果を捏造して研究を書くと、人間の検出を簡単にすり抜けて出版物に掲載されてしまう可能性がある」という問題が発生する。

「これらの発表作品は、正当な研究を汚染し、正当な作品の一般性に影響を与える可能性がある」

研究者は最後に、ChatGPTを安全に使い続けるためには、不正データへの配慮とその影響について検討する必要があると指摘している。

論文

• Patterns: AI-generated research paper fabrication and plagiarism in the scientific community

参考文献

• Cosmos: ChatGPT can make real-seeming fake data

研究の要旨

科学コミュニティ内での研究の捏造は、自分の信頼性に影響を与え、誠実な著者を貶めることになる。AIベースの言語モデルチャットボットを用いて、研究の捏造の実現可能性を実証します。人間による検出とAIによる検出を比較し、捏造された研究を特定する精度を判定する。AIが生成した研究成果を利用することのリスクを強調し、研究を捏造する理由を明らかにする。