AIは研究者を助け、学術誌に載せるに値する学術論文を作成できる

学術雑誌の出版社の中には、著者が高度なチャットボットであるChatGPTを使用することを禁止または抑制しているところがある。このボットはインターネット上の情報を利用して、質問に対する読みやすい回答を作成するため、出版社は不正確な内容や盗用された内容が学術文献のページに入り込むことを懸念しているのだ。

すでに何人かの研究者が学術研究の共著者としてChatGPTを記載しており、一部の出版社はこの行為を禁止する方向に動いている。しかし、世界トップクラスの科学雑誌である『Science』の編集長は、さらに一歩踏み込んで、投稿論文に同プログラムのテキストを使用することを禁じた。

このようなチャットボットの利用が学術出版社に関心を持たれるのも無理はない。Finance Research Lettersに掲載された私たちの最近の研究では、ChatGPTを使用して、学術雑誌に受理されるようなファイナンス論文を書くことができることを示した。このボットは、ある分野では他の分野よりも優れたパフォーマンスを発揮したが、私たち自身の専門知識を加えることで、ジャーナル査読者の目から見て、プログラムの限界を克服することができたのだ。

しかし、出版社や研究者は、必ずしもChatGPTを脅威と見なすのではなく、むしろ研究のための重要な助っ人、つまり低コスト、あるいは無料の電子アシスタントとして潜在的に捉えるべきだと、私たちは主張する。

私たちの考えは、「ChatGPTを使うだけで良い結果が簡単に得られるのなら、その良い結果を素晴らしいものにするために、何かプラスアルファがあるのではないか」ということだ。

まずChatGPTに、研究アイデア、文献レビュー（同じテーマに関する過去の学術研究の評価）、データセット、テストと検証の提案という、研究の標準的な4つの部分を生成するよう依頼した。研究テーマは大まかなもので、「良い金融専門誌」に掲載できるようなアウトプットであることだけを指定した。

これが、ChatGPTの使い方のバージョン1だ。バージョン2では、関連する既存研究のアブストラクト（要約）を200件弱、ChatGPTのウィンドウに貼り付けた。

そして、それらを考慮した上で、4つの研究ステージを作成するようにプログラム側に依頼した。そして、バージョン3では、さらに「専門分野」、つまり学術研究者の意見を取り入れた。私たちは、プログラムが出した答えを読み、改善のための提案を行った。そうすることで、ChatGPTと私たちの専門性を融合させることができたのだ。

そして、32人のレビュアーに、ChatGPTがどのように学術研究に利用できるかを、それぞれ1バージョンずつレビューするよう依頼した。査読者は、出力が十分に包括的で、正しいか、そして「良い」金融学術誌に掲載されるに値するほど新しい貢献をしているかどうかを評価するよう求められた。

大きな収穫は、これらの研究がすべて、専門家である査読者によって概ね受け入れられるとみなされたことだ。チャットボットが質の高い学術研究のアイデアを生み出すことができると判断されたのだ。これは、創造性の意味や創造的なアイデアの所有権に関する根本的な問題を提起するもので、まだ誰も確かな答えを持っていない問題なのだ。

長所と短所

この結果から、ChatGPTの潜在的な長所と短所も浮き彫りになった。研究項目によって評価が異なることが分かったのだ。研究のアイデアとデータセットは高く評価される傾向があった。文献レビューとテスト提案に対する評価は低いが、それでも許容範囲内だ。

このことから、ChatGPTは、外部からのテキストを取り込んでつなげること（研究アイデアの本質）や、1つのドキュメントから簡単に識別できるセクションを取り出して調整すること（例：データサマリー、ほとんどの研究で簡単に識別できる「テキストの塊」）に特に強いと考えられる。

このプラットフォームの弱点は、タスクがより複雑になったとき、つまりコンセプトのプロセスに多くの段階があるときに明らかになった。文献レビューやテストは、このカテゴリーに入る傾向がある。ChatGPTは、これらのステップのうちいくつかは得意だが、すべてではない。このことは、レビュアーにも伝わっているようだ。

しかし、私たちは、ChatGPTと協力して許容できる結果を導き出した、最も進んだバージョン（バージョン3）では、これらの限界を克服することが出来た。その後、先進的な研究のすべてのセクションが査読者から高い評価を受け、学術研究者の役割はまだ死んでいないことが示唆された。

倫理的な意味合い

ChatGPTはツールである。私たちの研究では、ある程度の注意を払えば、許容できる金融研究を生成するために使用できることを示した。また、注意を払わなくても、もっともらしい研究を生み出すことができる。

このことは、いくつかの明確な倫理的意味を持つ。RetractionWatchのようなWebサイトでは、捏造、盗用、そして単に間違った研究結果が次々と報告されている。ChatGPTは、この問題をさらに悪化させるかもしれないのだろうか？

簡単に言えば、そうかも知れない。しかし、精霊を瓶に戻すことはできない。また、この技術は、より良く（そして早く）なる一方だろう。研究においてChatGPTの役割をどのように認識し、取り締まるかは、別の日の大きな問題だ。しかし、今回の発見は、この点でも有益だ。研究者の専門知識を用いたChatGPT研究バージョンが優れていることを明らかにすることで、人間の研究者のインプットが、受け入れられる研究には依然として不可欠であることを示したのだ。

今のところ、研究者はChatGPTを脅威ではなく、助力として捉えるべきだと考える。特に、新興国の研究者、大学院生、キャリアの浅い研究者など、従来の（人による）研究支援のための資金が不足しがちな研究者のグループにとっては、助っ人となる可能性があるだろう。ChatGPT（および類似のプログラム）は、研究プロセスの民主化に役立つ可能性があるのだ。

しかし、研究者は、ジャーナル論文の作成に使用することが禁止されていることを認識する必要がある。この技術に対する考え方が大きく異なることは明らかであり、慎重に使用する必要もあるだろう。

本記事はThe Conversationに掲載された記事「ChatGPT: our study shows AI can produce academic papers good enough for journals – just as some ban it」について、Creative Commonsのライセンスおよび執筆者の翻訳許諾の下、翻訳・転載しています。

著者紹介