Microsoftが支援するOpenAIのAIチャットボット「ChatGPT」は、今やその名前を見ないことがないほど数多くの話題を提供してくれ、当サイトでも何度も取り上げているため、ご存じの方も多いだろう。

このチャットボットは複雑な科学的概念を子どもに分かりやすく説明してくれたり、詩や俳句を詠んだり、物語を書いたり、コードを書いたり、マルウェアを作ったり…数え上げればきりがない。あまりの人気から、度々サーバーが人数制限をかけることから、先日OpenAIは、このチャットボットを優先的に利用できる有料プランも、招待制でリリースしている。「ChatGPT Professional」として名付けられたこれは、月額42ドルで利用できるようだ。

さて、Googleも危機感を抱くほどのこの驚異のAIチャットボットには、一体どれ程の能力があるのだろうか？

今回、ペンシルバニア大学ウォートン・スクール・オブ・ビジネスのChristian Terwiesch教授は、MBAの試験でChatGPTの性能を試した。MBAの中核科目であるオペレーションズ・マネジメントについて、チャットボットに質問したのだ。

論文は『Would Chat GPT3 Get a Wharton MBA?A Prediction Based on Its Performance in the Operations Management Course』と題され、公開されている。ここでは、ChatGPTの「学業成績」が持つ意味を掘り下げた。

テストの結果、Terwiesch氏は答えが正しく、チャットボットが優れた解説を提供することを発見した。しかし、ChatGPTは、小学校6年生の算数レベルの比較的簡単な計算でもミスをする事もあったという。

また、Terwiesch氏は、現在のChatGPTのバージョンでは、たとえかなり標準的なテンプレートに基づいているとしても、より高度なプロセス分析の問題を扱うことはできないと指摘している。

Terwiesch氏は、ChatGPTは「我々のMBA学生のトレーニングやテストに広く使われているように、問題を扱うのに顕著なスキルがあり、出題結果を合わせると、この性能はBからB-と評価できます」と述べている。

さらに教授は、チャットボットのパフォーマンスを客観視するために、参考情報を付け加えている。曰く「ウォートンが履修科目の自由度を高めるまで、このオペレーションズ・マネジメントのコースは、すべての学生が履修しなければならない必修科目でした。しかし、免除試験で内容を習得していることが証明できれば、このコースを免除することができました。上記のChatGPT3の成績は、ごくわずかな差ではありますが、この免除試験に合格するのに十分なものであったと思われます。」

Terwiesch氏は、更に踏み込んだ研究を行った。「今までに何千もの問題を書いてきて、新しい問題に対する想像力を使い果たしたと思うことがあります。新しい試験問題を考えるために、ChatGPT3に頼ることはできるでしょうか？」と、ChatGPT自身に試験問題を作らせたのだ。

その結果、問題がもっともらしく、ユーモラスであることが分かった。Terwiesch氏は、「今後の問題集に活かせるような良い問題だった」と述べている。

Terwiesch教授は、電子計算機が企業社会に与えた影響を、ChatGPTが学問の世界に与えうる影響と比較した。「電卓などの計算機が導入される前は、多くの企業で、乗算や行列の逆行列などの数学的演算を手作業で行う従業員が何百人もいました。しかし、現在では、そのような作業は自動化されており、そのスキルの価値は劇的に低下している。同じように、MBAプログラムで学ぶスキルが自動化されれば、MBA教育の価値が下がる可能性があります」と、この研究で述べている。

コーネル大学SCジョンソンビジネスカレッジの学長であるAndrew Karolyi氏もこの意見に賛同する。彼はFinancial Times紙にこう語っている。「私たちが確実に知っていることは、ChatGPTはなくならないということです。どちらかというと、こうしたAI技術はどんどん良くなっていくでしょう。教員や大学の管理職は、教育のために投資する必要があります。」

論文

• William and Phyllis Mack Institute for Innovation Management: Would Chat GPT Get a Wharton MBA? New White Paper By Christian Terwiesch

参考文献

• NBC: ChatGPT passes MBA exam given by a Wharton professor
• Financial Times: AI chatbot’s MBA exam pass poses test for business schools 

研究の要旨

OpenAIのChat GPT3は、一般的に報酬の高いナレッジワーカー、特にアナリスト、マネージャー、コンサルタントなどMBAを取得した職種のナレッジワーカーのスキルの一部を自動化する驚くべき能力を示している。Chat GPT3は、ソフトウェアコードの記述や法律文書の作成といった専門的なタスクを実行する能力を実証している。本論文の目的は、典型的なMBAコアコースであるオペレーションズ・マネジメントの最終試験で、Chat GPT3がどのように動作したかを記録することだ。試験問題は、最終試験の設定で使用されるようにアップロードされ、その後採点された。Chat GPT3の「学力」をまとめると、以下のようになる。まず、ケーススタディに基づく問題を含め、基本的なオペレーションズ・マネジメントやプロセス分析の問題で、驚くほどの成果を上げている。正解はもちろんのこと、解説も素晴らしい。第二に、Chat GPT3は、小学校6年生の数学レベルの比較的簡単な計算で、驚くようなミスをすることがあることだ。そのミスの大きさは膨大なものになる。第三に、現バージョンのChat GPTは、かなり標準的なテンプレートに基づいている場合でも、より高度なプロセス分析の問題を処理することができない。これは、複数の製品を含むプロセスフローや、需要の変動などの確率的な効果を持つ問題などだ。最後に、ChatGPT3は、人間のヒントに応じて回答を修正することに非常に優れている。つまり、最初は問題と正しい解法をマッチングできなかった場合でも、人間の専門家から適切なヒントをもらうと、Chat GPT3は自ら修正することができたのだ。この性能を考慮すると、Chat GPT3は試験でB～B-評価を受けたと考えられる。このことは、試験政策の必要性、人間とAIの協働を重視したカリキュラム設計、実世界の意思決定プロセスをシミュレーションする機会、創造的な問題解決を教える必要性、教育の生産性向上など、ビジネススクールの教育にとって重要な示唆を与えている。