The Japan Timesが、日本語を英語に翻訳する事が出来るAI支援ツールをテストし、どれが優れた結果を示してくれるか検証している。用いられたツールは、OpenAIのChatGPT（GPT-4）、Microsoft Bing AIチャットボット、Google Bard、そしてAI翻訳ツールとして有名なDeepLだ。Japan Timesの上級バイリンガル編集者のKanako Takahara氏が結果を評価している。

テストでは、以下の日本語テキストが用いられた。

• 文学：ノーベル賞受賞者川端康成著『雪国』の冒頭の一節
• 歌詞：日本の国歌「君が代」
• スピーチ：日本のスーパースター、大谷翔平が3月のワールド・ベースボール・クラシック決勝の対アメリカ戦直前にチームメイトに向けたスピーチ

これらを、それぞれのツールに入力し、英語に変換してもらい、正確さ、英語の自然な表現、翻訳が文脈に則しているかに基づき5段階で評価を下している。

GPT-4は、文学部門で苦戦したものの、全体的に最も高いスコアを獲得し、僅差でBardとBingが続いた。驚くべき事に、AI翻訳の先駆けであったDeepLは常に最下位だった。

ただし、AIチャットボットは、デバイス、タイミング、指示の言い回しなどの様々な要因によって異なる結果を出す可能性があるため、ユーザーの得る結果が常にJapan Timesと同様になるわけではない。ただし、東京大学の言語専門家Tom Gally氏によれば、ChatGPT-4は一貫して最高の品質を提供しているという。

ただし、ChatGPTはそもそもが日本語でのデータ学習量が少ないため、日本語の生成については英語に劣る。Bardも現段階ではまだ劣っているが、Googleが所持するデータ量を考えれば、この分野においては大きな可能性が見込まれると、Gally氏は指摘している。

そして今回のテストで明らかになった意外であり、大きな意味を持つことは、AIチャットボットの翻訳がDeepLの翻訳よりもはるかに優れていたと言う事だ。とはいえ、注目すべきは、どのテキストも100％の正確さで翻訳されていないことである。

Gally氏は技術文書を扱う翻訳者が、今後数年のうちにAIに仕事を取って代わられる危険性を指摘する。特に、フリーランスや技術文書の翻訳者、代理店経由の翻訳者など、信頼関係がなくクライアントとのやり取りが少ない翻訳者がリスクにさらされる可能性があると、警告している。ただし、現在のAIには限界があるため、専門的な言語知識を持っている翻訳者が取って代わられる危険性は低いだろうとも。

特に、翻訳者がクライアントのニーズについての知識を持っている場合、クライアントと交流し、より高いレベルでクライアントの言語問題を解決する手助けをするタイプの翻訳者は、今後も必要とされ続けると、コミュニケーションの面でのAIに対する人間の翻訳者の優位性を説いている。

最も重要なことは、生成AIが提供する安さとスピードという価値を凌駕するサービスを提供することかも知れない。

Sources

• The Japan Times: ChatGPT, Bing, Bard and DeepL: Which one offers the best Japanese-to-English translation?