Midjourneyは、人々がツールを使って非常に精巧なディープフェイクを作成し、問題を巻き起こしていることを受け、同社のAI画像ジェネレーターの無料利用に終止符を打った。CEOのDavid Holz氏はDiscordで、“異常な需要とトライアルの乱用”のため、無料トライアルを終了すると述べている。新しいセーフガードは、トライアル期間中の悪用を防ぐには「十分」ではなかったとHolz氏は述べている。今のところ、この技術を使うには、少なくとも月々10ドルを支払う必要がある。

The Washington Postが説明するように、Midjourneyはここ数週間、不要な注目の的になっています。ユーザーは同社のAIを利用して、逮捕されたDonald Trump氏や流行のコートを着たFrancisco法王のディープフェイクを作成した。これらの写真はすぐに偽物であることが判明したが、悪質な業者がMidjourneyやOpenAIのDALL-E、同様のジェネレーターを使って誤報を流すことが懸念されている。

Midjourneyは、コンテンツに関するポリシーの確立が難しいことを認めている。2022年、Holz氏はDiscordのユーザーに対し、自分のチームは「ドラマを最小限にしたい」だけであり、風刺的なコンテンツを許可するよりも、中国で何らかのアクセスを得ることの方が重要であるとして、中国の指導者習近平の画像を禁止することを正当化した。水曜日のユーザーとのチャットで、Holz氏は、AIがこれまで以上にリアルな画像を可能にしたため、コンテンツ・ポリシーを設定するのが難しくなっていると語った。Midjourneyは、虐待をスクリーニングするAIのモデレーションを改善したいと考えていると、創設者は付け加えた。

一部の開発者は、事件を防ぐために厳しいルールに頼っている。例えばOpenAIでは、現在進行中の政治的事件や陰謀論、政治家の画像は一切禁止している。また、ヘイト、セクシュアリティ、暴力も禁じている。しかし、比較的緩やかなガイドラインを設けているところもある。Stability AIは、Stable Diffusionのユーザーがスタイルをコピーしたり、仕事上安全でない画像を作ったりすることを許さないが、一般的に、人々が作ることができるものに口を挟むことはない。

AI画像制作の問題は、誤解を招く内容だけではない。既存の画像を参考にすることが多いため、写真が盗用されているのではないかという懸念が以前からある。AIアートを製品に取り入れる企業がある一方で、不要な注目を浴びることを心配する企業が躊躇していることもたくさんあるだろう。

Source

• The Washington Post: How a tiny company with few rules is making fake images go mainstream
• via The Verge: AI image generator Midjourney stops free trials but says influx of new users to blame