Intel、SPECベンチマークテストで不正な水増しを行い結果が無効と判断される

masapoco
投稿日
2024年2月20日 18:38
ja JP LU EP HR DT 1

一般ユーザーが製品を選ぶ際の指標として、ベンチマークテストの結果を参考にすることは多い。これは必ずしも現実のパフォーマンスを示す物ではないかも知れないが、ある種の定量的な評価においては、他の製品と比較するのに有効な場合も少なくない。そして、企業は自社製品の性能をアピールするため、第三者機関によるベンチマークテストの結果を競い、“公平なテストの結果”自社製品が優れているとアピールするのだ。

だが、そんなテストの結果を自社製品に有利なように不正に操作したとすればどうだろうか?その製品が本来の性能よりも高く評価されたとしたら?今回Intelは、数千のベンチマークでカスタム設計のコンパイラーを使用し、ベンチマークスコアを不正に水増ししたとして、その結果が無効と判定されている。

SPEC(Standard Performance Evaluation Corporation)は、人気の高い産業用テストSPEC CPU 2017の2022年および2023年バージョンでXeonプロセッサーをテストした2600以上の独自の結果を無効にした。SPECは調査の結果、Intelがカスタム設計のコンパイラを使用していたことを発見した。そのコンパイラは、”523.xalancbmk_r / 623.xalancbmk_sベンチマークの性能を特別に向上させるコンパイルを、SPECコードとデータセットの先験的知識を使用して行い、適用範囲が狭い変換を行っていた”と引用している。これらのベンチマークは、Xalan と XSLT (eXtensible Stylesheet Language Transformations) 出力を評価する。

これにより、SPEC は、SPEC 2017 実行および報告規則の第 14 規則に従い、この最適化を中止することを決定し、2600 件を超える結果を削除した:

広範な適用性を有する最適化を奨励するため(規則 1.4 https://www.spec.org/cpu2017/Docs/runrules.html#rule_1.4 を参照)、SPEC は、本 最適化を使用した結果を公表しない予定である。本結果は、過去の参照用として SPEC の結果データベースに残される。

以下に規則 14 の内容を示す:

SPEC は、最高の性能を生み出すための最適化の重要性を認識している。また、SPEC は、SPEC ベンチマークにたまたま利益をもたらす正当な最適化と、SPEC ベンチマークのみを対象とする最適化との間に、正確な線引きが困難な場合があることも認識している。

平たく言えば、SPECはIntelがベンチマーク専用にコンパイラーを最適化したことを非難しているのだ。PhoronixのMichael Larabel氏は、Intelが特別に設計したコンパイラーによって、速度が9%向上し、SPECintレートでは4%程度上昇した可能性があると見ている。

ServeTheHomeによれば、SPECの記録を何度かチェックした結果、第4世代インテルXeon Sapphire Rapidsの結果が最も影響を受けているようだという。この最適化は2022コンパイラに含まれていたが、最新の第5世代Intel Xeon Emerald Rapidsの発売時に一般的に使用された最新バージョン(2023.2.3)では、最適化が行われていなかった。

SPECは、自社のベンチマーク・データベースを振り返っている間にこれらの結果を発見し、歴史的記録のために削除はしていないが、自社のレポートでは無効としている。最新の産業用Xeonプロセッサー、第5世代Emerald Rapidsシリーズで使用されているコンパイラーの少し新しいバージョンは、性能を向上させるとされるこれらのAPIを使用していない。

AMD やIntelのような企業は、自社のプロセッサの IPC(クロックサイクルあたりの命令数)を誇示するために、SPEC の結果をよく利用する。おそらくこれは、Intelが自社のXeon CPUがAMDのEPYCより優れていることを示そうとしたのだろう。データセンターではAMDのシェアが伸び続けている。。

Intelがこの種の悪行で非難されるのは今回が初めてではない。Cinebenchバージョン11.5やPCMark 2005のような人気のあるベンチマーク・ソフトウェアでは、「GenuineIntel」CPUIDが検出されない場合、ベンチマークは完了までに時間がかかる低速のコード・パスを選択して実行するというように、「AMDを麻痺させる」機能を持つコードがIntelから提供されていたようだ。

Tom’s Hardwareは、NVIDAが3DMark 2003で自社のGPUの性能を高めるためにドライバ側の最適化を行ったとされる、より悪質な事例をいくつか指摘している。7年後の2010年、NVIDAはAMDが同等のGeForceカードに対してベンチマーク結果を高めるために異なる画質設定を使用したと非難した。モバイルチップのサプライヤーであるQualcomm、Samsung、MediaTekは、2020年にAndroidのパフォーマンス結果を捏造したとされる。


Sources



この記事が面白かったら是非シェアをお願いします!


  • 次の記事

    Amazon、“創発的能力”を有すると主張する音声言語モデル「BASE TTS」を発表

    2024年2月21日 6:27
  • 前の記事

    太陽光パネルの表面に凹凸を設ければ発電効率が大幅に向上する可能性がある

    2024年2月20日 17:58
    solar panel 22
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • Intel glass substrate 5

    Appleがガラスコア基板の採用に向けて協議を進めている

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • sibelco spruce pine

    世界の半導体は米国のたった1カ所の鉱山に支えられている

  • TSMC FAB18

    TSMCの3nmノードが急成長、2024年は収益の20%以上を占める可能性

  • what is ai pc

    Intel、「AI PC」の要件は40TOPS以上の性能を持つNPUが必要と述べる、ただしMeteor Lakeはこれを満たさず

今読まれている記事