業界団体、インテル公式 CPU ベンチマーク 2,600 件を無効化 SPEC は、同社のコンパイラーがパフォーマンス向上のために不当な最適化を使用していたと発表
https://www.tomshardware.com/pc-components/cpus/spec-invalidates-2600-intel-cpu-benchmarks-says-companys-compiler-used-unfair-optimizations-that-boosted-performance
SPEC は、特定のワークロード ( ServeTheHomeとPhoronixを介した) に対する明らかにターゲットを絞った最適化が本質的に不正行為に相当することに対する不快感を理由に、
特定のバージョンの Intel コンパイラーを実行している Intel CPU に関する SPEC CPU 2017 の結果を今後公開しないと述べています。
問題のコンパイラで公開された 2,600 を超えるベンチマーク結果に注記が追加され、主に第 4 世代 Xeon Sapphire Rapids CPU を実行するマシンからの結果が事実上無効化されました。
SPEC CPU 2017 は、主にハイエンド サーバー、データ センター、ワークステーション/PC で使用されるベンチマークであり、
さまざまなコンピューターを相互に比較できるように、標準化された方法でさまざまなワークロードのパフォーマンスをテストします。
SPEC CPU 2017 の優れたパフォーマンスは、ハードウェアだけでなくソフトウェアにも左右されます。
ソフトウェア側の最適化における重要な要素の 1 つはコンパイラです。コンパイラは、基本的に書かれたコードを受け取り、プロセッサが最適に実行できる方法でそれを再フォーマットするプログラムです。
2,600 を超える SPEC CPU 2017 の結果に添付されているという免責事項には、「この結果に使用されたコンパイラーは、
事前の知識を使用して523.xalancbmk_r / 623.xalancbmk_sベンチマークのパフォーマンスを特に向上させるコンパイルを実行していました。」と記載されています。
これは、コンパイラー (この場合、Intel の oneAPI DPC++/C++ コンパイラー) が、問題のテストの 2 つの SPEC CPU 2017 ベンチマークの
ワークロードの種類に対して最適化されていなかったことを意味しますが、具体的には 2 つのベンチマーク自体が最適化されていないことを意味します。
パフォーマンスが高いほど明らかに優れているため、コンパイラーを最適化する必要があることが期待されていますが、ベンチマークに特化した最適化は物議を醸しており、眉をひそめています。
SPEC は、ベンチマークがハードウェアの実際のパフォーマンスを反映し、さまざまなプロセッサを比較するための標準化された方法を提供することを望んでいます。
しかし、コンパイラの最適化によって特定のベンチマークのパフォーマンスのみが向上し、現実世界のシナリオではパフォーマンスが向上しない場合、
それは明らかに現実世界を反映しておらず、その特定のベンチマークにのみ反映されます。
