インテル、誤解を招くベンチマークチャートを公開 - TechRepublic

インテルのエネルギー効率スライドは、リンゴとナスの比較のようだ。

報道機関やアナリストに対し、AMDに対する優位性を示すため、Intelはベンチマークデータを歪曲し、自社の最新XeonがAMDの最高性能を凌駕しているかのように見せかけています。しかし、詳しく調べてみると、表示されているデータのほとんどは無関係です。

そもそも折れ線グラフを使ってベンチマークデータを示すのは、難しいものです。通常、Y軸に沿ってパフォーマンスポイントが上昇し、X軸に沿って負荷が変動することがあります。しかし、Intelがここで行ったようなことは決してありません。

エネルギー効率におけるリーダーシップを示すために作成されたこのグラフでは、使用されるベンチマークがデータポイントごとに変化するだけでなく、比較対象となるチップも変化しています（詳細な脚注からもそれが分かります）。Intelチップは一定（デュアルコアXeon 5160）ですが、比較対象となるAMDチップはベンチマークごとに変化しています。場合によっては、最新のチップが使用されることもあります。また、旧世代のOpeteronが使用される場合もあります。さらに、Intelが自社のデュアルコアをAMDのシングルコアと比較している場合もあります。

さらに事態を複雑にしているのは、Intelが圧倒的なリードを示しているベンチマークのうち2つが、どちらも6年前のベンチマークであり、現在では新しいバージョンが存在していることです。実際、右側の最後の10個のベンチマークのうち、1つを除くすべてがXeon 5160を比較すべきではないチップと比較しているか、すでに廃止されたベンチマークを使用しています。

小さな黄色の疑問符が表示されている部分には、どのAMDチップが使われていたのかさえ分かりません。何も書かれていません。もしかしたら、古い32ビットAthlonだったのかもしれません。

Intel のベンチマークの非常に誤解を招く使用法に関する David Berlind 氏の記事については、ZDNet の TestBed ブログの投稿を参照してください。

シングルコアチップが故障しました。

このスライドは、前のスライドが公開されてから1週間後に行われたプレゼンテーションから引用したものですが、Intelがシングルコアとデュアルコアの比較を明記している点で若干の改善が見られます。しかし、それでもなお、残りの問題は依然として残っています。

Intel のベンチマークの非常に誤解を招く使用法に関する David Berlind 氏の記事については、ZDNet の TestBed ブログの投稿を参照してください。

リンゴ対ナス、今回はパフ​​ォーマンス

このスライドには最初のスライドのように全ての注釈が付いていませんが、最初のスライドから注釈を抜き出してこのスライドに重ねるだけで済みます。このプレゼンテーションの最初のスライドで行われたベンチマークのほぼ全ての悪行がこのスライドにも行われており、Intelがそのパフォーマンスを「ブレイクアウェイ」と表現したことに完全に疑問を投げかけています。このデータに基づくと、それは全くの誤りです。IntelはOpteronが旧世代の386テクノロジーよりも優れていることを、ブレイクアウェイの兆候と見なすのでしょうか？

Intel のベンチマークの非常に誤解を招く使用法に関する David Berlind 氏の記事については、ZDNet の TestBed ブログの投稿を参照してください。

さらにベンチマークの愚かさ

このスライドの1つのバージョンでは、Intelは2つのSAPベンチマークを引用し、自社の最新XeonがAMDに対して「リーダーシップベンチマーク」であると主張しています。しかし、脚注を見ると、SAPパフォーマンスの差はAMDの旧Opteronファミリー（885）との比較であることが分かります。実際には、2.6GHzの885チップが最速バージョンでさえありませんでした。AMDには2.8GHzバージョンもありました。

このスライドには問題がまだ十分にあるかのように、6 年前の SPEC ベンチマークも引用されており、その新しいバージョンが作成者によって発行されています。

Intel のベンチマークの非常に誤解を招く使用法に関する David Berlind 氏の記事については、ZDNet の TestBed ブログの投稿を参照してください。

おっと、脚注がありません

前回のスライド（2月28日に報道関係者とアナリストに提示されたバージョン）のこのバージョンでは、SAP 4Pベンチマークが最新のOpteronプロセッサ（2200SE）で実行されていないことを示す注記が抜けています。この脚注が抜けていると、報道関係者は最新世代のOpteronプロセッサで実行されたと容易に推測するでしょう。しかし、前回のスライドからもわかるように、実際にはそうではありませんでした。

インテルのベンチマークの信じられないほど誤解を招く使用法に関するデビッド・ベルリンド氏の記事については、ZDNetのTestBedブログの投稿をご覧ください。

なぜ脚注が必要なのでしょうか?

このベンチマークチャートを見たとき、私たちは衝撃を受けました。比較対象のチップが（見出しにあるように）Opteron 2XXXではないことを示す脚注が非常に多く、なぜ逆にしないのか疑問に思いました。どのチップがOpteron 2XXXではないかと述べるのではなく、どのチップがOpteron 2XXXであるかを脚注で示せ
ばいいのです。そうすれば脚注の数はもっと少なくて済みます。このチャートの右上の象限を見てください。見出しには「vs. Opteron 2XXX」とありますが、その下のシステムは1つもOpteron 2XXXではありませんでした。私たちは、報道関係者やアナリストがこのスライドを見て、脚注に注意を払わず、見出しに全く真実味がないことに気づくのではないかと想像していました。

Intel のベンチマークの非常に誤解を招く使用法に関する David Berlind 氏の記事については、ZDNet の TestBed ブログの投稿を参照してください。

前回のスライドよりもさらにひどい

このスライドでは、Intelは大胆にも「最新Opteronと比較してもリーダーシップを維持」という太字のテキストを大胆に使用しています。しかし、表示されている32件の結果のうち21件は、最新のOpteron、あるいは最新Opteronファミリーの製品さえ含まれていません。また、前回のスライドと同様に、右上の四分円のデータの見出しには「vs. Opteron 2XXX」と記載されています。しかし、その下にリストされているチップはどれもOpteron 2XXXではありませんでした。すべて脚注が必要でした。

Intel のベンチマークの非常に誤解を招く使用法に関する David Berlind 氏の記事については、ZDNet の TestBed ブログの投稿を参照してください。