2010年1月13日

Windows 7杯 自作PCの祭典 2009 エントリー(Z'sWS Extreme)

Z'sWS_Extreme_G1R2_Logo.jpgZ'sWS_Extreme_G1_Rev1.1_No.1.JPG 

◆エントリー部門

【究極パフォーマンス部門】にエントリーします。

 昨年は、定格部門でエントリして、惨敗でしたが、今年は究極部門にエントリします。
昨年から比べ、CPU、GPU、SSDの強化と水冷化を実施しています。また、利用目的も
はっきりしてきました。

 このマシンのコンセプトは、Windows 7 が動いて、電源を入れるだけでフルパワー24時間稼働
可能なマシンで、何でもこなしますが、計算能力が売りのグリッドコンピューティング用マシンです。
(ベンチマシンではなく、実用マシンです。)
 Windows 7が動くメーカー製WSでは実現されてない、大型GPU搭載WS系の本体に、
ストレージサーバのストレージシステムを高速チューニングで搭載。
メーカー製WSのMac Proやhp Z800 Workstation等と違った特徴を出すことです。
総体積は大きくなりましたが、水冷装置と別体なので配置次第では、ミドルタワーWS位の感じです。

 LN2冷却マシンがF1と例えれば、このマシンは、耐久レースマシンに例えられますかね。
Core2世代で現役最速CPUと勝負できる最後の機会と思います。
昨年のパフォーマンス系の部門は、全部i7 EEにやられましたので、
今回は、Core2世代の最後の花火を中古Xeon X5470を2個で打ち上げです。
後は、Gulftownや、Westmere-EPにその座を譲るだけですね。

 今年のルールですと、Summaryのデータと、総合スコア、エクスペリエンスインデックスの
画面ですので、昨年のように総合スコア以外見るところが無いなら、エントリの
意味がありませんが、色々なデータが出ますので、審査の内容が楽しみです。
 

◆エントリーマシンの構成パーツ

マシン名:Z's WS Extreme Generation 1 Rev2.0

CPUXeon(Harpertown) X5470 E0 TDP120W@3.33GHz(333MHz×10)
   ⇒3.83GHz(404MHz×9.5)
CPU03830A545 2L83168 7A2454
CPU13830A545 2L83168 7A2469
M/BASUS Z7S WS
MEMORYCentury Micro CK2GX2-D2FE800L82x2  計8192 Mbyte
 2GB DDR2 800 FB DIMM 5-5-5 2rank  800MHZ⇒808MHz
 SPD 5-5-5-18-23 Setting 5-5-5-15-20(tCAS-tRCD-tRP-tRAS-tRC)
S/N(ロット)B1-DC8HYNA1459-6 4枚
HDDSSD:320GB RAID 0 + HDD:1.3TB(2TB) RAID 6
RAIDボードAdaptec ASR-51245 + Adaptec Battery Module 800T
システムRAID 0 SSDIntel X25-M G2 80GB SSDSA2MH080G2C1 x4
データRAID 6HDDHITACHI HTS723225L9A360 2.5 7200・SATA/250GB/16MB ×8
バックプレーンDIRAC CRS-S1042-SAS ×2
 DIRAC SNT-1042SS ×1
光学ドライブLG KUJ-850B BOX
ビデオカードGIGABYTE GV-R597D5-2GD-B 1機 @1000/1200MHz(Core/Mem)
VGA DriverCatalyst 9.12 hotfix
ケースLian-Li PC-A16(改)
電源Enermax EIN720AWT-JC INFINITI-720 + EMC007(CPUケーブル)
サウンドPCI Ex SB X-Fi Titanium Fatal1ty Champion Series SB-XFT-FCS
ファンPCIファン(RAID用):ZALMAN FZM-F3BL x1 (Φ120x25 1800rpm)
 システムファン:Owltech OWL-FY1225PWM x1(Φ120x25 1800rpm)
 VGA電源用ファン:XINRUILIAN RDL7025NMB25 x2
 CPUファンダミー:WideWork 4020M12S x2
  
 冷却系 
 CPU水枕Koolance CPU-345AC x2
 MCH水枕Koolance GPU-200
  VRM水枕Koolance MVR-40+自作バッファー板
GPU水枕Koolance VID-AR597
メモリクーラーOCZ XTC MEMORY COOLER(空冷)
ラジエターBlack ICE GTX 360 x2
ポンプLAING D5 x2
コントローラKoolance TMS-200 + TMS-EB200
 ラジエタープッシュファン用:SCYTHE KAZEMASTER
リザーバーKoolance TNK-200-V2 x2
センサ流量計:Koolance INS-FM16 x2、温度計:Koolance SEN-AP006G x2
ファンラジエターCPU:COOLER MASTER  R4-L2R-20AC-GP Blue x3
 ラジエターVGA:COOLER MASTER R4-L2R-20CR-GP Red x3
 ラジエタープッシュ:COOLER MASTER R4-L2R-20CG-GP Green x3
水冷装置用電源ZAWARD ST-220FAB/24 FLEX ATX 220W
クーラントCPU側:JINGWAY ICELAND COOLANT UV Blue 2本(1L)
 VGA側:Koolance LIQ-702RD-B Red 2本(1L)
フレームLubic
  
モニターDELL 2407WFP-HC(1920x1200)
  
UPSAPC Smart UPS 1400
  
消費電力最大700W、アイドル330W(水冷装置含む、モニタ除く)
発熱の程度水温約30℃。室温約28℃
高負荷時CPU:約60℃、 VGA: 約40℃、FB-DIMM:約80℃
アイドル時CPU:約40℃、 VGA: 約30℃、FB-DIMM:約60℃

GPUのOCのみ本祭典向けチューニング

◆使用OS

Windows 7 Ultimate DSP(64bit版)

導入理由は、ドメイン参加機能と、パソコン利用するので、マルチメディア機能を
備えたエディションとしたかったからです。
 

◆「CPU-Z 1.52」の情報画面

 CPU-Z1.52_3840MHz.jpg

Core Voltageの数字は、CPU-Zの問題です。M/B Z7S WSは、ちゃんと表示できません。
実際には、定格電圧で動いていますので、1.18〜1.25Vで動いてます。

 

◆Windows 7の「エクスペリエンスインデックス」表示画面

ExperienceIndex.jpg

(クリックで、原寸画像が見れます)

 メモリは、速度と容量で決まりますが、DDR2 FB-DIMMでは、つらいです。
4GBx4環境で、もしかして、7.9行くかもしれませんが、WSマザーでは、
メモリのチェックに時間がかかり、ブート時のボトルネックです。
立ち上がりが遅い定評があるAdaptecのRAIDカードより、時間がかかります。
16GBも積んだら、電源入れてから起動完了までにカップラーメンができてします(笑)。
なので、私の環境では、諦めですが、グリッドコンピューティングのCPUプロジェクトを動かして、
CPU100%負荷で、演算していても、メモリの転送能力は100%を使えてないから、OKとします。

 CPUスコアは7.8。終了の状況です。

 グラフィックスコアには、唖然です。ノーマルクロックで、7.7です。グラボ1枚仕様で、
7.9を達成できそうなスペックのグラボとして導入したのですが地雷でした。
 エントリするのに恥ずかしいので、OCしています。Windows 7は、DirectX11が、
売りだったような気がしますが、評価項目に9、10の評価項目は出てきますが、11が無い。
CFも、効いたり、効かなかったりです。2Dグラフィックは、GPUを使っているようです。
現段階のWindows 7は、RC版から、何も変わっていなくてDirectX10.1最適のままなのか?
真のWindows 7の評価と言えないですね。これ。スコアに納得です。
現段階では、DirectX11対応は、グラボ付属のゲームタイトル1個に役に立つだけなのかな〜?
 Windows 7の祭典ならDirectX11を評価できるUnigine Heaven Benchmark抜きは、
無しに思えました。

http://www.myme.mine.nu/blog/digilog/2010/01/windows-7hd58xx59xx.html

ExperienceIndex_2.jpg

せっかくのDirectX11のGPUボードがDirectX 10のボードの認識。。。 がっかり度過去最大。
  

◆「PerformanceTest V7.0 Build 1011」の結果表示画面 

PassMark2009_1_7.jpg

(クリックで、原寸画像が見れます)

・条件:Win64版、デフォルト設定(初期状態から設定を変更しない状態)
・光学ドライブテスト:Windows 7のインストールディスク

1.2D性能ですが、Win vista、7では、GPUを使える仕様です。しかし、GPUがその能力を
発揮している感じがしません。このベンチは、Windows7の売りのDirect2Dを使えてない感じです。
総合スコアの14%のウエイトは高いので、ここが伸びないと、つらいです。
 GPUも、若干使われているようですが、この程度のテストでCPUが高クロックモードへ
移行しているし、GPUの使用率見ると、CPUメインの処理のようです。
 i7 に比べ、マルチメディア系演算が弱いCore2世代では、苦しいです。

2.3D性能ですが、CFがきっちり効いている感じが無いです。消費電力からも、あまり仕事が
できてない感じです。12%のウエイトですのでよっぽど仕事をしてくれないと、
3Dでは引っ張れません。CF効くと、スコアが少しい良い感じですが、不安定です。

3.メモリの転送能力はウエイト19%と非常に高いので、DDR2-800では厳しいです。
これも、Nehalem系有利です。実際の使用では、転送能力を100%使うシチュエーションが、
今のところないのに、これに引っ張られるのは、つらいところです。

4.CPUの演算能力と、RAIDカード+SSDx4 RAID 0の性能は納得の数値です。(後述)
上記のように、どうやら、このマシンで、このベンチを伸ばすのは相当きついようです。。。
この劣勢を、CPUとRAIDでどこまで引っ張れる???

 以前PerformanceTestは使ってたので、期限切れで、この祭典のためにシェアウェア料を
払いました。おかげで、ベンチ記録が見れて参考になりましたが、異常にディスクの能力が高い
ものがあります。おそらくメインメモリの力を借りているのだと思っているのですが、違うかな〜。
 

◆「BIOHAZARD 5 ベンチマーク」の結果画面

条件:解像度:1,280×1,024、他の設定: オフ/低
ベンチマークテストA

DirectX9:Score 170.9 GPU 1000/1200(Core/Mem)

BH5_5970_GPU_MEM950_1250_DX9c.JPG
 

DirectX10:Score 159.1 GPU 1000/1200(Core/Mem)

BH5_5970_GPU_MEM950_1250_DX10.JPG

 NVIDIAドライバ最適化ゲームですし、Direct X11対応のタイトルではないし、
グラボ1枚仕様のこのマシンでは、3xCF以上や、SLIマシンに勝てる要素は
ありません。「こんなもんか」という感じです。
それにしても、何をやっても、Area2〜4が伸びてくれません。

 Area1は、ちゃんとCF+CPUが仕事をしています。消費電力を見ていて良くわかります。
他は、CFはある程度効いてる感じですが、CPUが仕事をしてない感じです。
 このベンチでのCPUパワーは、CPUのトータル能力より、高クロックの方が有利?
あるいは、アーキテクチャが合わないとか、4コアまでしか意味がない?

 CPU側に引っ張られて、GPUが能力を出せていない可能性についてですが、
3DMark 06のCPUスコアは結構高い方ですし、VantegeもPhysX OFF条件なら高い方です。
伸ばす余地があるか悩ましいところです。奥深いベンチかもしれません。
 ドライバは、BOINCを完全停止したくないので、何種類も試せませんでした。
 

◆解説文 0_(はじめに)

 このイベントをホームページで知って、この祭典にエントリするために、Windows7、SSD、グラボを
導入しました。不況のため収入が厳しいので、貯金を崩して参加です。
なのに、HD5970には苦労しました。。。。でも、すごいGPUですよ。使えます。^^(後述)
 結構、見るところが多く、エントリは遅くなりました。

 このマシンは、ベンチが通るレベルではなく、グリッドコンピューティングに使うために
チューニングしたマシンです。昨年の祭典で、カテゴリの説明で常用を主張し、
OCしてあっても安定のアピールはありました。
 今年は、常用より上のカテゴリを定義します。 フルパワーで24時間稼働できるマシンです。
昨年のエントリでは無かったアピールです。primeやOCCTの実験ではこれをアピールすることは
出来ないと考えます。今回は、BOINCの運用実績でアピールします。

 現在最強CPUは、i7で、新しいCPUの方が凄く、Core2世代は、パフォーマンスでは
時代遅れの見方が大勢です。そこで、Core2世代のXeon OCで、i7 OCやXeon 5500を
超えられることもあることを示します。(私の中では、Xeon 3000 はi7と同カテゴリです。)
 全開状態では、Harpertown Xeon OCのリアル8コアは結構速いです。

 今回のエントリでは、普段は、定格動作させているGPUをOCでエントリしました。
理由は、HD5970が、エクスペリエンスインデックスで、振るわなかったし、
ベンチスコアアップの手段が無かったからです。
レギュレーションのベンチが判断材料になる以上、少しでも良い数字にしました。
 今回のシナリオは、1枚のGPUのこのマシンにおいては、HD5970のパワーで、
マルチカードマシンに勝てないにしても食いついて、CPUパワーと、RAIDパワーで引っ張って、
メモリ等のアーキテクチャが古いことによる劣勢を打ち消して、
PerformanceTest 総合トップ狙いでしたが、残念なことになってます。
 インデックスは、CPUとメモリが7.8で、後は7.9のつもりでしたが、これも大外れです。
(このマシンは、グリッドコンピューティングのCPUプロジェクトに強いことが売りなので、
GPUはOCして普段の使用と違っても、価値が変わらないと判断してます。)

 ストレージの性能を引き出すには、大量のRAMを積んでいるので、本体RAMを
キャッシュにする手が、安価に超高性能を出せる手です。しかし、このマシンでは、
ストレージとしての信頼性を考えて、エンタープライズ向けRAIDカードにて、
ハード的にキャッシュの保護と、デバイスの監視を行い、ハードレベルでの性能と信頼性の
底上げを行っています。

 以下に、このマシンの特徴を示します。
  

◆解説文 1_(演算能力)

CPU 
整数演算126 GIPS (Sandra Dhrystone )
不動小数点演算103 GFLOPS(Sandra Whetstone )
GPU 
単精度不動小数点演算4.6 TFLOPS(2.32 TFLOPS x2 )
倍精度不動小数点演算928 GFLOPS(464 GFLOPS x2 )

 CPUの選定は、Xeon 5400シリーズの中で、Bus/Core Ratioが一番高いx10の
X5470としています。FB-DIMMのOC耐性が低いという話から、
Bus/Core Ratioが高くないと高クロックへのOCが困難と考えたからです。
 CPUは中古で、2個合わせてi7 EEを買うのと同じ程度で手に入れました。
(Core2 EE 9775を使わないのは、Xeonよりメジャーで面白くないからです。)

 Z7S WSは、メモリ単独のクロック設定が出来ないので、X5470では、
x10なので、SB400MHz(FSB1600MHz)では、4GHzになります。
 現在のセッティングは、Vcoreを上げないで、BOINCを24時間安定稼働ができる
限界の3840MHz設定にしました。FSBが404MHzで10xから9.5xに落としています。

X5470vsW5580.jpg

 (クリックで、原寸画像が見れます)

 これは、Windows vistaやWindows 7が動作可能な環境としては最速の部類のXeon W5580
との比較です。今回のレギュレーションのベンチで比較しています。
(上図のスコアは、トータルスコアで示した画面よりCPUスコアがちょっと良かった時のです。)

 Nehalem世代は、Core2世代に比べ、改善されていますので負けるのは当たり前ですが、
Turobo Boostがせいぜいで、私が最も重要視する浮動小数点演算では、
このマシンが圧倒します。これはOCの効果ですが、Xeon 55xxはOCできませんし、
X58マザーでOCしている例はありますが、シングルCPU仕様ですので、演算能力は低いです。

CPUプロジェクトのグリッドコンピューティングに使うならこのマシンは最速の部類です。
 Nehalem世代は、マルチメディア系の演算スコアがcore2系より凄く高いので、
総合スコアが逆転しますが、用途によっては、Core2系もまだ最強です。

 i7 も4.7GHz程度以上にOCすれば、多分これ位の演算能力になってくると思いますが、
連続稼働させられるかが問題です。本物のガス冷でも持ってくれば、可能かも。
 このマシンは、電源オンだけで、室温30度でも、フルパワー可能です。
冷却装置のアイドリングも不要です。

わかりやすい指標として、雑誌記事や、「特集Windows7 自作超大全」でも評価に使っている
CINEBENCHのスコアは、28000オーバーです。vistaとのスコア差は、微小アップです。
http://www.dosv.jp/feature/0912/index.htm

CINEBENCH_Win7_3840MHz.jpg

 

◆解説文 2_(skulltrailでO.C.)

これまでのOCの履歴です。OC_Histry.jpg

(クリックで、原寸画像が見れます)

 グリーンが現セッティングで、赤は定格で、ブルーバックが出て、メモリを交換してもらいました。
それでも、まだ、ロット違いで、AMBチップが違い、うまくマッチングせず、以下の結果です。

 チップセットのSeaburg 5400では、パフォーマンス狙いなら4CH動作がデフォルトです。
Nehalemの3CH DDR3に対して、圧倒的に負けるこのマシンでは、せめてこれは譲れません。
DDR2 800でエクスペリエンスインデックス7.8は伸びたと思います。

 intelのD5400XSは、4CH同時アクセス仕様と言われていますが、
買ってみて、BIOS画面を見ると2CHの2ブランチ仕様に見えますが、気のせい????
これでは、Dual CHのスピードしか出るわけない。マザーボード完全攻略ガイド
第122回TEXT Ta 152H-1には、D5400XSはメモリが遅く、評価キットにメモリが2枚しか
付いてなかったとの記述がありましたが、4枚の必要はないですね。多分。
D5400XS_BIOS_MEM.jpg 

PCIe1.1仕様と、これにて、D5400XSは部品検証用になってます。SLIできるのはいいのですが。。。
 

D5400XS+CHP-335.JPG

ということで、プラットフォームは、ASUS Z7 WSのまま、チューニングを進めました。

 CenturymicroのDDR2 800 FB DIMMx4で、SB343MHzで引っかかっていて、原因は、
メモリの細かい仕様が微妙に異なることによりタイミングが取れないのが主要因と考えて、
Transcend Information TS256MFB72V6U-T (DDR2 667)を同ロット4枚としたところ、
381MHzで回ってくれました。400MHzにして、CPUの方は、倍率をx10からx8に下げて、
アンダークロック状態の3200MHzとしましたが、立ち上がりませんでした。
SB400MHz、FSB1600MHzオーバーでの動作は、このメモリでは不能の結論です。

 そこで、DDR2 800 FB DIMMで、SB400MHzで動かないことをCenturymicroに
相談したところ、CK2GX2-D2FE800L82を2組と交換してもらえました。
CK2G-D2FE800L82 4枚から、CK2GX2-D2FE800L82を2組で、
バラで4枚から、2枚組を2セットになりました。

 このメモリのデータを調べてみると、メーカーが言うように同ロットで、細かい仕様も
そろった物で、これなら、期待できると思いました。
 これを用いて、再度、OCセッテイングしたところ、SB404MHz FSB1616MHzで、
動作できました。Centurymicroの対応は、謙虚で、迅速なものでした。
日本製メモリを買って良かったと思った例でした。
(これは特例かもしれません。メモリタイミングがいじれるD5400XSで取ったデータを
全てCenturymicroに提供して、AMBチップ違いやタイミングが揃っていないこと等を含め、
メモリが4CH同時アクセスでSB400MHzでは、回らない説明をしました。)

 1600MHz以上の動作環境の実現が、このWSをパワーアップする上での一つの
目標でしたが、なんとか、達成です。
 

◆解説文 3_(RAIDシステム)

 このマシンのストレージは、高速、信頼性を実現しつつ、CPUに負荷がかかるチップセットの
ストレージ機能は、常時使わない光学ドライブと、リムーバブルHDDだけにして、
普段の重演算に邪魔をしません。

 昨年のHDDx8のRAID6アレイは、データディスクとして利用しています。
ASR51245のBIOS画面で、bootアレイをWindows vistaが入った、
従来のアレイに設定すれば、vistaも使えます。
 今回は、SSDx4によるRAID0アレイをシステムディスクとしました。
200〜300GBの容量が欲しいところで、高価な100GB超えを2台より、RAIDカードの余りの
4CHを利用できることもあり、MLC 80GBを4台が速度的にもコスト的にも有利と判断しました。
SSD_RAID.JPG

 ドライブテストのためにvista上で、データ取りをしようとしているところです。
初めてホットスワップの機能を使いました。やはり、便利です。

 さて、なぜ、SSDをRAID0としたかですが、HDDのようにメカ式でないので、
HDDと同じ故障想定をして、冗長アレイを組むより、S.M.A.R.T.値を監視して、
やばそうになったら交換の方がSSDの使い方としては、妥当性があるように考えたからです。

 RAIDアレイのチューニングですが、結果的には、PerformanceTestのスコアが
一番良かったデフォルトの、ストライプサイズ256KBとしました。
 ストライプサイズは、シーケンシャルアクセス(大容量ファイルアクセス)と、
ランダム4KB(小容量ファイルアクセス)の速度がトレードオフの関係です。
今回のコンテストがPerformanceTestでなければ、バランスを取って
128KBストライプでフォーマットしたでしょう。CrystalDiskMark2.2のデータを示します。
RAID_Bench.jpg

  100MBのテスト程度では、RAIDカードのキャッシュ512MBの中にテストデータが入るので、
システムのSSDx4 RAID 0もデータのRAID 6 HDDx8も差がなく、むしろ、
接続台数により性能差になります。100MBテストの結果だけ見ると、高価なSSDを買う意味が
全くないように見えますね。しかし、1000MBデータを見ると、SSDの性能がよくわかります。
 違う見方をすれば、今となっては、カメさんクラスの2.5”HDDでも、高速の部類のストレージ
に化けてます。電気も食わないし壊れやすいと言われていますが、壊れてないし、RAID 6で
保護されているので、使えるレベルと思います。

 しかし、Areca のARC-1680ix-24みたいに4GBのキャッシュメモリを積めば、
1000MBテストでも、100MBテストの結果と同じような数値になります。
ハイエンドのPCIe SSDボードの性能も上記と同じような数字が出るのは、
同じようなチップを搭載して、同じようにキャッシュを積んでるからです。
6機程度のアレイまでは、まだまだ、速度が上がるようですが、シーケンシャル約1000MB/s
が出ているので、良しとしています。

 RAIDカードのもう一つの特徴は、書き込み速度が速くなる点です。これは、
ライトバックキャッシュへ書き込み完了で、処理が終わるので、デバイスの速度を大幅に補います。
しかし停電したら大変なことになるので、バッテリユニットと併用がお勧めです。
家電の電気の使い過ぎでブレーカーを落としてしまったことがあります。
UPSとバッテリの併用で事なきを得ましたが、重要な要素です。

 例えば、IO Dataのマッハドライブ等のRAMキャッシュは、同じ原理をメインメモリで実現する
ユーティリティーです。メーカの仕様でも、Windows側の書き込みタイミングと実際の書き込みは
異なることがあると説明があります。ということは、何かのトラブル等で、PCが落ちる等に
見舞われたら、書き込みデータ保護の手段がありません。このような機能は、ハードウェアで
独立させないと、怖くて使えない判断をしています。最速とは思いますが、信頼性がありません。

 現在、読み込み速度では、INDRINXの新型コントローラの方がintelより速いデータが
出てきてますので、RAIDカードとの相性が良ければINDRINXの方がパフォーマンスが
高いかもしれません。書き込みの速度はRAIDカードのパワーで、引上げが可能です。
 今回は、Adaptecとの相性が比較的良い情報でintelにしましたが、Adaptecも接続可能
としているのはX25-Eで、X-25Mは動作保障してないそうです。

 また、高性能RAIDカードは、MCH側(Nehalemでは、IOHかCPU)に接続しないと、
レーン数が足りず、bootすらできないかもしれません。
グラボよりデータの転送量も多いわけで、十分な帯域の確保が重要と言えます。
ICHと、MCH(IOH、CPU)との接続は、DMIと言う帯域2GB/sのIFで繋がっていますから、
ここがボトルネックになります。ICHには、色々なデバイスが繋がっているため、
DMIの帯域を全部使えないので、例え動いても、ICH側のPCIeへの接続は止めた方が
良いと思います。

 Z7S WSのICH側のPCIe1.1 x8 では、仕様を満たしているのですが、ASR51245を認識して、
bootを始めますが、帯域チェックで引っかかって、再起動しかなくなり、カードを外さないと、
M/BのBIOSにも進めなくなってしまいました。このため、マルチGPUカード+RAIDカードは、
物理的に不能の結論でした。

 使い心地ですが、私の場合、DVDのイメージ等の巨大なファイルを扱うことはあまり無いせいか、
ほぼ移動・コピー作業中のウインドウが現れない感じで使えています。ストレスは全く無しです。
 

◆解説文 4_(このマシンの用途と安定性)

 このマシンの使い道は、仮想マシンによる用途別環境を一つのWSで実現したり、
極まれですがゲームをしたり、音楽を聴いたり...、どんなことをやっても、
ストレスレスなマシンとして使っていますが、100%このパワーを使うシチュエーションは、
グリッド・コンピューティングへのボランティア参加です。

 学生時代に16bitPCで数学のフラクタル計算やっていたころは、自前のプログラムの制作で
楽しんでいましたが、現在は退いています。こうゆう世界は、相変わらず好きなのですが、
しばらくは、計算機の能力の提供で関わってみようと思ってます。

 SMP(対称型マルチプロセッサ)の威力を発揮できるプロジェクトとして、
先端医療技術開発の分野と思いますが、タンパク質の性質を解明する
World Community Grid(WCG)に参加しています。
WCG_Logo.jpg

 AMD(ATI)GPUクライアントを利用できるプロジェクトとして、銀河の進化モデルの構築をやっている
Milkeyway_Logo.jpg

Milkeyway@homeに参加しています。CPUやGPUの使用率が100%となり、電気食いですが、
他の作業をストレス無くできますので、バックグラウンドで走らせておく感じです。
しかし、それほど、演算性能が下がるわけでなく、WCGでの実績では、
平均ポイント/ランタイム時間のランキングは、メンバー49万人中30番前後です。

BOINC_2010.1.7_1_No31_212.89.jpg

http://jp.boincstats.com/stats/user_graph.php?pr=wcg&id=628087

 このように、全開連続稼働が可能でなければ、このような、スコアを残すことは不能で、
このマシンが、OC状態で高性能を維持して安定稼働できることを証明しています。

 実績では、週末や連休は24時間フル稼働、平日は、ばらつきはありますが、帰宅後電源ONで
翌朝出勤までの時間最大11時間をフル稼働のインターバルを乗り切ってます。
立ち上げ時のトラブルは機器にとって嫌なものですが、このインターバルにも耐えてます。
 連続稼働も年末年始の間はフル稼働です。フル稼働でなかったのは、この祭典用の
ベンチデータを取ってる時位です。一度立ち上がってしまうと、フルパワーで安定するのレベルの
セッティングなので、かえって安心感はあります。

 prime やOCCTで、全開テストをして、OC状態の安定度を見た後、BOINCを走らせたら、
なんと、6時間程度で落ちるではありませんか。結局、BOINCの安定度で、
OCの限界を見極めています。
 primeやOCCTは、FFT等のメジャーな演算ワーカーを用いてシミュレーションしますので、
連続高負荷時に落ちない目安になるとは思います。
しかし、連続で高負荷で使える担保にはならない結論です。

 このマシンのパワーアップを通じて、安定を望むなら定格は違うと思いました。
目的に応じた対策とOCの程度を見極めれば、自由度は広がります。
信頼性も、冷却等をきっちりやってあるか、メンテナンスをやっているかの方が重要と思います。
 

◆解説文 5_(RADEON HD 5970ノーマルクロックのパワー)

 ドライバの出来と思われますが、レギュレーションのベンチでは、振るわずで、
苦渋の選択で、常用時と違うOCセッティングでエントリしました。
CF動作ができてないことが結構あるようで、クロックが低いHD 5870な感じです。

 しかし、GPUプロジェクトのグリッドコンピューティングでは、パワー炸裂です。
HD4870x2に対して、約2倍の演算能力を発揮しています。しかも、
消費電力は、同程度で収まっています。これは、マジで凄過ぎです。
下の画面は、Milkeyway@homeの実行の様子です。
WCG_MilkeyWay.jpg

Windows vista Radeon HD4870x2 :2分55秒程度(CPUプロジェクト停止時)
CPU8タスク+GPU2タスク時では、3分30秒程度
なぜか、GPU1はアイドルクロックで動いている感じで、
CPU0タスク時で、4分30秒程度、CPU8タスク時で5分30秒程度と、
ちょっと、解らない部分があります。
Milkeyway_5970.jpg

Windos 7 Radeon HD 5970 :1分39秒程度(CPUプロジェクト停止時)
CPU8タスク+GPU2タスク時では、1分47秒程度(5970は、GPU0,1双方全開です。)
これは、俗に言う「餌やり」に、GPU1個につき一つのCPUがデータのやり取りを行う
ために大体CPUの5%のパワーを必要とするからです。
GPU_Spec.jpg

 GPUの理論スペックですが、このように、4870x2から、5970は、約2倍の性能となっていますが、
ちょっと不可解な部分はありますが、約2倍の性能がありますね。3Dゲーム等のベンチより、
はっきり性能差が出ます。でなければ、5970のベンチ結果は、今回の結果よりもっとスコアが
伸びても良いと思います。ドライバの出来の方が、ベンチスコアに響くという実例です。

Milkeyway_Result.jpg

http://jp.boincstats.com/stats/user_graph.php?pr=milkyway&id=55195

 ゲームや、ベンチでは良いですが、GPUによるグリッドコンピューティングは、GPUを
フル回転させるため、ノーマル冷却装置では、ファン全開で、85℃以上で24時間動かすという
ことになります。このマシンの場合、RAIDカードが、水冷化困難で、常時80℃程度で動いており、
これにグラボの熱が加わると、連続全開状態では、破綻してしまいますので、水冷化しています。
これですと、全開時で40℃程度(室温25〜30℃)に収まりますので安心して回せます。

 GPUグリッド特化マシンは、GTX295を4枚、GPU8コアで運用の方も居ますので、
ここは、譲りまして、このマシンは、CPUプロジェクト最強で、GPUプロジェクトも、
まあ、優秀なバランスマシンです。
8GPU.jpg

  これは、3日程度、GPUを最大負荷で回し続けた結果ですが、1日最大30万ポイント近くの
計算ができるようです。グラボ1枚で、これは結構凄いことと思います。
宿題が落ちてこないことがあり、波があります。数日回しただけで、Milkeywayの世界ランクが、
1000番を切ってしまいました。この領域まで来ると、休むとどんどん抜かれます。
(私は、計算目的が医療系であるWCGのCPUプロジェクト重視なので、良しとしています。)

 

◆解説文 6_(マシンの写真と水冷装置)

 Tubing_2.JPG

 空冷では、CPUと、MCHのヒートシンクで、指を入れる隙間すらない過密度でしたが、
空間ができました。水冷化の細かい話に興味がある方は、記事の下のリンク水冷化1〜8等
をご覧ください。
HD5970+VID-AR597.JPG

 運よく手に入った、KoolanceのHD 5970用の水枕VID-AR597を取り付けたところです。
取り付け自体は、HD4870x2と同じ感じで、リファレンスボードなら、問題なしと思います。
綺麗です。冷却性能は、アイドルで30℃程度、高負荷で40℃程度になります。
効果は絶大で、24時間フルパワーマシンには、必須アイテムです。
 VGA_FAN.JPG 

 これは、HD 4870x2を搭載していた当時のVGA電源冷却用のファンですが、
HD 5970は、これでは入りません。前方へ移動させて入るようにしました。
HD5970を入れるには、E-ATXマザーが入るケースか、HDDベイやそのファンをどうにかしないと
ダメと思います。
Ext_Unit_Rev2.0.JPG

 上から、Sound Blaster、ASR-51245、HD 5970が並んでいます。
水冷化して、かえってスペースが空いた感じになりました。
メモリも水冷化を考えて、水枕まで用意したのですが、システムの温度が下がった分、
空冷のままでも、なんとか行ける感じなので、現段階では空冷です。
Z'sWS_Extreme_G1_Rev1.1_No.3.JPG

 この水冷装置ですが、冷却性能が高いのは当たり前です。結構過酷な家庭環境で、
これだけのスペックの本体を24時間稼働マシンとして安定的に冷やすための選択です。

 バランスは、常温水冷のレベルとしています。自分が生活しやすい温度の中での使用です。
室温に対して、極端に冷たい水で冷やせば、結露の心配も出てきます。全開連続稼働を前提にして
ますので、自分の生活環境の中で実現できる熱交換レベルとしています。
(冷却性能の追求で、室温20℃を切る温度に保つとかは自分の身が持ちません。。。)

 ポイントは、見た目重視で、リザーバを前面に配置です。(自分にとって世界No1の冷却装置です。)
CPU側はIntel Xeon をイメージしてブルー、
GPU側はATI RADEONをイメージしてレッドのクーラントを使いました。
JINGWAYのは安くて、悪くないと思うのですが、VGA側は、色のイメージが合わず、
高価なKoolanceにしています。JINGWAYのは、赤というよりオレンジです。
Z'sWS_Extreme_G1_Rev1.1_No.5.JPG

 これは、リザーバ付近ですが、ブルーの冷却液を使っているのですが、ファンの緑のLEDに
照らされて、グリーンぽい色に見えます。流量計の様子もS/Wのデータだけでなく、
見た目でも解ります。FM17にしないで、FM16にしたのはLED照明付きだからで、
これも見た目重視です。

Z'sWS_Extreme_G1_Rev1.1_No.6.JPG

 このアングルでは、ラジエターのV字配置と前方のプッシュファンの様子がよくわかります。
この配置で、プッシュ側のファンを6個から3個に減らしています。
 ポンプは、このクラスの水冷装置ですと、LAING D5クラス以上が必要になってきます。
 水冷装置を作ってわかったことですが、ラジエターに、とにかく風を当てれば温度が下がる
というわけでもなく、最後は、室温と、作ったシステムのトータルバランス以上に温度は下がらない
ということです。
 ファンの回転数は上げても、ある一定回転数以上は、うるさく、電気を食うだけで意味無しです。
システムファンとラジエター用のファンは、騒音と温度を見ながら、とっかえひっかえ、
十数個のファンを余剰させてしまいました。勉強になりました。
Z'sWS_Extreme_G1_Rev1.1_No.7.JPG

 こちらは、就寝時毎日見ている光景です。なかなか、良いイルミネーションです。
グリッドコンピューティングの貢献度は、寝ているときに最高に。(笑)
ラジエターファンのLEDもクーラントの色に合わせています。
VGA側は、赤色です。プッシュファンは、nVidiaという両者の中間をイメージして、
グリーンを使ってます。

Full_Power.jpg

 CPU全開、GPU全開時の様子です。カリカリのOCはやってませんが、OCのため消費電力
が上がっていると思います。1個120WのCPUを2個、300WのGPUを冷やしてますので、
Temp RT(室温)は、PC周辺の温度を示していますが、冬の今でも、窓を開けて換気しないと、
30℃を突破することがあります。これでも、全然平気です。夏場は、クーラーを入れるので、
逆に冷えてます。室温が下がった分、プロセッサの温度はそのまま下がります。

 

◆Windows 7を使って良かったと感じた点  

1.消費電力の低減が図れました。
 Windows 7を使って、明らかに改善された点は、全開時消費電力が10〜20W下がった点です。
GPUのRADEON HD5970の消費電力の低さも相まって、GPUアイドル時CPU100%負荷で、
420〜430W程度になりました。-50Wです。
 vista で、4870x2アイドル、CPU100%では、480Wだったので、グリッドコンピューティングで
長時間CPUプロジェクトをフル回転で計算させている時には、すごく助かります。
 演算能力自体は、同等のようです。スコアも、少しすつ復活して、回している時間が大事のようです。
GPUプロジェクトをフル回転で、CPUプロジェクトを止めている場合も、450Wで収まっているので、
今回のバージョンアップでの消費電力の改善はすごいです。
 両方のプロジェクトを同時実行した場合、600Wですので、vista+4870x2+CPUのフル回転と
同等で収まっています。しかし、演算能力が倍になっているので、絶大な効果があったと言えます。
OSを変えただけで、こんなことが起るとは。。。上手く最小限のリソースで動いているのでしょう。

(注意)
 数値は、BOINCをフル稼働の状況で説明しています。3D関係のベンチを動かすと、瞬間的には
650Wを超えることがちらほら確認されています。
 上記の数値は、別電源の水冷装置の消費電力60Wを引いて話をしています。また、4870x2時も、
5970時もGPUのファンはありませんので、通常のシステムとは話がずれるかもしれません。
 vista+4870x2水冷より、Win7+4870x2水冷+SSD4機追加にも関わらずのWin 7の方が
10〜20W全開時消費電力が低くなったのは事実です。
 また、Win7+SSD4機+5970空冷で、CPU+GPU全開時は630Wと、vista+4870x2水冷の
600Wより、30W程度アップでした。5970を水冷化して600Wになりました。これも、
不思議ですね。
 全開時、ファンは100%で回るかもしれませんが、30Wも食うわけありません。
強力な山洋のΦ120x25mm PWMファンでも3.5W強です。冷えた分電気を食わなくなった〜???
計測装置はワットチェッカーPlusです。

CPU_Full_430W.jpgCPU_GPU_Full_603W.jpg
    CPU:100%、GPU:アイドル          CPU:100%、GPU:100%

 GPU_Full_445W.JPGIdle_256W.JPG
    CPU:20%、GPU:100%            CPU:アイドル、GPU:アイドル

2.仮想環境の改善
VMware.jpg

  Windows7は、メモリの使用量が減ったということですが確かに、効果があります。
 昨年の4GBの頃は、一つの仮想環境1GB+カーネルで手いっぱいでした。2個立ち上げっぱなし
ですと、切り替え時にスワップからの切り替えで、もたつきます。
 Win 7+8GBですと、3個の1GBの仮想環境を立ち上げっぱなしでも、5GBしか食いません。
メモリに載ってますので切り替えも以前よりスムーズで、ホストOS上で、更に普通にアプリでの
作業が可能になりました。Windows 7の場合、メモリの使用効率が良いため、画面一杯の
ウインドウを幾つも開いても、関係ない感じですね。

 仮想環境を本格的に使いたい場合、XPモードより、VMWwareの方が良いかもしれません。
これなら、2CPUの割り当ても可能です。
 ただ、VMWare Server 2.0.2をインストールしましたが、ショートカットからの立ち上げが
うまく行っていません。Serverソフトから、立ち上げています。vistaのときは、上手行っていた
のですが、S/Wの改善が望まれます。私の場合、安全性を最優先のための仮想環境、
DMZ環境、サーバ構築に使用しているLinux環境の検討用環境等をハードを用意せずに
仮想環境で実現して、コスト低減を実現しています。
 

◆感想

 出来上がったマシンを、見てみると、CPU相当のプロセッサの塊になってしまいました。
現在の強力なコンピュータは、対照型マルチプロセッサが、各デバイスに搭載されていて、
非対称型マルチプロセッサの関係で動くシステムに変わってきました。
冷却の考え方も含めて、一昔前のスーパーコンピュータが小さくなって手元にあるような感じです。

 レギュレーションのベンチでは、Windows 7の売りのDirectX11 やDirect2Dの優位性を
全く使えないような感じでした。お題の最新・最速・最高・最強のWindows 7マシンの理想形を
アピールするためには、ベンチスコアでは、無理と思いました。
 むしろ、ベンチスコアから何が言えたか、ベンチ以外での優位性を探すことの方が重要なのかと
思いました。
 

◆今後と課題

1.サイドカバー
 水冷化してから、中身を見せるようにしたくて、付属のアルミ板のサイドカバーは外しています。
アクリル板にフックを付けるか、標準カバーに穴空け加工してアクリル板をつけるか、迷っていて
制作していません。元々グラボの水冷化の前までのCPUチャンネルの水冷化時点では、
サイドカバーを付けてチューニングしていたので、拡張ボードの冷却ファン口の配慮さえすれば、
カバーがあっても無くても、温度的には問題無いのですが、後は如何にカッコいいのを作るかです。

2.RAIDカードのパワーアップ
 意外だったのですが、6Gbps+PCIe 2.0 x8で、8台のSSD接続で、1400MB/sを超えたデータが
ありました。現存では、LSIのボードですが、プロセッサがPowerPCと、大した性能が出るとは
思ってなかったのですが、そうではないパフォーマンスです。
 もはや、intelのIOP 348の時代は終わりです。次期IOPの開発の噂もありますので、
注目してます。逆に、IOP348のRAIDボードのボトルネックは、I/F周りにあるのかもしれませんね。
 次回は、水枕を取り付けること、メモリを大量に積めることを見据えて機種選定をしたいです。
ということで、Arecaの次期intelチップ搭載ボードに注目しています。
現存の6Gbps対応のボードは、中途半端で、私にとっては、論外です。

◆おまけ

 このマシンは、オールギガビットのネットワーク環境に支えられています。
このサイトも、サーバから、ブログサイトの構築まで、自作です。
 ドメイン参加機能が必要な理由は、このネットワークのドメインに
参加させるためです。もう、2〜3年、元気に24時間稼働を続けています。
Windows 7の機能をフルに使うには、Server 2008が良いのですが、ハードの大幅
アップグレードをしないと、導入不能ですので、ペンディングです。
 Net_env.jpgServers_2009.jpg

◆おまけ その2

 一応、更に軽くOCしてみました。BIOSでは面倒なので、電圧だけ設定して、SetFSBで、
 セッティングしました。常用レベルならこのセッティングも有りです。
Vore:1.35V
SB:418.2MHz
FSB:1672.8MHz
CPU:4182MHz
GPU Core 1000MHz
GPU Mem 1200MHz
としました。これ以上は、メモリがめげます。ベンチのメモリテストで落ちました。
 結局エクスペリエンスインデックスは、7.8と変化なし。ベンチ結果はそれなりに伸びます。
 これ以上は、アーキテクチャの変更をした方が、安全に高性能を得られる結論です。
CINEBENCH_4181.9MHz.jpg

 CINEBENCHは、29000後半に突入です。Xeon W5580クラスです。

PassMark_4182MHz_GPU1000_1200.jpg

 PerformanceTestは、CPUに関わるスコアが少し伸びてる感じで、HDD等は
目立った変化なしです。てきとうに回しただけです。

BH5_4182MHz_GPU_1000_1200.JPG

 一番変わらないのは、これです。やはり、DP Xeonのアーキテクチャは、
ゲームとは合わないのでしょうか。
 

このブログ記事と同じカテゴリのブログ記事

トラックバックURL

このエントリーのトラックバックURL:
http://www.myme.mine.nu/cgi-bin/mt/mt-tb.cgi/374

コメント

こんばんは
http://xtremepc.dip.jp
此方もよろしくお願い致します

コメントする

(初めてのコメントの時は、コメントが表示されるためにこのブログのオーナーの承認が必要になることがあります。承認されるまでコメントは表示されませんのでしばらくお待ちください)