エネルギー効率の証書

エネルギー効率の高いサーバーを選らぶ時の基準があれば良い。現在EPAはenergy starという証書をいくつかの製品や建物に対して発行している。これにサーバも加えようとしている。今年の終わりまでには発行の予定だ。これに関連して、業界の意見も聞いてそれを反映させようとしている。ストレッジのNetAppsやSNIAはストレッジも加えるべきだと主張している。日本の経済産業省からは電気は100Vで５０サイクルの国もあるので、それも考慮して欲しいとのコメントを寄せていた。

原文はここ。

ストレッジの話

SNIAというのは、ストレッジのベンダーのコンソシアムである。SNIAとしても、データセンターやＩＴをエコに導くための活動をしている。現在ＥＰＡがサーバーにエネルギー節約の証明書を発行するための仕様を開発している。ＳＮＩＡはストレッジもそれに含まれるべきだと主張しており、ＥＰＡも考慮するとしている。ＳＮＩＡはエコに関してはGreen Storage Initiative (GSI)を立ち上げている。更に、Green Gridとも連携している。これは、Green Gridがエコ・データセンターで中心的な役割を果たし始めており、ストレッジはその中で大きな役割を果たすとしている。

原文ここ。

UPSの不都合でデーターセンターが３日間シャットダウン

２－３の例だが、どんなに用意周到でも、問題は起こるという話。筆者のホスターを例に取る。ある金曜、電力会社からの配電が一時不安定になり、数秒配電が止まった。発電機が作動するほんの１分程度ＵＰＳが動作してサポートするはずであったが、作動しなかった。その後すぐ発電機が作動、また外からの供給も再開された。しかし、このため多くのサーバーがハード・リブート状態となった。ファイルがコラプトするものやディスクが潰れるものが続出して大混乱となった。当然、それぞれのサーバーに関して、fsckを行ったり、ディスクを交換してバックアップからファイルを戻したり、１つのサーバーに関して最高で１０時間かかり、すべてのサーバー（２００程度）を元に戻すのに、３日を要した。このとき筆者は日本に出張でいたが、フロリダのデータ・センターが回復するまで、３日間ウエブもメールも全く使えなかった。

原因はＵＰＳのバッテリーが全く機能しなかったことだ。しかし、有効期間中で、交換まで数週間ありしかも、この問題が起きた次の週に交換する予定であった。どんなに、用意しても問題は起こる。この事故で、もう絶対にこのホスターを使わないという人とこれでもっと信頼性があがると思う人がいる。筆者は後者だ。冗長性は電力節減にはならないが、オペレーションが保障されないのではどうにもならない。この兼ね合いが難しい。

原文ここ。

UPSのバッテリーの種類

UPSのバッテリーには数種類ある。あまり面白い話ではないが、詳細は原文ここ。

Sunによる冷却方比較

データセンターの冷房・冷却に関してはいろいろと言われている。ラック毎のサーバーの密度が増えたため、部屋レベルの冷房だけでは十分冷却できないということだ。それでは、どのような方法が有効的なのか。部屋レベルの次は行レベル、そしてラックレベルの冷却方法が考えられる。更に、冷却も空気によるのか液体（水）によるのか。数多くのベンダーがこの幾つかのパラメーターを組み合わせた製品を提供している。

それぞれが、一番良いと主張している。そこで、Sunはそれならと自分のデータセンターに数社を招き実際にそれぞれの製品を使って実験をした。ここまではそれ程驚かないが、その結果を発表した。しかも、Sunで開かれたデータセンター関連のコンファレンスで。しかも、参加ベンダーの代表者をステージに上げて結果について分析した。かなりきつい質問もSunからでた。例えば、そのなかで、水を使用した冷却方法の会社の成績がすこぶる悪かった。公衆の面前で、その理由を求められたりで結構面白かった。

最近は水冷方式が見直されている。ただし、水の循環を保障する仕組みが必要なので、ラックの位置は制限される。途中でラックの仕切りなおしなどは困難である。

それにしても、某データベースのベンダーは自社の製品の性能を比較されたり、その結果を発表されることには大反対なのだが、それとは好対照だ。

原文ここ。

UPSの種類

UPSに関しては色々と言われている。現在まともに蓄電できるのは直流だけなので、供給される交流を一旦直流に変換して、蓄電させ更にまた交流に変換してIT機器に提供する。当然サーバー等の電源は直流を期待しているので、更に変換と。いう訳で、全部を直流にしてしまえという議論はある。それに関してははまた後で。

UPSのコンフィギュレーションにはいくつもあり、一番大きな差はPCなどの場合は通常UPSはオンラインではなく、オフラインで必要があるまではスタンバイだ。オンラインでも色々な種類がある。

UPSの問題は想像以上に大きい。UPSが正しく作動しなかったため、大きなHostingの会社が３日間オペレーションが止まった。UPSのバッテリーの問題だったが、有効期間中であったし、問題は全然予想できなかった。この例もまた後で。詳細は原文ここ。

cloud computingとデータセンター

日本もアメリカもcloud computingバブルだけれど。Cloud computingのバックエンドはデータセンターだと指摘する人は少ない。これを支えるデータセンターがあってこそ、実装できるのだが。アメリカでのデータセンターの建設はほとんど毎日のようにメディアによってカバーされているが、どうも日本の方はそうでもないらしい。また、今はやりのエコ・データセンターも今ひとつらしい。電力は不足していないらしい。本当だろうか。一度、石油ショックがおこれば。。。。。。

データセンターの建設は色々な側面がある。

1. 村おこし、町おこし
2. 税金軽減による誘致
3. 人材確保
4. その他

箱物を作るのが得意な日本。cloud computingのような先端技術を支えるために本当に必要な箱をエネルギー政策と絡めて考える必要があるのではなかろうか。

データセンターでのモニタリング

データセンターでのモニタリングと言えば、今まではネットワーク管理で、サーバーの健康管理であり、アプリの状態監視であった。これを提供する大手はアメリカでは、IBM、HP,　BMCやCAだ。日本なら、日立、富士通、NECなどだろう。最近は電力消費や冷房・冷却の管理・監視をすることが重要になってきた。前者に必要なのは、configuration management data base (CMDB)で後者にはdata center infrastructure data base (DCIDB) でPDUやracksの情報を含む。

アメリカでは後者を提供するベンダーは：

• APC
• Aperture
• Eaton
• Planet Associates

原文はここ。

初歩の冷房・冷却

現在のデータセンターの冷却方法は部屋ベースだが、その冷却・冷房方法は一般家庭の冷房や車の冷房の方法とは原理的には同じだ。　次の４つのプロセスを繰り返す。

1. 気化点が非常に低い冷却液が室温で蒸発する際に気化熱を取ることで、データセンター内の熱を吸収して除去。
２．気化した冷却ガスを圧縮して発熱させる。
３．再び凝縮して、熱を外にだして、液体に戻る
４．そして、データセンター内に戻りステップ１へと戻る。

原文はここ。

CIOがグリーンを採用するにあたっての圧力

さて、CIOはどうしてエコ・グリーンに走るかの理由は幾つかある。１０の理由は第一から、１）CFOからの　電気代の費用節減は大きな圧力、２）更に、電気を潤沢に安定供給を受けられるかへの不安、３）CEOは単に費用節減だけではなく、社会的責任の問題も、４）法的な圧力。まだ法律はないがいずれは。。、５）IT機器ベンダーは差別化が必要、６）メディアは大いにこれを助長、７）競合もこれを差別化。８）generation Yはエコを標榜、９）従業員もこれに賛成、１０）周りのコミュニティ。

やはりまだ、経費削減が一番大きい理由だ。　原文はここ。

コンソーシアム

昨日はアメリカ政府の取り組みについて書いたが、今日はそれと連帯するコンソーシアムの数々について。一番有名なのは、the green gridで大手を初め中小企業も参加している。日本からも、日立、富士通、NEC,NTTなどが参加している。今年５月には経済産業省、Jeita、グリーンIT推進協議会も提携した。現在green gridはデータセンターの効率を図る指標を開発中である。一番有名なのは、PUEで、（データセンターに投入された全ての電力）割る（IT機器が消費した全電力）と定義される。というとは、PUEが３であれば、IT 機器の電力消費を１とすれば、それをサポートするためのデータセンター内の電力消費は２倍ということになる。出来るだけ１に近づくのが効率化であるが、定義から絶対に１にはならないし、１よりは小さくならない。全電力はともかく、全てのIT機器による電力消費も入手が困難かもしれない。それと、この指標はある期間のある特定の時間での値で、電力消費は時と共に変化する。

このほかアメリカにはいくつものコンソーシアムが存在する。まだ、日本ではエコITたエコ・データセンターへの関心は薄い。　原文はここ。

アメリカ政府の取り組み

EPA (環境庁）とDoE(エネルギー省）が電力消費を削減するプログラムを推進している。EPAは多くのデータセンターの協力を得て、データセンターに関する情報を収集している。更に、Energy Starというエネルギー効率情報を示したステッカーを発行している。色々な電気機器や建物などに既に、チェックできるリストがある。これを最近サーバーに適用すべく、そのチェックをすべく仕様を開発している。多くのメーカーが参加して、意見を述べている。注目は日本の経産省が、世界には１００Vで５０サイクルの電源もあるから、それも考慮してくれというコメントが返されている。この仕様は今年中にはできるようだ。なお、サーバーだけでは困るというのが、NetAppsやSNIA(ストレッジの業界団体）からサーバーとストレッジは違うのでストレッジにも仕様をくれと要求して、EPAも考慮すると回答。ここで注目はCiscoをリーダーとするNetworkingの会社からの話しがないこと。Ciscoはデータセンター3.0ということで発表。この話はまた後。

DoEはITP,　FEMP（政府内でのエネルギーの削減）とDC Pro。　DC Proはデータセンターに関する色々なパラメータを与えることで、電力消費の情報を提供してくれるものだ。更に、省庁を超えて、EPAのEnergy Star,ITPそしてFEMPはそれを統括するプログラムで調整されている。

原文はここ。

プロセッサーとエコ・データセンター

Mooreの法則によれば、プロセッサの速度は１８－２４ヶ月毎に２倍になる。しかし、速度を上げるに従って消費電力が加速的に増加して、それによって生じる熱もばかにできなくなってきた。並列処理などを屈指てももう１つのプロセッサーの速度を上げるというだけでは、全体の処理能力を上げることは困難になってきた。このため、２つ以上のプロセッサーを使用して全体の処理能力を上げるマルチコアが普通になってきた。マルチコアがあれば、複数のスレッドを処理できる。特に、サーバーでは色々なタスクを並列処理できる。特に仮想化環境では有効であろう。しかし、このマルチコア化はクライントのPCにも適用されつつある。しかし、PCレベルではシングル・スレッドであることが多いのであまり役に立たないのかもしれない。今後並列処理できるプログラムが開発されなければ、あまりマルチコアの意味はない。

IntelやAMDなどのプロセッサのベンダーはマルチコア化も含め、製造方法やトランジスター・レベルでの電流の漏れなどを削減するなどの努力もなされている

原文はここ。

ファイバーか銅線か

データセンターでは今までは、銅線によるケーブルが値段の面で有利であった。そのためファイバーのEthernetで早いスピードが達成されると、銅線でそれを実現する努力が続けられた。ところが、1Gbpsの辺りから、機器のポート辺りの値段を考えると、ファイバーが一概に値段が割高で使用しないということにならなくなってきた。今までのデータセンターは冷房と配線のために上げ底にするのが常だった。銅線は重くかさばるので、床下を這わせるのが最適であった。

値段の面からファイバーが見直されてくると、ファイバーは銅線に比べて軽いし、またかさばらないので、必ずしも床下を這わす必要がない。むしろラックの上に吊るというオプションも成り立つ。上げ底のフロアーであれば、かさばる回線が冷たい空気の流れを遮ることもしばしば起こるので、これはそれへの改善だ。更に冷房・冷却の方法で、部屋ベースから列ベースやラック・ベースになってくると必ずしも上げ底は必要とは言えなくなってくる。上げ底をやると支えることのできる重さに制限が出てくるからだ。

原文はここ。

電力配送 -- 続き

昨日のブログで、交流でデータセンターに電力を提供すると何回も交流・直流変換をしなくても良いので、直流による電力配給の話が盛んであると述べた。そこに、冷たい水をぶっ掛けたのが、Neil RasumessenというAPC社のCTOだ。彼の主張は現在の電力機器の効率はかなり上がっており、直流派は以前の古いデータに基づいて議論していると非難している。今の最新の機器を使用すれば、直流の解に比べても遜色のない程度になっていると主張している。更に、現在のIT機器、サーバーなんかは直接直流を受け取ることが出来ず、それを出来るようにするには大規模の改造が必要である。更に、既存のサーバーを全部取り替えられなければならず、むしろヨーロッパの基準の400/230Vの交流にすれば良いと言っている。また、既存のサーバーや他のIT機器は400/230Vを受け取ることができると。これに限らず、彼のこの他の主張も非常に説得力がある。ハイプと本当を嗅ぎ分けることが肝要だ。

原文はここ。

データセンターの電力配送

データセンターには、電力会社から交流電力が供給される。幾つかのコンフィギュレーションはあるのものの、通常はこの電力は一旦直流に変換されて、UPS内のバッテリーを通過して、更にもう一度交流に変換されて、最終的にIT機器へと配送される。変換毎に数パーセントのロスが生じる。変換なければ、ロスは起こらない。Green Gridは幾つかの電力配送のオプションを上げている。

• 480V AC
• 600V AC
• 277V AC
• 400V AC
• 48V DC
• 550V DC
• 380V DC

この中で、今380V DCで当初から提供するのが今話題を呼んでいる。　これには、異論を唱える人もいる。それはまた次の話。原文はここ。

コンテナ型データセンター

データセンターを建設する際、他の建物の設計のように色々な要素を考慮することが必要だ。ソフトでもハードでも大きなでかい塊としてとらえるよりも、小さくて良く定義されて分かりやすい塊としてとらえた方が設計の時間やバグが少ないと知られている。　これをデータセンターに応用しようということで、工業用のコンテナに、ラック一杯のサーバーや必要な電力・冷房装置も設置して、全てコンフィギュレーションも済まして、ロゴのように置くだけでデータセンターのbuilding blockとして使用するようにした。

ハードはどうせ安いし、へたに人間が問題を解決しようとすると、人件費が掛かるだけでなく、また人によるミスも多いということで、ハードは潰れればfail overなどで処理して、ほったらかしにしようという手法だ。簡単な問題の処理は、リモートで解消する。ある一定以上のハードに不都合が起こった場合は、コンテナごと取り替える。

まだあまり、実績はないが、大手のMS,　IBM,　HP,　SunやGoogleもコンテナ型のbuilding blockを発表している。専門家達のなかには、この手法に疑問を抱く者もいるが、実際にMSはシカゴ近郊のデータセンターで応用するとのことだ。　実際の使用によってこれが正しいかどうか分かる。

原文はここ。

データセンターの冷やし方

データセンターはつい最近まで、フロアー全体を冷やす方法で十分だった。大体ラック辺り1-2kW程度の冷房エネルギーで十分だったけれど、blade severが浸透するにしたがって、10kW から20kW更には30kW程度までに達している。これを解決するには、rowベースかrackベースで対応するしかない。実際にはデータセンター内で、電力消費が均一ということはない。というか、同じrackでも時間やアクセスによって消費電力がダイナミックに変化する。また、サーバーやその他の機器は頻繁に入れ替えられたり、そのものの寿命（サーバーは３年程度で総替え？）が短期間であることも多い。

このため、リアルタイムでrack毎に電力消費や温度の動きをモニターして、状況に応じて冷房エネルギーを増加・減少する必要がある。room毎冷房はなくならないが、rowとrackベースを併用することでIT機器の冷却の効率を増加できる。最近のニュースではMSがEPAと組rack毎にzigbeeベースのセンサーを利用してモニターしているそうだ。

row/rackベースを上手に併用するとフロアーを上げて、床の下を冷たい空気を送る必要がなくなるかもしれない。

原文はここ。

データセンターのメトリック

昔から言われることだが、計測できないものは、改善できない。それでは、データセンターはどうだろうか。昨日のブログにあるように、供給された全電力のわずか３分の１しか実際のIT機器に使われないとしたら。。。という以前にそれすら知らなかったらということもある。実際の３分の１とか半分とか、７５％ととか色々な値が市場にあふれている。The Green Gridは２つのメトリックを定義した。Power Usage Effectiveness (PUE)とdata center infrastructure efficiency (DCiE)である。定義は簡単で、PUE = （全データセンターの消費電力量）/ （IT機器で消費される全電力量）で、DCiEは　1/ PUEである。ということは、PUEが小さければ小さいだけ効率が良いということで、PUE３というとIT機器を動作させるのに余計に２倍の電力消費がかかるということだ。DCiEはその反対で、全体にの電力に占めるIT機器の消費電力の割合いだ。

「うちのデータセンターは前はPUEが1.8だったんだが、今は色々と工夫して1.3まで下げたよ。」なんていうといかにも、データセンターのオペレーションに詳しいよう聞こえるのではないだろうか。
原文はここ。

データセンターでの消費電力配分

データセンターに搬送された電力の全てがサーバーなどのIT機器に使われるわけではない。APC社によよれば僅か３分の１しか使用されず、IT機器のオペレーションによる熱の除去やその他の変換ロスが残りの３分の２を占める。それぞれの項目を精査してロスを除き、熱の除去の方法を工夫することが肝要。原文

全ての配送された電力と実際にITの機器によって使用された電力の比をthe green gridが設定している。それはまた後で。

検証 --> EPAの報告書

EPAの報告書が発表された後、何社かが実際にこれを検証しようと計り、サンのデータセンターで実際に１１のケースを元に実証した。EPAのレポートでは研究機関のLawrence BerkeleyがIDCと共同でサーバーの増加率などをベースにしたもので、それなりの意義はあったが実際のデータによるものではなかった。

そのためSilicon Valley Leadership GroupとAccentureが中心となり全部で29社が集まった。詳細は原文にあるが、大部分のEPAの結論は正しいということで、かなりのbest practicesを適応することで、既存のデータセンターでもかなり電力削減を達成できる。元のEPAのレポートは133ページもあり読むのに一苦労だ。この検証レポートはAccentureが取りまとめて、Executive summary（９枚）と完全レポート（２７枚）を発行している。このレポートは全て原文にダウンロードできる場所を示しているので参照のこと。こちらの方だけでも十分様子は分かるとおもう。サンが絡んでいることもあり、他の主な会社は含まれていない。例えば、HP, Cisco, MS, Oracleなどだ。IBMは冷房技術の部門は参加したが、後は比較的小さい会社。

EPAの報告書

このブログはwww.altaterra.netのブログを簡単にまとめたものである。現在原文（英語）を読むためには簡単な無料の登録が必要であるが、読むだけであれば登録なしで読めるように現在作業中である。原文に必要なリンクは存在するため、ここでは繰り返さない。なお、時間の関係で、原文の要約となっている。また原文と違い校正も編集もないため、非常に生の文章であるので、ご容赦を。詳細は原文を。

EPAは米国の環境庁である。2006年に米国議会は、データセンターでの電力使用に関する現状と将来の予想の報告をEPAに命令した。これを受け、EPAは2007年にLawrence Berkeley研究所やIDCの助けを受け長いレポートを発表した。これによると2002年から2006年の間にデータセンターで消費された電力は２倍になり、2006年には全米の総電力の1.5%となるとのこと。また、このまま何もしないと2010年には更に２倍になると予想される。一番消費に関わっているのはサーバーだ。それもいわゆるvolume serverと言われるもので、X68ベースでLinuxをがんがん走らせているものだ。

1.5%というと少ない様に思うが、全米のカラーTVの消費量や交通関係の製造業者が使う電力に匹敵する。現在米国は色々な制約から新たに発電所を建設できない。今から、新たに建設しても間に合わない。　また、あるレポートによると2008以降、50%程度のデータセンターは電力不足で、増設できないという。電力消費を抑えることは急務となった。

原文のブログはここ。