UPS有大作用 谷歌數據中心供電系統圖解

2011年中，谷歌公布了其在2010年全年的數據中心耗電情況。根據谷歌提供的數據，這家網際網路公司一年的電力消耗量高達近23億千瓦時，比21萬個美國家庭一年的用電量加一塊兒還要多。據史丹福大學的Jonathan Koomey估計，截至2010年底，谷歌共擁有近90萬臺伺服器，約佔全球3%的伺服器數量，但只使用全球數據中心1%的電力，目前其部分數據中心的年均PUE約為1.12左右，顯然谷歌數據中心的運作比其他數據中心更為高效。我們知道除了製冷系統外，數據中心的供電系統也是能耗很大的一塊，因此有必要研究一下其供電系統，雖然不一定適合中國國情和一般用戶，但其理念和思路卻是非常值得借鑑的。

圖1是谷歌某個數據中心外部供電照片，由於谷歌的數據中心體量通常都很大，比如達到30-40M以上的用電，因此往往機房周邊專門區域建設有專用的變電站給龐大的機房供電。

由於篇幅有限，變電站及中壓部分就不再展開，但其總體思路是採用中壓配電輸送到機房周邊，靠近負載就近經變壓器降壓成低壓，再通過低壓母線輸電到機房內的IT機柜上。從圖1我們可以看到模塊化的戶外型變壓器及低壓配電櫃環繞機房周邊，採用貨櫃型的柴油發電機組作為變配電的供電投切備份，柴發風管直立到屋頂上排風。經過變壓器變壓後的市電通過母線槽或者線纜直連到機房內的機柜上方，直接給自帶分布式UPS的伺服器供電。

圖2則是谷歌數據中心內部的俯視圖，從這個照片我們可以看到市電經前面描述的室外變壓器降壓後直接通過母線槽的方式架設在每排機櫃頂部，再用機櫃頂部的配線盒連接到每個機櫃PDU，具體細節我們後面會介紹。由於谷歌定製的伺服器上自帶有分布式小UPS，因此谷歌的數據中心內部不再有UPS室和電池室等，也沒有列頭櫃等二次配電環節，每個伺服器直接採用市電直供技術，達到接近99.9%的供電效率。如圖3(a)所示的每個機櫃直接從機櫃頂部母線槽上安裝的配線盒取電，這種供電架構非常簡單清爽，大大減少了線纜的採購和工程施工，而且非常靈活便於機櫃擴充和帶電檢修維護等，運營起來也非常簡單，還可以根據機櫃的功率和用電可靠性情況靈活調整配線盒來滿足不同設備的供電需求。此外，變壓器、中低壓以及柴發供電外置，且無集中UPS和電池等，機房內的空間利用率也非常高。

如圖3(b)所示谷歌的帶小UPS的市電直供伺服器大家都應該非常了解了，這裡不再詳述，只簡做要介紹。其原理是在伺服器內安裝底部的12V黑色鉛酸電池用於市電停電保護，市電正常時候，由於沒有外部UPS，市電直接給伺服器供電，達到99.9%的供電效率;當市電停電後，直接掛接在12V輸出上的電池短時放電，直至室外的柴發啟動恢復伺服器電源帶載。電池參與放電的時間基本不到一兩分鐘，因此電池的容量很小，大約只有3.2Ah，備電時間遠遠小於傳統數據中心15到30分鐘的電池備電需求，因此對柴發的啟動要求很高。

我們前面知道谷歌的柴發是模塊化直接安裝在變壓器旁邊的，很有可能是低壓柴發，其啟動很快。而且每臺柴發對應一個變壓器，沒有複雜的柴發並機以及啟動時序等問題，因此正常情況下柴發啟動時間可以控制在十幾秒以內，一兩分鐘的電池備電時間基本上是夠了，但這對運維水平要求就非常高了。當然谷歌的軟體架構和業務備份方面也足夠強壯，甚至部分設備停電也不會影響到業務正常運行，因此只有強大的技術實力才可以採用這種供電架構。

圖4是谷歌三聯櫃102a-c的正視圖，以及頂部配電系統100，後者不僅給三聯櫃伺服器供電，還給相關的空調等支撐設備供電，比如機櫃頂部的風扇等。三聯櫃底部裝有滾輪105，用於支撐機櫃，並且方便現場運營人員靈活搬運，每個機櫃高度約為30個導軌，估計每個設備高度約1.5U，總計高度45U左右，整個三聯櫃總共有90個設備安裝空間。這種設計使得整個三聯櫃不會太高，無需凳子或者梯子等來協助。三聯櫃橫向寬度方面也不會太寬，叉車等工具可以簡易搬遷，甚至現場安裝人員可以徒手在數據中心內很容易搬動到需要的地方。

空氣循環單元107會被安裝在背靠背的兩組三聯櫃之間，該單元包含兩組三聯櫃之間的鎖固框架，以及一到兩個的空調盤管，還有熱通道頂部的一些風扇等。三聯櫃排出的熱空氣可以進入框架內，然後被空調盤管制冷，最後從頂部的風扇被吹回整個機房冷環境中。空氣循環單元107的框架上還架設有支撐架108，支撐架108用於安裝線槽110和112等，分別用於布設供電線纜和光纖或銅纜等。空氣循環單元上還有一些網線等，用於控制風扇的轉速，並將收集到的壓力、溫度、設備故障信息等送回到機房監控中。

三聯櫃頂部的配電系統100則包括IT機櫃供電的配線盒116，該配線盒向上可通過118接入口從一根或者兩根供電母排上獲得電力，向下則通過配電空開122以及線纜120等給102a-c的三聯櫃每個機櫃分別供電。比如每個機櫃有三根線120到機櫃PDU，那麼122配電空開就總共有9個微斷連接到9條輸出線纜120上，或者3個3P的空開。

由於三聯櫃通常都是工廠預製並安裝好TOR的整機櫃，當三聯櫃被滾動安裝鎖固在空氣循環框架107後，就可以直接從線槽110或者112上連接上聯光纖。然後供電的配線盒116向上則從供電母線取電，向下則給三聯櫃機櫃的PDU供電。最後等所有的線纜都連接好並帶電後，三聯櫃內的伺服器上電開始加載系統開始工作。如前面所述，每個機櫃有30個導軌安裝30臺伺服器，每個機櫃採用三相空開，每相空開帶載10臺設備，每組三聯櫃共有9路輸出空開，如果任何部分發生故障，那麼最多也只會影響到1/9的設備，在保證人身安全的同時，儘量縮小故障影響面。

圖5(a)是谷歌三聯櫃更為詳細的展示，三聯櫃202a-c內的三個機櫃整個連為一體，導軌205用於支撐伺服器的安裝。標識為204a-c為機柜上的PDU垂直安裝在機櫃前面的左側，PDU上有30個左右的母頭插座用於安裝伺服器電源插頭。由於PDU和伺服器非常靠近，而且插座基本平齊於伺服器前面板，因此可以採用非常短的電源線用於連接伺服器和PDU，電源線纜安裝美觀且管理方便。圖5(b)是安裝了伺服器的三聯櫃，這些伺服器可以是計算、存儲等各種類型的IT設備。整個三聯櫃通過底部的滾輪方便搬運和安裝，並且這些三聯櫃以及要安裝的伺服器會以整機櫃的方式在工廠整體安裝調試好，搬運到現場後整體交付，即插即用，滿足快速部署和建設的需求。

圖6(a)是PDU及機櫃一角的俯視圖，其中302是用於支撐待安裝伺服器的導軌，而304則是PDU的支撐架，用於固定垂直的PDU 306到機柜上。PDU內部包含三根導線308、310和312，每根導線連接PDU上1/3的插座，比如導線312連接到PDU頂部的10個插座314，310負責中間的10個插座，而308則負責底部的10個插座。圖6(b)則描述了伺服器主板316被安裝在導軌302上，以及和PDU的電源線連接示意。伺服器316通過電源線320以及電源插頭318從PDU上取電，當然這裡電源線只是示意，實際上谷歌的伺服器電源往往安裝在熱通道側，電源線穿過伺服器到機櫃前面的冷通道來取電，滿足谷歌伺服器全正面冷通道維護的需求。圖6(c)更為詳細的展示了導軌302和PDU 306之間的位置，插座314和導軌302一一對應逐個匹配，所以伺服器電源線可以就近很好得連結到每個插座，當然如果有需要，也可能會有冗餘的插座用於安裝其他需要的設備，比如交換機等。