正在被巨大數據中心吞噬的全球電力,谷歌臉書和比特幣的「源」罪

2021-02-24 大數據文摘

大數據文摘出品

編譯:羅然、quedy、Zhifu、笪潔瓊、Aileen

將你最新的假期照片上傳到Facebook,它們最終會被存放在俄勒岡州一個名叫Prineville的小鎮上,這裡有Facebook已經建立的三個巨型數據中心,它們還計劃再建兩個。

這些巨大的數據中心有多大呢?

內部空間面積超過航空母艦,成千上萬的電路板一排排整齊的排列著,一直延伸到沒有窗戶的大廳,這裡面的走廊太長,工作人員需要用滑板穿梭其中。

這些巨大的建築物是信息交易商的寶庫。

按今年市值排名,全球前五大公司分別是蘋果,亞馬遜,Alphabet,微軟和Facebook,取代曾經的殼牌和埃克森美孚等巨頭。儘管信息工廠可能不會噴出黑煙或研磨油膩的齒輪,它們不會對環境造成影響,但隨著對網際網路和行動電話流量需求的猛增,信息產業可能導致能源使用量激增。

數據中心每年使用的電量估計為200太瓦時(TWh)。

這個用電量是什麼概念呢?它大概相當於伊朗國家的能源總消耗、全球用於運輸電力的一半、同時也是全球電力需求的1%。

數據中心對總體碳排放貢獻約0.3%,而信息和通信技術(ICT)生態系統整體,在包含個人數字設備,行動電話網絡和電視的全面定義中,佔全球的2%以上排放。這使得ICT的碳排量與航空業的燃料排放量相當。

有人預測,當今天出生的孩子長到青少年時,ICT的用電量可能會超過全球總用量的20%,數據中心的使用量超過三分之一。如果計算密集的加密貨幣比特幣繼續增長,這還會導致能源需求的急劇增加。

自從比特幣2008年誕生以來,人們越來越關注「挖礦」能源需求迅速增加。虛擬硬幣是由礦工「鑄造」的,他們購買專門的伺服器來處理日益增長的區塊鏈中的時間密集型計算,這證明了新的加密幣的有效性。

來自PwC的數據顧問Alex de Vries說,估計,到目前為止,比特幣正在吞噬全球至少0.33%的電力。包括其他加密貨幣,如以太坊,高達0.5%。 他說:「我覺得這很令人震驚」。

但其他人,包括加利福尼亞州聖地牙哥的加密貨幣研究員Marc Bevand表示,這些數字是基於總體假設的誇大其詞。Bevand估計,到2019年1月,能源使用量可能會低至De Vries所說數字的一半。正在收集加密貨幣數據用電量的加州IT顧問Jonathan Koomey表示:「有增長,但人們正在大肆炒作」。

目前,Bevand表示,比特幣採礦僅在電力便宜的地方(約為全球平均水平的一半)有利可圖,其中包括中國,冰島和北美哥倫比亞河沿岸水力發電豐富的地區。

隨著比特幣礦工進入一個地區並對電網施加壓力,能源公司通過提高費用做出回應。這可能會促使礦場關閉或採取措施大幅提高其硬體或系統冷卻的能效。

Bevand說到,比特幣可能會遷移到能源密集度較低的區塊鏈系統(正如以太坊計劃的那樣)。或者,Koomey指出,「假設比特幣因某種原因而崩潰;所有這些設施都將消失。」

目前,儘管數據需求不斷增長,但ICT的用電量幾乎持平,因為增加的網際網路流量和數據負載可以通過提高效率來抵消 - 包括關閉舊設施以支持Prineville等超高效中心。但這樣的好景可能會在十年內消失。在加利福尼亞州伯克利,負責美國能源部Lawrence Berkeley國家實驗室數據中心能效專家中心的 Dale Sartor說:「現在的趨勢是好的,但是5到10年後它是什麼樣子就是個問題了。」

隨著未來渴望大量能源的需求日益臨近,世界上一些頂尖公司的學術實驗室和工程師正在探索如何控制這一行業帶來的環境影響。

他們正在簡化計算流程,轉向可再生能源,並研究更好的方法來冷卻數據中心並回收廢熱。來自伊利諾州埃文斯頓市,西北大學的工程師Eric Masanet表示,我們必須對信息通信技術的能源使用「保持警惕」,他是國際能源署(IEA)關於數位化和能源去年報告的共同撰寫人-他表示,如果我們想保持領先地位的話,我們應該控制未來的能源需求。

在瑞典的華為從事可持續ICT工作的Anders Andrae預測,到2030年數據中心的用電量可能會增加15倍,達到預計全球需求量的8%,但是這個可怕的數字是有爭議的。

Masanet說:「多年來,人們對ICT能源使用的增長做出了許多危言聳聽的預測,而且所有這些都被證明是無意義的。」 去年的IEA報告估計,儘管數據中心的工作量將會增加,到2020年將增加兩倍,但效率提升意味著他們的電力需求只會下降3%。研究人員建議,隨著智慧型手機接管大型設備,信息通信技術的碳排放總量甚至可能在2020年呈下降態勢。

在過去的五年中,數據中心的電力需求大致保持不變,部分原因是「超大規模的轉變」。隨著超高效數據中心的興起,這些工廠採用有組織的,統一的計算架構,可輕鬆擴展到數十萬臺伺服器。Bill Carter,Open Compute Project的首席技術官說到,大規模的數據中心大約在十年前出現,當時像亞馬遜和谷歌這樣的公司需要25萬臺或更多伺服器區組成其數據中心。

2011年起,Facebook發起了Open Compute Project,這個開放計算計劃旨在分享硬體和軟體解決方案,使計算更加節能。在當時,大多數公司通常不會使用計算公司提供的現成硬體,因為這麼做並沒有什麼意義。

Carter說,在大規模的數據中心你有機會將不需要的東西全部剝離,只剩下你需要的核心功能,並且你還可以對應用進行特定的優化。新的超大規模設備製造商為了這個目的設計了裸機伺服器。

我們去除了視頻連接器,因為不需要顯示器。沒有閃爍的燈光,因為沒有人在機架周圍走動。 也沒有螺絲釘。平均而言,超大規模計算中心的一臺伺服器據說可以替代傳統中心的3.75臺伺服器。

信息和通信技術製造的二氧化碳排放佔全球碳排放量的2%以上。

超大規模計算中心所節省的成本可以從他們的電力使用效率(PUE)中看出。PUE定義為數據中心所需的總能量,包括燈光和冷卻,除以用於計算的能量(PUE為1.0是完美的分數)。 傳統數據中心的PUE通常約為2.0;對於超大規模計算中心,PUE已經削減到大約1.2。谷歌的所有計算中心平均PUE為1.12。

硬體較舊或技術棧較為陳舊的數據中心可能包含難以優化的設備組合,有些設備甚至完全沒有用處。2017年,來自California的顧問和領先的國際IT專家Jonathan Koomey與一位同事一起調查了藏在公司壁櫥和地下室中的16,000多臺伺服器,他們發現其中四分之一都是「殭屍伺服器」。

這些伺服器沒有處理任何有用的工作卻在白白消耗電力,這也許是因為有人忘了把它們關掉。Koomey說:「這些伺服器除了使用電力之外什麼用都沒有,這太過分了!」

在2016年的一份報告中, Lawrence Berkeley國家實驗室估計,如果美國小型數據中心中80%的伺服器轉移到超大規模的數據中心的話,這一舉措可以降低25%的能耗,而這項行動已經在展開中。

今天,全世界有大約400個超大規模數據中心,其中許多數據中心為小型企業或大學提供服務,而這些企業在過去曾擁有自己的伺服器。現在這些企業的用電消耗已經佔據全球數據中心用電量的20%。 IEA表示,到2020年,超大規模中心將佔其中的近一半(參見下圖「超大規模的轉變」)。

一旦超大規模的數據中心儘可能多地承擔了負載,進一步提高效率會變得更加艱難,但企業還在努力。一種新興的管理技術可以確保伺服器儘可能多地全速運行,而其它伺服器則可以關閉而不是處於閒置狀態。

Facebook發明了一個名為Autoscale的系統,這一系統可以減少在低流量時間內需要打開的伺服器數量。Facebook在2014年的報告中指出,在試驗中這套系統可以節約用電達到10-15%。

超大規模數據中心削減PUE的一個重要方法是解決冷卻問題。在傳統的數據中心,空調製冷所產生的花銷佔總共能源帳單的40%。

使用蒸發水來冷卻空氣的冷卻塔造成了另一個環境問題:2014年美國的數據中心總共使用了大約1000億升水。擺脫壓縮冷卻空調和冷卻塔有助於節省能源和水。

現在,比較普遍的一種非常簡單的解決方案:將數據中心建造在涼爽的地點,利用空氣吹入其中來降溫。

這些中心不必坐落在冷到能結冰的區域:俄勒岡州 的Prineville足夠涼爽,可以利用所謂的「空氣冷卻」,許多其它數據中心的位置也是如此,在瑞士蘇黎世的IBM研究中心物理學家Ingmar Meijer如此解釋。

在這個位於俄勒岡州的谷歌數據中心,藍色管道供應冷水,紅色管道返回需要被冷卻的溫水。

相比空氣來說,自來水是更好的熱導體。通過允許使用溫水冷卻數據中心,冷卻系統中生產和再循環的能量消耗會更少。

即使在溫帶氣候下,溫水冷卻已經成為管理產生大量熱量的高性能計算機的事實上的解決方案。美國能源部實驗室和位於德國Garching的巴伐利亞科學院擁有的SuperMUC超級計算機都在採用這一方案。溫暖氣候的數據中心有時也投資於溫水冷卻系統,例如eBay位於亞利桑那州鳳凰城的Project Mercury數據中心。

對於高密度,高功率的數據中心,最有效的方法是將伺服器浸入不導電的植物油或礦物油中。 Facebook在2012年嘗試將其運用在伺服器上,作為一種讓伺服器運行更快卻不會過熱的散熱方式。 Meijer說,目前浸入式冷卻的維護還十分複雜,是一個非常棘手的專業領域。

2016年,谷歌調整旗下的DeepMind人工智慧(AI)研究團隊接手一項任務,調整其數據中心冷卻系統使其能更好得適應天氣和其他因素的影響。

谷歌表示,在測試中,該團隊將其冷卻能源費用降低了40%,並且「產生了該網站有史以來最低的PUE分數」。今年8月,谷歌宣布已將一些數據中心的冷卻系統轉由AI算法調整。

卡特表示,探索創新式的冷卻方案並使已有冷卻方案成本更低的辦法將在未來幾年變得尤為重要。 他表示,「當我們與世界相聯時,有一些地區(非洲和南亞)卻無法享受免費的空氣冷卻」,並且其他開發項目將以新的方式對IT基礎架構負擔。

如果自動駕駛汽車湧入道路,例如,在行動電話塔底部的小型伺服器,用於幫助汽車進行通信和處理數據,將需要更高功率的設備來實時處理AI工作負荷和達到一個更好的冷卻效果。

今年,開放計算項目(the Open Compute Project)啟動了一個先進冷卻項目,旨在使得高效的冷卻系統更易於獲取。 「超級公司(例如谷歌、亞馬遜、微軟等)已經解決了這些問題,它們已經非常高效」,卡特表示, 「我們正嘗試幫助其他機構,也能享受AI帶來的紅利。」

還有一種很好的冷卻辦法是伺服器散熱法,它能通過節省其他地方的電力需求達到冷卻效果。 「它就像一個免費資源,」一位蘇黎世的IBM研究員Patrick Ruch說。

舉幾個例子:巴黎的Condorcet數據中心將其餘熱直接送到鄰近的氣候變化植物園,在那裡科學家可以研究高溫對植被的影響。 一家瑞士的IBM數據中心利用餘熱為附近的遊泳池供暖。

但是熱量傳播並不方便,因此廢熱利用往往局限於數據中心附近的消費群體,或者是城市裡已經使用管道熱水供暖的家庭。

零零散散有參與者致力於廢熱的推廣使用,包括將其變為電力的初步努力。 還有其他辦法是利用廢熱來運行冷卻設備——例如,IBM的THRIVE-(200萬美元項目)正在開發新材料,可以更好地吸收水蒸氣並在受熱時釋放水蒸氣,從而製造出更高效的吸附式熱泵以維持數據中心的恆溫。

從核心上講,數據中心的水平也就是其構成的處理器的水平——且存在有改進的餘地。自20世紀40年代以來,計算機每千瓦時(KWh)能量的運行次數在峰值性能方面大約每隔1.6年翻一番,在平均性能方面大約每2.6年翻一番。這是50年來產生的100億倍的改進。根據Koomey的計算,從某種程度上說,自2000年以來,改進速度已經放緩,而當代計算機將在不久的幾十年內遇到電晶體功能限制的物理障礙。

「我們正面臨著收縮量的極限,」Koomey說。 他說,在此之後實現可比較的效率提升將需要在硬體構建和計算能力方面進行革命:可能需要轉向量子計算。 「這基本上不可能預測,」他說。

雖然核心重點是減少ICT的能源使用,但值得注意的是,信息產業也可以使我們在其他地方的電力使用變得更加智能和高效。 國際能源署(IEA)指出,如果所有車輛都變得自動化,舉個例子,一種烏託邦式的可能,即更平穩的交通流量和更容易的拼車將使運輸業的總能源需求減少60%。

在過去25年中,佔全球電力需求增長60%的建築物在提高能效方面具有巨大的發展空間:智能供暖和製冷,連接建築的傳感器和天氣預報,可以節省10%的未來能源需求。

總部位於Brussels的行業協會,全球電子可持續發展倡議組織的主任Chiara Venturini估計,IT行業目前的碳足跡減少了1.5倍,到2030年可能會增加近10倍。

信息通信技術(ICT)還可以通過讓可再生能源比化石燃料更具優勢來幫助減少全球排放。 2010年,環保組織綠色和平組織發布了第一份ClickClean報告,該報告對主要公司進行了排名,並對IT行業的環境負擔進行了重點關注。 

2011年,Facebook承諾100%使用可再生能源。 谷歌和蘋果緊隨其後於2012年做出相應承諾。截至2017年,近20家網際網路公司也做了同樣的事情。(然而,百度,騰訊和阿里巴巴等中國網際網路巨頭並沒有跟隨。)在2010年前,IT公司對能源公司的可再生能源購買協議的貢獻微小;到2015年,他們佔這些協議的數量達到了一半以上。谷歌是全球最大的可再生能源企業採購商。

減少對數據的渴望可能是防止能源使用進入超級驅動的最終方式。 但很難看到有人同意,比如說,限制他們使用的Netflix,佔美國網際網路流量的三分之一以上。 UK Cheltenham的諮詢工程師、數據中心專家Ian Bitterlin說,僅在手機上禁用高清彩色攝像頭可以將歐洲的數據流量減少40%。

但是,他補充說,似乎沒有人敢制定這樣的規則。「我們不能把潘多拉盒子關上,」他說。 「但我們可以減少數據中心的能源消耗。」

相關報導:

https://www.nature.com/articles/d41586-018-06610-y

【今日機器學習概念】

Have a Great Definition

相關焦點

  • CIA資本運作:谷歌、推特與臉書到底啥背景?
    這些網絡平臺2016年以來在美國大選和英國脫歐等政治事件中已經表現出了巨大作用,因此人們認為這樣的管制措施帶有政治意味,甚至代表了美國的政府意志和意識形態偏見。從客觀上來講,臉書、推特、YouTube是流量匯聚的地方,類似於古典時期的市政廣場,天生就離不開「政治」。有人在這裡振臂一呼,只要能夠吸引流量,就能在現實中發揮政治影響。
  • 一場襲擊全球的勒索病毒,揭開了暗網、比特幣與NSA的驚人內幕
    更令人心寒的是,NSA等本應保護網絡不受攻擊的機構,卻為追蹤和破解信息而製造了無數擁有巨大破壞力的武器。我們的網絡安全,到底掌握在誰的手裡?勒索病毒「Eternal Blue」在全球範圍內的爆發,恐怕是這幾天影響力最大的公共安全事件了。
  • 52000美元,比特幣再創新高!春節期間,國外還發生了這些大事......
    其中,哈特曾幫助監督川普政府的政策審查,包括曾迫使各國禁止華為公司5G網絡業務的「清潔網絡」計劃;拉特納和羅森伯格都曾在新美國安全中心工作,該組織曾多次指出美國面臨「來自中國的挑戰」。比特幣再創新高當地時間2月17日,比特幣首次突破52000美元,創下歷史新高。回顧歷史,比特幣是在全球金融危機爆發不久後於2009年創建的,在誕生之初,1美元可以兌換1300個比特幣,十餘年來漲了6500萬倍。
  • 監聽、大數據、比特幣與區塊鏈的興衰:《地平線:深入暗網》
    他一手創建的維基解密,是世界上最大的機密信息的公報源,9萬多份駐阿美軍秘密文件的洩密、以及其餘諸多政治醜聞的披露就是他的手筆。他認為,公共治理機構的秘密文件和信息的透露,對大眾來說是件有益的事。BBC在2014年曾在自己的科技紀錄片系列《地平線》中,拍攝了一部《地平線:深入暗網》。
  • 離子引擎驅動的無聲飛機原型成功試飛;華為測試谷歌 Fuchsia OS
    1、收集百萬用戶數據的男子被判 4 年徒刑一名為培訓機構招生的男子通過網絡收集公民個人信息,其電腦中總共儲存了 936 萬條公民信息,他因侵犯公民個人信息罪被石景山法院判處有期徒刑 4 年。他是通過加入網上「獵頭QQ群」等方式,購買、交換、共享涉及公民個人信息的數據。
  • Libra這匹特洛伊木馬裡,藏著比特幣
    在比特幣的語境下,國家、央行都是中心化的,比特幣所依託的P2P網絡代表著權利的分散和平等,它是對現有中心化機構的消解——比特幣依賴網際網路技術存在,假設一個中國人要給一個美國人轉帳,相比之前需要先把人民幣兌換成美元,再通過兩個國家銀行之間的對接,比特幣只需要向一個地址做一次操作。
  • 認識區塊鏈(Blockchain),及掌握區塊鏈和數字貨幣(比如:比特幣)未來發展最致命的5個坑
    幾乎是伴隨著區塊鏈技術的誕生,比特幣成為其發揮作用的第一個事物,此後幾年,比特幣逐漸風靡全球,在2017年其瘋狂的行情讓區塊鏈技術為眾人所知。即使遭受嚴重的黑客攻擊,只要黑客控制的節點數不超過全球節點總數的一半,系統就依然能正常運行,數據也不會被篡改。
  • 蘋果與臉書必有一戰
    文/DoNews專欄作者 李素玉圖/IC Photo蘋果沒有多少社交元素,但只要有立場,就很容易與其他平臺,包括社交霸主臉書引發衝突和爭議。在很多種情況下,爭議和衝突在私下發生,以「冷戰」的方式進行,真正意義上的熱戰其實很少有。
  • 年輕人的第一輛車、「瘋狂」比特幣和騰訊「差錢」|極客一周
    馬斯克更換 Twitter 頭像|網絡瘋狂比特幣馬斯克又換 Twitter 頭像了,新頭像結合了他的兩大愛好:二次元和比特幣,而後者受其衝擊更大。隨著馬斯克在上周曝光特斯拉已經購買了 15 億美元的比特幣作為投資後,比特幣價格一路飆升突破 5 萬美元。20 日凌晨,比特幣價格衝到 5 萬 6 千美元,同時比特幣市值成功突破萬億美元。如果將比特幣看作公司,它已經成為全球市值第六的超級公司,前五大公司分別是蘋果、微軟、沙特阿美、亞馬遜以及谷歌。
  • 為什麼Roger應該加入比特幣SV經濟系統?
    他選擇主張增加白皮書中沒有的內容,同時迴避了使用具有固定的協議和無限區塊大小的藍圖。簡而言之,他偏離了自己聲稱最關心的比特幣系統的原則,並根據他對相關人員的個人看法做出了決定。有人發表了一些難聽的言論——關於欺詐的指控以及法律訴訟。分裂和隨後的戰爭給以前統一的大區塊比特幣社區造成了巨大的傷害。但那已經是兩年前的事了!
  • 基於全球谷歌衛星影像的大字體掛圖列印製作方法
    我們可以根據自己的需要在影像上疊加現有矢量數據或手動標註相關文字,然後再導出圖片進行列印噴繪。這裡我們以製作一幅含全球洲界的全球衛星影像為例,為你講解如何利用萬能地圖下載器輕鬆製作一幅基於全球谷歌衛星影像的大字體掛圖。洲界矢量數據疊加在疊加矢量數據之前,我們先將地圖數據源切換為適合列印噴繪的「谷歌衛星大字體」地圖,如下圖所示。
  • 從比特幣網絡中提取情報
    這篇論文改編自Michele Spagnuolo的博士論文,在比特幣數據分析方面很有影響力。通過此論文可以了解到比特幣利用啟發式實體識別的方法。摘要比特幣是著名的點對點,去中心化的數字貨幣系統,它允許用戶通過生成任意數量的地址來轉移資金,從地址中獲益。但是,曾經執行過的所有交易的完整歷史記錄被稱為「區塊鏈」,並在每個節點上複製。
  • 比特幣的分發仍然最公平?
    特別是對一個 PoS 共識的項目來說,從早期開端,Token 分發的越分散,系統去中心化水平越好,攻擊者想要對系統發起攻擊的本錢就越高,整個系統也就越平安。但是,在停止 Token 初始分發的時分,公平性和去中心化並不是獨一的考量要素,效率也是一個影響網絡久遠開展的重要要素。公平與效率的博弈,貫串區塊鏈項目一直。
  • 封殺比特幣交易平臺,中國重創美國黑金回流背後的真相!
    在這個系統構想中,保護使用者數據的密碼像洋蔥一樣層層疊疊,於是他們也將其之稱為「洋蔥網」,暗網的這個特點使得破解它的難度極大。請記住暗網的特點,躲避各國政府監管打擊、遍布犯罪、匿名性、全球登陸無國界。
  • 蘋果、臉書、亞馬遜都要被查了
    境外媒體報導稱,消息人士6月3日稱,美國政府正準備調查亞馬遜、蘋果、臉書和谷歌的強大市場力量,可能對這些科技企業展開前所未有的大範圍調查
  • 北約空軍基地200臺電腦被用於比特幣挖礦
    天橋資本創始人正在啟動比特幣相關投資基金據The Block 12月22日消息,12月21日提交給美國證券交易委員會的一份文件顯示,美國對衝基金天橋資本(Skybridge Capital)創始人、前美國白宮通訊聯絡主任Anthony Scaramucci正在推進投資比特幣的計劃,儘管可能是間接投資。
  • 【獨家】《電力監控系統安全防護規定》解讀系列報導(六)
    但隨著技術的不斷進步,在漏洞安全檢測、協議安全檢測、原始碼檢測等領域,需要通過引進國內外高端信息安全檢測工具、與國家和電力行業知名信息安全檢測機構開展合作與技術交流、自主研發檢測專用工具(如101/104規約實現缺陷檢測軟體、Modbus協議實現缺陷檢測軟體)等多種方式,促進內部檢測人才及檢測能力提升,構建服務於電力用戶、服務於現場的電力監控系統信息安全實驗環境和人才隊伍,進一步提升電力監控系統及設備的安全檢測能力
  • 比特幣圖靈完備,能夠複製《康威生命遊戲》,能夠運行智能合約和代幣化系統
    由於目前還不清楚比特幣腳本是否能夠循環,人們普遍認為比特幣不是圖靈完備系統。要理解Wright博士當時的大膽主張,我們必須回顧一下「區塊鏈」和「加密貨幣」的現代歷史。2013年,Vitalik Buterin在題為《以太坊:下一代智能合約&去中心化應用平臺》的白皮書中,將以太坊引入了世界。