在2011年春季的SNW(世界網絡存儲,Storage Network World)大會上,我們大致的了解到儲存網絡的未來發展方向。儘管光纖信道一直統領著儲存網絡領域,然而,雲存儲已經成為業內熱門話題。下面,讓我為大家介紹一下什麼是雲存儲,以及其為啥能成為業內共同關注焦點?在2011年4月7日,星期四,也是SNW大會的最後一天,Facebook宣布將推出開放式計算工程。
結構數據與非結構數據
根據結構數據(Structured data)與非結構數據(Unstructured data)的對比比例估計,在一個企業中,非結構數據的比率大約為80%。非結構數據是一種由電子郵件,企業內部文件,企業新聞,博客文章以及公司網頁組成的沒有形成固定結構的數據,而結構數據則是在相關資料庫裡獲取的數據源。如果你形成了一種新的數據格式,並且可以從其資料庫裡獲取,那這就是結構數據,反之亦然。
為什麼要討論結構數據和非結構數據呢?
當數據變為結構數據時,通過光纖信道獲取信號的水準才最有效。隨著結構數據量的不斷遞增,光纖信道也變得越來越流行。在過去的10年裡,光纖信道成為各大企業編寫結構資料庫時,最好的網絡傳輸工具。那麼,在未來發展中,光纖信道將何去何從?當然,結構數據也在逐漸走下坡路,但事實上,在經過一段萎靡期後,結構數據也會逐漸上揚。然而,諸如谷歌(Google)以及Facebook之類的搜尋引擎和社交網絡公司一直在探索非結構數據。其結果就是,谷歌和Facebook公司不會採用光纖信道的方式來獲取數據,當然這要除了英特爾網絡應用之外,如:ERP。
同時,谷歌和Facebook則需要為Sarbaines-Oxley提供相關報告。在谷歌和Facebook的網絡存儲器中,典型的使用兩種SATA驅動器,並且在其他單獨的伺服器中備份了3份所搜集的數據,這樣一來,無需RAID(OFweek通信國際註:RAID是「Redundant Array of Independent Disk」的縮寫,中文意思是獨立冗餘磁碟陣列。),就能解決數據冗餘的問題。RAID是一種應用在結構數據中,且成本非常高的一種存儲磁碟陣列。
他們採用的是一種名為,Apache Hadoop的軟體架構,該軟體架構是谷歌通過其GFS(谷歌文件系統,Google File System)系統所構思的,也是其開源HDFS(Hadoop分布文件系統,Hadoop Distributed File System)系統發展的產物。HDFS是一種用於大型文件處理,支持多個64Mbs文件格式處理的文件系統。很顯然,當用於處理文本文檔時,HDFS的確有點大材小用,但當處理音頻文件、圖片、以及視頻文件時,HDFS就能獨擋一面,成為焦點。HDFS是典型與HBase以及在Google的BigTable和(或)稱為Hive的資料庫架構之後的其他開源模式項目相配套使用的文件處理系統。這到底是啥意思呢?
隨著Web2.0數據的飛速增長,Web2.0的網絡用戶所提供的網絡數據就成為了Web1.0網站信息發布者的相關數據源,我們希望增長最快的是非結構數據。谷歌和Facebook所採用的都是帶存儲功能的伺服器,網絡數據首先被存儲在其本地硬碟上,然後再通過網絡附件形式,存儲到其標準的網絡伺服器上。我們知道,搜尋引擎和社交網絡這些網站所使用的網絡存儲器都來自國產。然而,問題是,在多數企業轉型向雲計算和雲存儲模式發展的大前提下,傳統數據中心是否也會朝這個方向發展,或者將被迫朝這個方向發展?
雲計算和雲存儲
雲計算和傳統的網絡計算的不同之處在於,傳統網絡計算是用戶通過租賃IT設備商的網絡設備,以及向設備商支付運營成本(如設備製冷、設備能耗等)的方式,而雲計算則是用戶自己根據其使用需求設計、購買、安裝、運維IT設備以及軟體,當然包括運營成本(如設備製冷、設備能耗等)。進而,用戶還控制其設備的使用周期、設備升級以及設備的停運等運營項目。
雲計算和傳統網絡計算的最大不同點在於,在傳統網絡計算中,用戶必須向IT設備商提供其最大網絡數據源以及最高的網絡流量,而最高的網絡流量是很難估算的,因為公司每天都在向前發展,不斷升級與變化。鑑於此,多家公司合租一大型網絡伺服器是最好的解決方案,這樣既減輕了租用公司的經濟壓力,也提高了伺服器的使用率,也讓IT設備租賃公司賺取更多的利潤。
雲存儲也採用了同樣的多家公司合租伺服器的商業運營模式。當谷歌對外提供7Gbs的超大容量,免費郵箱時,這個7Gbs聽起來的確是超大容量,但絕大多數個人電子郵箱用戶的使用率均低於1GB。同時,其他的雲存儲商業運營模式將為某些企業專門量身定製合理的網絡存儲器(如:採用光纖信道存儲的1000GBs超大容量郵箱),當然在技術層面來講,這也對谷歌要求非常嚴格,因為大企業耗費巨資使用Gmail郵件業務,谷歌必須對其網絡數據安全負責。同時,這也是一種大型企業獨享的網絡業務。
用戶是否會批量向雲計算遷移的關鍵因素在於數據存儲在哪裡,誰控制所存儲的數據,存儲數據的安全性如何?通過伺服器合租的運營模式,雲架構已經得以成功優化。在虛擬主機裡的多數網絡應用允許用戶共享同一臺伺服器,作業系統和應用軟體,構成一完整的共享存儲器資源體系。
如果其中一家主要公司的運營和數據安全失控時,那麼所有共享的公司也將受到威脅。許多用戶,特別是早期的用戶,更傾向於選用私有雲,因為私有雲的運營模式是其伺服器等硬體設施和軟體設施均安置在自己IT機房內,但採用私有雲的成本相對較高。在一家公司採用雲架構的方式實現伺服器合租,這也需要伺服器租用公司自己控制其網絡數據。
如果公有雲設備商或公司諸如Amazon、Rackspace、微軟以及新加入雲計算大家庭的HP公司提供的雲計算服務在價格和用戶網絡數據安全這兩方面的競爭逐日變得激烈的話,將會有更多的企業選擇使用雲計算,向雲計算遷移。這將對用戶在選用雲計算、雲存儲、網絡傳輸、資料庫等的網絡供應商時提供更多的選擇,同時也會減少用戶對名牌雲計算企業和存儲設備供應商的需求量,但也會讓用戶在琳琅滿目的雲計算領域失去方向。
事實上,在2011年4月7日,Facebook推出了一款公開計算工程,其聲稱為開源網絡架構的伺服器是目前業內數據中心中最高等級的網絡伺服器。可以說,在該網絡架構中,沒有名牌硬體設備,存儲設備或者網絡。在公有雲和存儲引領IT網絡領域之前,雲計算的市場依舊很小。
網絡存儲數據將不斷發展。我們希望在隨著越來越多的數據上傳到網絡,以及通過微軟的SharePoint工具上傳到企業內部網的數據,非架構數據能增長更快些。光纖信道的成本較高並且其只能用於結構數據。知道現在為止,谷歌也沒有採用10GbE網絡連接器伺服器和存儲器。
在谷歌的運營模式中,兩臺SATA驅動器也未能掙脫1GbE的束縛。這個變革就類似於應用廣泛的FLASH和應用在伺服器裡的超高速緩存一樣,或許每個伺服器處理4~12GBs指令。FLASH緩存區將為交換機設備從當前的1GbE升級到採用40Gb或者100Gb交換機提供更高上行速率的10GbE網絡時提供更快、延時更低的網絡連接。公有雲設備供應商將會面臨這種現象。隨著全球網際網路的逐漸升級,將會生成越來越多的結構數據,這將造就光纖信道繼續廣泛應用於結構數據領域。
隨著業內逐漸過渡到40Gb和100Gb網絡通信時代,特別是對於在單模光纖上能傳輸1公裡的光收發模塊,以及FCoE(OFweek通信國際註:FCoE:Fibre Channel over Ethernet,乙太網光纖通道)和iSCSI(OFweek通信國際註:iSCSI:Internet 小型計算機系統接口 Internet Small Computer System Interface)變得更加成熟,許多當前應用於結構數據中的新型應用將逐漸過渡到乙太網連接。
進而,據我們分析,SFP+光收發模塊以及成為10GbE的首選。上周,思科宣布其首臺架頂式伺服器以及10GbE LOM選擇接口都採用SFP+產品。隨著10GBASE-T逐漸發展,到2014年,SFP+將以標準的伺服器連接產品的身份進入數據中心網絡連接領域。
這周在斯坦福據悉的OIDA(OFweek通信國際註:Opticalelectronics Industry Development Association,光電子產業發展協會)會議上,來自Facebook的Donn Lee表示,目前升級為10GbE的最廉價方式是採用SFP+ DA線纜,並且應用於谷歌和Facebook以及雲計算中的10Gb光收發器市場尚未發展成熟,因為這幾家公司是從模塊生產商處直接採購。
隨著網絡存儲逐漸過渡到乙太網領域,10GBASE-T的BER誤碼率使其在結構存儲應用中喪失威力。在未來發展中,我們將通過預測伺服器、交換機以及存儲器直接的網絡連結市場的方式,繼續關注該領域市場。
責編:張歡