在日前舉辦的Interop2013東京展上,大數據成為了現場最為熱門的話題,無論是網絡廠商還是IT廠商,都不約而同的展示了各自針對大數據應用的產品以及解決方案,其中華為展示的N9000大數據存儲產品尤為引人矚目。
華為大數據存儲產品OceanStor N9000
大數據時代到來
隨著信息化技術的不斷發展,數位化現在已經深深的滲透進了我們生活中的點點滴滴。生活在Web 2.0 時代的我們,已經不僅僅是一個信息的被動接受者,同時還是一個信息的創造者。全球每秒鐘發送 290萬封電子郵件,一分鐘讀一篇的話,足夠一個人晝夜不息的讀5.5 年;Twitter上每天發布 5 千萬條消息,假設10 秒鐘瀏覽一條,那麼足夠一個人晝夜不息的瀏覽16 年;每天亞馬遜上將產生 630萬筆訂單;每個月網民在Facebook 上要花費7 千億分鐘;一個8Mbps(兆比特每秒)的攝像頭一小時能產生3.6GB數據,一個城市若安裝幾十萬個交通和安防攝像頭,每月產生的數據量將達幾十PB;一個病人的CT影像數據量達幾十GB,而全國每年門診人數以數十億計,並且他們的信息需要長時間保存。總之,大數據存在於各行各業,一個大數據時代正在到來。
由於數據產生成本急速下降,人類產生的數據量正在呈指數級增長,而大量新數據源的出現則導致了非結構化、半結構化數據爆發式的增長,數據的結構正在日趨複雜。全球在2010 年正式進入ZB 時代,根據IDC監測,全球數據量大約每兩年翻一番,預計到2020 年,全球將總共擁有40ZB 的數據量,相較於2009 年,數據量將增長近50倍。我們正處於大數據時代的邊緣。
CIO們遇到的挑戰
1、新生代客戶群的需求推動企業業務面臨轉型挑戰,驅動企業IT基礎設施變革適應大數據時代要求。影響企業命脈的,永遠都是客戶需求。新生代客戶手持Post-PC,除了工資以外使用各種投資方式積累財富,每天關注微博,在社交網站中維繫人際關係,青睞網購,要求享受自由的、共享的、娛樂的、完美的信息生活。
大數據的來源包括:
日漸複雜的企業客戶信息數據,分類數據,網店交易記錄;
複雜的終端設備(例Post-PC、視頻監控終端、物聯網傳感器等)產生的信息數據,終端設備日誌等;
豐富的社會生活數據,博客、微博、照片、自創視頻、客戶反饋信息等。
這些ZB級的數據管理和數據分析,將不是傳統的IT伺服器、磁帶、縱向擴展設備能夠承載的。
2、世界經濟形勢趨緊,高額的IT預算,究竟應該在哪裡投入?據調查,企業目前73%的預算都用在基本業務運轉上,剩下的27%才對商業運營有支撐作用。CIO的難處在於IT設施不斷的膨脹,僅僅是因為業務的數量漲了,但是沒有給企業經營帶來真正的增值。值得注意的,未來一到兩年,70%的客戶都將部署私有雲,當大數據遇到雲,會同時對私有雲架構提出要求和挑戰。同時公有雲會繼續擴張和蔓延,催生新型企業和新型業務。另外值得探討的是,為了應對"大數據"浪潮,很多企業在具備一定結構化處理能力的基礎上,將85%以上非結構化數據依託給了Hadoop,隨著對Hadoop的深入探索,有投資人給出這樣的感受--使用Hadoop構建分析性查詢,會變成類似用錘子來建造房屋的活動,不是不可能,但是會帶來不必要的痛苦和可笑的低效成本。主要的痛點在於:
Hadoop適合處理流水線任務,但是對於特定的數據模式分析任務性能極低;
Hadoop的前期投入低廉,但是後期開發成本和維護成本非常昂貴;
Hadoop導致企業信息孤島;
Hadoop的數據容易產生單點故障。