2014百度世界大數據論壇在北京大飯店舉行,百度基礎架構部高級總監劉煬對百度在開放雲這個領域的進展情況進行了介紹。
劉煬:各位嘉賓下午好,非常高興今天有機會在這裡給大家匯報一下百度在開放雲這個領域的一些進展。大家都知道,今天有幾個特別熱的詞語:創新,網際網路,大數據,這些幾乎是所有公司今天都在追求的,不管是創新公司還是傳統企業,都在追求這樣的創新:怎麼樣跟網際網路進行結合,怎麼樣跟大數據結合,運用大數據來提升整個公司的能力。這也是我們為什麼要做開放雲的原因。
三個熱詞
首先我們來看」創新」,創新有什麼煩惱?創新是每個人都想要的東西,但是說實話創新不容易,創新往往需要很多的投入:要買機器,要買軟體,要進 行大規模的投入,IT成本非常高。錢還是小事情,時間才是大問題。也就是Time to marketing。現在有個講法,idea is cheap,他有一個idea,我有一個idea,誰快誰成功。網際網路一定是快速的試錯,快速的迭代。我怎麼樣減少投入,怎麼樣快速迭代,成為了一個至關 重要的問題。
第二個熱門的詞「網際網路」,今天大家都在想做網際網路。為什麼?網際網路將你的商業和用戶直接聯繫起來。就像陳總剛剛講的,過去可能要通過渠道商或 者各種各樣的方法接觸用戶,今天看來這種方法是低效的,所以必須要打破瓶頸,去第一時間直接接觸用戶,了解用戶想要什麼。網際網路幫你直接接觸客戶。這個商 業模式需要非常多的技術做支撐,我列了一堆名詞,都是網際網路技術。大家說網際網路技術很簡單,搞一個LAMP就是網際網路了,但是今天並非如此,需要非常多的 技術,而這些技術恰恰是小公司面臨的難題。
第三個熱門詞是「大數據」,大數據首先是大流量。今天促銷,站點流量可能是平時的幾十倍幾百倍,但這樣的大流量可能並沒有得到好的技術支撐,我們看到facebook早 期的很多競爭對手都失敗了,為什麼?當流量太龐大進而扛不住的話,用戶就會離開。同時流量意味著數據,所以還會有非常多的數據產生出來,往往是PB的數量 規模,這些數據有沒有好的技術架構存下來?存下來還不夠,關鍵是你怎麼把有價值的數據提煉出來,沒有提煉的數據就只是一個負債,是死數據。怎麼樣把死數據 變成活數據,變成資產,這就需要非常強大的數據處理能力。
我們看到的創新、網際網路、大數據,其實都面臨非常大的挑戰,不是拍腦袋想一想就能做出來,這裡面的技術難度是非常高的。這也是為什麼百度要去做開放雲。百度開放雲希望為客戶提供開放的雲服務和完整的解決方案,只需要點一下按鈕,即可部署,而且是按需付費,不用一次性投入太高的成本。另外開放雲提供豐富且有特色的服務,可以把這些服務像積木一樣搭建起來,同時搭配百度自動化的智能運維工具,提供了完整的解決方案,幫助企業在競爭獲得更大的優勢。
開放雲結合大數據
今天的主題是開放雲和大數據,那開放雲怎麼樣和大數據結合?不管是什麼業務一定有大數據存儲,數據存儲在開放雲裡,涉及非常多的業務,可以是網際網路應用,可以是一個mobile App,可以是後臺的數據處理,以及後臺的ERP流程。當所有的業務和數據都跑在雲上的時候,可以讓數據存儲更容易,跟大數據能力進行更好地對接,同時把大數據處理結果進行應用也更容易。所以這是我們為什麼做開放雲的原因。
百度一直堅持走開放的道路,在SaaS服務上面我們提供高級服務,比如地圖導航,應用統計,語音識別,人臉識別,視頻轉碼等等,在PaaS層也在提供BAE,輕應用等很多服務。百度在未來會開放更多的服務。
今天百度將推出「百度開放雲-雲引擎beta版」。剛剛說SaaS/PaaS都是上層服務,今天我們推出的「雲引擎」,將覆蓋IaaS – Infrastructure as a Service,也就是我們將要開放出來的新能力。百度為什麼要開放這個IaaS?很重要的一點,今天大家都知道我們的企業其實需要的不僅僅是高大上的東西,也需要完整的IT解決方案,這個解決方案既包括上層的服務應用,也包括基本的網絡存儲等基礎設施服務。 從我們跟很多企業的溝通來看,他們就有非常多的類似需求,我們希望藉助百度開放平臺,為客戶提供一個完整的雲到端的解決方案。大家看到,今天的百度在不斷 地創新和開放新的東西,從設備端到雲端,在雲端更是從SaaS到PaaS再到IaaS。百度雲引擎,大家今天就可以開始註冊試用。
百度雲引擎
提到百度雲引擎,提到百度基礎架構技術,我們有非常多的技術積累。百度為什麼成為這麼大的搜尋引擎? 大家知道百度1999年開始做搜尋引擎,在2003年我們已經將搜索技術全部換到了最先進的分布式計算系統,真正系統自動地進行分布式的調度,能做到這一 點靠的是不斷的技術沉澱。從2008年開始,我們在基礎架構技術的投入加速,不斷推出更多的新成果。比如,剛剛餘老師提到,我們的機器學習模型支持百億級 的特徵量;我們的數據中心能夠做到中國最好的PUE1.32;我們在做整機櫃;我們的集群規模過萬臺;等等。通過這些大家可以看到百度在基礎技術方面積累非常多,未來百度會一個一個逐步開放,讓大家享受到百度最底層的技術所帶來的便利。
今天,百度的規模已經非常大,所有規模數字下面都是非常多的機器,非常多的系統,非常多的研發人員的汗水。今天百度總容量已經達到千P,每天新 增的數量級都有1個P,每天處理的數據超過50個P,峰值處理每秒達50個GB,更重要的是,百度的業務非常複雜,各種類型的應用,各種各樣的數據,都在 我們的系統上跑。所以我們有信心,在座各位的複雜業務也一定可以在我們開放雲上面跑起來。
用百度雲引擎你可以做什麼呢?這是我下面要介紹的。百度雲引擎有非常多的特點,今天因為時間關係我不可能一一介紹,下面主要講三個特點:安全可靠,高性能,高擴展性。
我們先來看看安全可靠。百度開放雲上將會使用百度雲安全作為安全防護的系統。百度雲安全提供WEB防火牆,百度業務都在百度雲安全的保護之下,所以在百度雲裡面會非常安全。同時我們使用了非常高可靠的安全認證系統,所有的行為都會需要認證,審計和應用也都非常嚴格。百度開放雲的內容分發網絡也是全中國部署,可以支撐百G量級的DDoS攻擊,當有攻擊來的時候可以靈活調動化解攻擊。百度開放雲還提供資料庫服務,大家知道雲應用都離不開資料庫,百度內部資料庫應用非常廣,有超過1萬個database的實例。開放雲上的資料庫服務主從實時同步,可進行秒級的快速切換,而且系統會定時自動備份,所以是一個非常可靠的環境。
當然光要安全可靠還不夠,還需要高性能的環境。百度對性能一直放在非常重要的優先級,比如我們的雲磁碟,我們在需要性能的地方使用SSD技術,速度非常快。不但快,我們的雲磁碟都是三副本存儲,不會出現磁碟出了問題數據就丟掉的情況,一個磁碟壞了,還有存儲在別的磁碟的副本。而且既使是雲磁碟它可能比你本地磁碟速度還是要快很多,可以保證有更高讀寫速度服務的需求。百度的雲磁碟可以掛在雲主機上,也就是雲伺服器。我們百度的雲伺服器是非常快的,我們對虛擬機一直通過深度的內核優化來提高速度。剛剛也提到百度內網,我們使用萬兆的交換機,內網是非常非常快的,在開放雲中訪問百度的服務非常快,你自己的機器或服務之間訪問也非常快。開放雲的外網是公網高速的BGP,你也不用再擔心南北互聯的問題。所以這些都是幾個例子都說明我們在性能上非常地關注。
如果你有好的系統,你有好的數據,你怎麼獲得業務擴展?我們相信在網際網路時代,流量變動非常大,網際網路時代要想活的好,一定是要有非常好的可擴展性。大家知道百度有雲網盤,百度在雲網盤是裡面有幾百P的數據,開放雲使用相同的存儲技術,所以在開放雲存儲方面我們是具有非常高的可擴展性,支持EB級別的存儲。百度MapReduce兼容Hadoop,你以前的程序不需修改就可以跑在百度開放雲上,同時百度MapReduce也有非常好的可擴展性。我們的負載均衡也有非常好的橫向水平伸縮能力。當你的流量大時,我們可以幫你增加資源,當你流量小的時候,我們可以幫你釋放資源。
未來百度還會提供更多的產品在百度雲引擎上面。
最後我再一次邀請大家來試用我們的百度雲引擎,大家可以通過bce.baidu.com來申請,另外大家也可以掃描二維碼,直達bce.baidu.com。我們希望為中國網際網路提供一個性能更高,安全更好,彈性更好,以及更便宜的IT服務鏈。