SDCC 2015將於2015年11月19-21日在北京.朗麗姿西山花園酒店召開。在大會召開之際,筆者採訪到了AdMaster技術副總裁盧億雷,請他分享分布式資料庫面臨的挑戰,以及怎樣成為一名優秀的技術人?屆時,盧億雷將在新一代資料庫調優實戰論壇中帶來《分布式資料庫挑戰與分析》的主題分享,歡迎前來現場聆聽【點擊這裡搶票】。
AdMaster技術副總裁 盧億雷
CSDN:首先請簡單介紹下自己、公司以及目前所負責的領域
盧億雷:AdMaster技術副總裁,大數據資深專家,CCF大數據專委委員。主要負責數據的採集、清洗、存儲、挖掘等整個數據流過程,確保提供高可靠、高可用、高擴展、高性能系統服務,提供Hadoop/HBase/Storm/Spark/ElasticSearch等離線、流式及實時分布式計算服務。 對分布式存儲和分布式計算、超大集群、大數據分析等有深刻理解及實踐經驗。有超過10年雲計算、雲存儲、大數據經驗。擁有多項發明專利,《一種分布式文件系統及其數據訪問方法》和《一種數據備份的版本管理方法及裝置》等。
AdMaster精碩科技是領先的營銷數據技術公司,主要專注數據挖掘、分析和管理。以軟體即服務(SAAS)的商業模式,幫助企業創造價值。業務主要覆蓋:第三方數字廣告審計和社會化媒體、電商及跨多屏整合領域的大數據分析、管理、應用及綜合解決方案。終端涵蓋個人電腦及行動裝置。AdMaster擁有超過1000臺的伺服器集群,完成每天超過100億的採集請求,每天有對上1000億數據進行幾千個維度的離線、流式、實時分析和計算,同時,我們還擁有業界最前沿OLAP的SSD集群。
CSDN:從聯想到百度到Carbonite China再到目前的AdMaster,這一路走來,給你最大的收穫是什麼?
盧億雷:2006年曾作為聯想網盤核心人員就職於聯想研究院;2010年加入百度基礎架構部,負責Hadoop集群優化;2011年,應邀組建Carbonite China團隊,作為技術總監及架構師,主持並規劃上線「凱備份」產品,保證了Carbonite在NASDAQ順利上市。經歷了由大公司到創業公司,從雲存儲行業到大數據行業,最大的收穫是技術視野的開拓轉變為技術與業務的完美融合,由小處著手到大處著眼,由純技術到技術與管理的融合等。
CSDN:你認為,目前分布式資料庫面臨的挑戰有哪些?
盧億雷:分布資料庫對傳統資料庫的很多理論都提出了挑戰。如在SSD存儲下怎麼樣提高資料庫性能;如怎麼樣在高可靠性的前提下提高資料庫插入和查詢性能;如在支持分布式事務前提下如何提高數據調用性能;如對幾千至幾萬列的複雜查詢提供秒級返回結果;如對CAP理論以及存儲方式都有不同程度的挑戰,特別是對OLAP,CAP理論裡的C(Consistency)一致性,會有不同程度的弱化等。
CSDN:你認為一名優秀的技術人應該具備怎樣的素質?
盧億雷:技術方面在系統可用的情況下,保證技術架構的延展性,不要設計過度;一定要精通一門程序語言;英文閱讀能力也還需要不錯,需要經常關注國內外各種新技術狀態,需要和幾個知名專家經常溝通技術;另外有寫文檔的習慣,有模塊化、自動化思想。非技術方面需要有主動溝通意識,多參加行業技術探討性活動,最後一點是一定要了解業務。
CSDN:日常工作中你會通過哪些渠道來提升個人能力?
盧億雷:主要通過業界同行交流、朋友圈(微信、微博等)以及各種著名會議(國外、國內)的分享來獲取信息及提升社交能力,特別是關注github、Apache開源項目、slashdot等獲取最新技術,另外如果關注某個項目,我會加入用戶和開發郵件列表裡,及時掌握項目進展。還有就是我會參加一些會議及做一些分享,以此來提高個人演講能力;儘量多跟業界交流,不光是會獲取豐富信息,而且可以分享自己經驗一起促進整個行業發展;最後是獲取新知識後一定要實踐,我自己經常會去搭系統測試。
CSDN:你目前還會關注哪些新技術?給從事資料庫方面的開發者一些學習建議吧。
盧億雷:主要關注大數據相關的技術,重點關注分布式內存數據以及分布式多維查詢系統,如實時的OLAP系統,比如說Redis、Gemfire和HBase、Cassandra、Druid、Drill、Pinot、ElasticSearch等。我建議如果想從事資料庫方面的開發,一定要對作業系統、網絡原理、一門程式語言很熟悉,然後再熟悉分布式系統原理,接下來一定要對資料庫設計原理了解,包括傳統關係型資料庫以及NoSQL資料庫。最後需要熟悉開源的資料庫如MySQL、HBase等這類的資料庫的架構設計、優化以及適應場景。
CSDN:在本次SDCC 2015上想分享的話題是?
盧億雷:在本次SDCC2015上分享的主題是《分布式資料庫挑戰與分析》,包括有分布式資料庫介紹(包括ACID、CAP理論模型等)、OLTP和OLAP對比分析、分布式資料庫遇到的問題分析以及分布式資料庫實際案例分析等。
CSDN:你最期待在本次SDCC 2015上聽到哪些內容?
盧億雷:最期待看到國內對軟體生態系統貢獻情況,以及他們各自的案例有哪些;另外還想了解國內和國外OLAP發展情況。
強大的講師陣容……
由CSDN舉辦的SDCC 2015中國軟體開發者嘉年華將於11月19-21日在北京舉行,本次大會涵蓋:新型資料庫、程式語言、工具與平臺、產品與設計、前端開發、算法、微信開發、架構實踐、安全等九大分論壇。想了解更多精彩演講,想要見到更多頂級軟體開發者,敬請關注SDCC 2015中國軟體開發者大會官網,【點擊這裡搶票】。
本文為CSDN原創文章,未經允許不得轉載,如需轉載請聯繫market#csdn.net(#換成@)