【SDCC講師專訪】AdMaster技術副總裁盧億雷:分布式資料庫挑戰與分析

2021-01-09 CSDN技術社區

SDCC 2015將於2015年11月19-21日在北京.朗麗姿西山花園酒店召開。在大會召開之際,筆者採訪到了AdMaster技術副總裁盧億雷,請他分享分布式資料庫面臨的挑戰,以及怎樣成為一名優秀的技術人?屆時,盧億雷將在新一代資料庫調優實戰論壇中帶來《分布式資料庫挑戰與分析》的主題分享,歡迎前來現場聆聽【點擊這裡搶票】。


AdMaster技術副總裁 盧億雷

CSDN:首先請簡單介紹下自己、公司以及目前所負責的領域

盧億雷:AdMaster技術副總裁,大數據資深專家,CCF大數據專委委員。主要負責數據的採集、清洗、存儲、挖掘等整個數據流過程,確保提供高可靠、高可用、高擴展、高性能系統服務,提供Hadoop/HBase/Storm/Spark/ElasticSearch等離線、流式及實時分布式計算服務。 對分布式存儲和分布式計算、超大集群、大數據分析等有深刻理解及實踐經驗。有超過10年雲計算、雲存儲、大數據經驗。擁有多項發明專利,《一種分布式文件系統及其數據訪問方法》和《一種數據備份的版本管理方法及裝置》等。

AdMaster精碩科技是領先的營銷數據技術公司,主要專注數據挖掘、分析和管理。以軟體即服務(SAAS)的商業模式,幫助企業創造價值。業務主要覆蓋:第三方數字廣告審計和社會化媒體、電商及跨多屏整合領域的大數據分析、管理、應用及綜合解決方案。終端涵蓋個人電腦及行動裝置。AdMaster擁有超過1000臺的伺服器集群,完成每天超過100億的採集請求,每天有對上1000億數據進行幾千個維度的離線、流式、實時分析和計算,同時,我們還擁有業界最前沿OLAP的SSD集群。

CSDN:從聯想到百度到Carbonite China再到目前的AdMaster,這一路走來,給你最大的收穫是什麼?

盧億雷:2006年曾作為聯想網盤核心人員就職於聯想研究院;2010年加入百度基礎架構部,負責Hadoop集群優化;2011年,應邀組建Carbonite China團隊,作為技術總監及架構師,主持並規劃上線「凱備份」產品,保證了Carbonite在NASDAQ順利上市。經歷了由大公司到創業公司,從雲存儲行業到大數據行業,最大的收穫是技術視野的開拓轉變為技術與業務的完美融合,由小處著手到大處著眼,由純技術到技術與管理的融合等。

CSDN:你認為,目前分布式資料庫面臨的挑戰有哪些?

盧億雷:分布資料庫對傳統資料庫的很多理論都提出了挑戰。如在SSD存儲下怎麼樣提高資料庫性能;如怎麼樣在高可靠性的前提下提高資料庫插入和查詢性能;如在支持分布式事務前提下如何提高數據調用性能;如對幾千至幾萬列的複雜查詢提供秒級返回結果;如對CAP理論以及存儲方式都有不同程度的挑戰,特別是對OLAP,CAP理論裡的C(Consistency)一致性,會有不同程度的弱化等。

CSDN:你認為一名優秀的技術人應該具備怎樣的素質?

盧億雷:技術方面在系統可用的情況下,保證技術架構的延展性,不要設計過度;一定要精通一門程序語言;英文閱讀能力也還需要不錯,需要經常關注國內外各種新技術狀態,需要和幾個知名專家經常溝通技術;另外有寫文檔的習慣,有模塊化、自動化思想。非技術方面需要有主動溝通意識,多參加行業技術探討性活動,最後一點是一定要了解業務。

CSDN:日常工作中你會通過哪些渠道來提升個人能力?

盧億雷:主要通過業界同行交流、朋友圈(微信、微博等)以及各種著名會議(國外、國內)的分享來獲取信息及提升社交能力,特別是關注github、Apache開源項目、slashdot等獲取最新技術,另外如果關注某個項目,我會加入用戶和開發郵件列表裡,及時掌握項目進展。還有就是我會參加一些會議及做一些分享,以此來提高個人演講能力;儘量多跟業界交流,不光是會獲取豐富信息,而且可以分享自己經驗一起促進整個行業發展;最後是獲取新知識後一定要實踐,我自己經常會去搭系統測試。

CSDN:你目前還會關注哪些新技術?給從事資料庫方面的開發者一些學習建議吧。

盧億雷:主要關注大數據相關的技術,重點關注分布式內存數據以及分布式多維查詢系統,如實時的OLAP系統,比如說Redis、Gemfire和HBase、Cassandra、Druid、Drill、Pinot、ElasticSearch等。我建議如果想從事資料庫方面的開發,一定要對作業系統、網絡原理、一門程式語言很熟悉,然後再熟悉分布式系統原理,接下來一定要對資料庫設計原理了解,包括傳統關係型資料庫以及NoSQL資料庫。最後需要熟悉開源的資料庫如MySQL、HBase等這類的資料庫的架構設計、優化以及適應場景。

CSDN:在本次SDCC 2015上想分享的話題是?

盧億雷:在本次SDCC2015上分享的主題是《分布式資料庫挑戰與分析》,包括有分布式資料庫介紹(包括ACID、CAP理論模型等)、OLTP和OLAP對比分析、分布式資料庫遇到的問題分析以及分布式資料庫實際案例分析等。

CSDN:你最期待在本次SDCC 2015上聽到哪些內容?

盧億雷:最期待看到國內對軟體生態系統貢獻情況,以及他們各自的案例有哪些;另外還想了解國內和國外OLAP發展情況。


強大的講師陣容……

由CSDN舉辦的SDCC 2015中國軟體開發者嘉年華將於11月19-21日在北京舉行,本次大會涵蓋:新型資料庫、程式語言、工具與平臺、產品與設計、前端開發、算法、微信開發、架構實踐、安全等九大分論壇。想了解更多精彩演講,想要見到更多頂級軟體開發者,敬請關注SDCC 2015中國軟體開發者大會官網,【點擊這裡搶票】。

本文為CSDN原創文章,未經允許不得轉載,如需轉載請聯繫market#csdn.net(#換成@)

相關焦點

  • DTCC2020阿里雲李飛飛:雲原生分布式資料庫與數據倉庫系統點亮數據...
    簡介: 資料庫將面臨怎樣的變革?雲原生資料庫與數據倉庫有哪些獨特優勢?在日前的 DTCC 2020大會上,阿里巴巴集團副總裁、阿里雲資料庫產品事業部總裁、ACM傑出科學家李飛飛就《雲原生分布式資料庫與數據倉庫系統點亮數據上雲之路》進行了精彩分享。
  • 產業分布式技術變革乘風破浪,資料庫國產化巨浪加速
    近日,在2020中國系統架構師大會上,騰訊雲資料庫技術負責人雷海林圍繞騰訊雲資料庫異構多源同步遷移技術方案進行了分享。「資料庫未來一定是向分布式方向發展,資料庫核動力升級的時代即將到來。」雷海林表示。
  • 金融企業選擇與應用分布式資料庫的7個核心問題
    接手騰訊分布式資料庫以來,主要負責騰訊雲分布式資料庫功能策劃、市場能力建設、服務支撐能力建設和團隊建設等。 大家好,我是來自騰訊雲的蘇強。從騰訊雲分布式資料庫商用那天起,我就在分布式資料庫團隊裡,所以可以很自豪地說,我是最了解騰訊雲分布式資料庫的人之一。今天我將和大家分享近兩年來分布式資料庫在金融行業裡真實應用的細節與核心。
  • 阿里巴巴集團副總裁李飛飛:雲計算加速資料庫與大數據系統演進
    原標題:阿里巴巴集團副總裁李飛飛:雲計算加速資料庫與大數據系統演進   「
  • GoldenDB分布式資料庫中標交通銀行信用卡中心試點項目
    近日,中興通訊GoldenDB分布式資料庫成功中標交通銀行信用卡中心試點項目,這是GoldenDB在全國大行關鍵業務上的又一重大突破,將進一步完善中興通訊在金融行業的布局。近年來,移動網際網路及智能終端技術的發展,大大促進了行動支付的普及。
  • 深度|阿里雲李飛飛:資料庫發展的幾個重要趨勢
    李飛飛,阿里巴巴集團副總裁、高級研究員,阿里雲智能資料庫事業部總負責人上世紀80年代初,資料庫系統逐步走上信息技術舞臺的中央;2000年開始,大數據技術興起;再到2010年後,雲計算熱度持續升溫;技術的進程走到了今天這個奇妙的節點,看向未來有幾個趨勢可能會發生。僅以此文,分享一些淺見和實踐。
  • 光大銀行分布式實戰:國內最大繳費平臺的資料庫架構轉型
    三、光大的分布式資料庫技術調研及思考 所以光大銀行對分布式資料庫的技術做了一些相關調研。等到原來這種傳統架構的資料庫達到一個性能瓶頸,出現性能拐點,那時候一定會出現一個大幅度的性能抖動或者滑坡。但是在分布式架構下,我們就可以通過它橫向的擴展能力,讓平均響應時間基本維持在恆定的一條線上。 目前,分布式部署技術很多企業都在用,但切入點是不一樣的,而且也形成了多種技術路線,並且這幾種路線,從我們的調研來看,也都在不斷地演進。
  • 鯤鵬展翅守衛「雲上金庫」, 易鯨捷開創資料庫新紀元
    線上交易的普及,在為人們提供便利性服務的同時,也對金融行業提出了更高的挑戰。高頻交易下 傳統資料庫面臨升級挑戰傳統的金融行業,業務場景大多由人做主導。通過合理的預約辦理機制能夠保障核心資料庫的穩定運行,信息的提取也相對有序化。
  • 從單體式向分布式演進 金山雲打造更高性能的資料庫DragonBase
    來源:時刻頭條在信息快速發展多元化的今天,資料庫作為現代信息技術領域的三大核心基礎之一,重要性愈發明顯。隨著傳統商業資料庫產品的熱度逐漸下降,更多的企業級用戶逐漸轉向雲分布式資料庫及開源資料庫產品,雲化部署模式正在逐漸超越傳統部署模式並成為市場的發展趨勢。
  • 受邀出席2020數據技術嘉年華 RadonDB以分布式架構應對數據爆發
    【天極網IT新聞頻道】北京,2020年11月21日——   日前,2020數據技術嘉年華十周年慶典在京舉行,青雲QingCloud (qingcloud.com)連續三年受邀參展。會上,青雲QingCloud資料庫高級技術專家張雁飛帶來了《從單機到分布式:雲資料庫架構演進之路》主題演講,介紹了資料庫從主從架構到金融級架構、TP+AP架構,再到分布式架構的「演進」之路。
  • 南大通用分布式事務型資料庫GBase 8c滿分通過工信部標準測評
    南大通用分布式交易型資料庫產品GBase 8c在基礎能力、兼容能力、管理能力、高可用、擴展能力、安全能力等50個方面,均滿足資料庫管理平臺基礎能力測試要求,以滿分的優異成績通過「第11批大數據產品能力測評」分布式事務資料庫能力認證。
  • 「技術貼」微服務中臺技術解析之分布式事務方案和實踐
    隨著軟體系統從單體應用邁向微服務架構以及資料庫選型去中心化、異構化的趨勢,傳統的ACID事務在分布式系統上能否延續,如何落地,有哪些注意事項?本文將圍繞分布式事務這一技術議題,介紹FreeWheel核心業務系統在相關領域的業務需求、技術決策和線上實踐。
  • 對話阿里雲李飛飛:雲原生資料庫的時代來了
    正如上述提及的「水井和池塘」的邏輯,隨著池塘不斷變大,越來越多應用遷移上雲,池塘不再是池塘,而將變成了江河大海,池塘與池塘之間還可以利用傳統分布式技術進行打通,實現雲原生+分布式的架構。這樣做帶來的好處,就是經濟學裡經常聽到的一個基本、樸素的道理 —— 規模化應用後帶來邊際成本下降效應。
  • 分布式光伏如何直面「平價」挑戰?
    「光伏發電成本的不斷下降為分布式光伏規模化發展掃清了道路,越來越多的企業看好分布式光伏的投資價值。在二氧化碳排放力爭2030年前達峰、努力爭取2060年前實現碳中和的目標下,分布式光伏將成為其中不可或缺的重要組成部分。」日前,中國光伏行業協會副秘書長王世江在第四屆分布式光伏嘉年華上表示。
  • ACM 傑出科學家得主達摩院李飛飛教授:資料庫研究道阻且長,需持之...
    李飛飛教授於今年五月正式加盟阿里巴巴達摩院,帶領團隊投入到具有自主智慧財產權的資料庫系統研究當中,包括新一代分布式資料庫、非結構化數據管理、數據安全、智能化資料庫等關鍵技術,並致力於將中國資料庫技術水平提升至國際前沿,打破寡頭企業對資料庫核心技術的壟斷。
  • 麒麟信安作業系統與科藍分布式內存資料庫系統完成兼容互認證,打
    我的煤炭網>新聞>冶金電力>麒麟信安作業系統與科藍分布式內存資料庫系統完成兼容互認證,打 麒麟信安作業系統與科藍分布式內存資料庫系統完成兼容互認證,打   湖南麒麟信安科技有限公司 發布日期:2020-09-22 14:38:31
  • 大數據分析中Spark,Hadoop,Hive框架該用哪種開源分布式系統
    打開APP 大數據分析中Spark,Hadoop,Hive框架該用哪種開源分布式系統 算法與數據結構 發表於 2020-09-17 13:17:00
  • 支付寶資深技術專家尹博學:新一代金融核心突破之全分布式單元化...
    微服務、容器、無伺服器架構、服務網格等新技術的出現,在技術社區中激起了一浪又一浪的創新熱潮。然而由於金融行業對性能和安全的嚴苛要求,雲原生技術在企業實際場景中的實施落地,特別是在金融場景的實施落地,仍然面臨諸多挑戰。本文整理自2020阿里雲線上峰會螞蟻集團資深技術專家尹博學的主題演講,為大家分享螞蟻關於金融級IT架構及分布式架構的思考和應用實踐。
  • 分布式系統事務一致性
    分布式系統數據的強一致性、弱一致性和最終一致性可以通過Quorum NRW算法分析。分布式事務的目的是保障分布式存儲中數據一致性,而跨庫事務會遇到各種不可控制的問題,如個別節點宕機,像單機事務一樣的ACID是無法奢望的。1、Two/Three Phase Commit2PC,中文叫兩階段提交。
  • 基於分布式帳本技術的跨境支付系統應用
    這種層級代理結算方式客觀上存在支付周期較長、資金佔用較多、支付費用高、安全性低等問題,亟需引入新技術進行升級改造。分布式帳本技術及其在跨境支付領域的應用分析分布式帳本是一種在網絡成員之間共享、複製和同步的資料庫。