大數據應用論壇(上):現場直擊百度、騰訊、eBay等大數據應用實踐

2021-01-21 CSDN技術社區

【CSDN現場報導】2014年12月12-14日,由中國計算機學會(CCF)主辦,CCF大數據專家委員會承辦,中科院計算所與CSDN共同協辦,以推進大數據科研、應用與產業發展為主旨的2014中國大數據技術大會(Big Data Technology Conference 2014,BDTC 2014)暨第二屆CCF大數據學術會議在北京新雲南皇冠假日酒店盛大開幕。

2014中國大數據技術大會第二日上午的大數據應用論壇上,包括華盛頓大學終身教授,中國聯通研究院大數據/雲計算首席科學家陳一昕,Co-Creator of Apache Kylin, eBay高級產品經理韓卿,百度研究院大數據實驗室數據科學家沈志勇,中國移動蘇州研發中心大數據項目總監徐萌,騰訊數據平臺部精準推薦中心深度學習方向負責人鄒永強在內的一線專家就大數據應用相關研究發表了主題演講。

1. 陳一昕:電信運營商大數據應用實踐


華盛頓大學終身教授,中國聯通研究院大數據/雲計算首席科學家 陳一昕

華盛頓大學終身教授,中國聯通研究院大數據/雲計算首席科學家陳一昕發表了題為「電信運營商大數據應用實踐 」的主題演講,他表示,運營商現在面臨激烈競爭,大數據時代想要點石成金,關鍵是大數據挖掘,那麼當下面臨的主要挑戰是通信行業缺乏專業化數據挖掘技術、支持海量數據的高性能算法、保護用戶隱私的數據交互模式以及高素質的大數據團隊。

他表示現在電信運營商內部包括自己做的都是一些比較簡單對數據統計簡單的分析,缺乏的是對大數據的深度挖掘探索和創新,所以在中國聯通研究院目前的主要任務就是全面提高中國聯通大數據研發能力,可以概括為兩個方面:一方面是大數據核心技術的支撐,另外一方面大數據的產品服務,通過一系列的研發對內更好的提供應用支撐,對外提供產品服務。


期間,他還詳細介紹了聯通目前正在進行的大數據技術和產品方面的研發。包括基於高性能計算的海量數據挖掘工具箱、超大規模用戶社交網絡分析、模型庫組合與優化、用戶搜尋引擎 、基於聯通大數據的金融徵信。在他看來,聯通想要擁有行業領先的大數據對內及對外開放能力,搶佔大數據戰略制定高點,極大的依賴於聯通自身的大數據分析和挖掘能力。建立一套有效、安全、高質量的,針對通信領域的大數據挖掘分析工具無疑能夠幫助聯通提升大數據產業的競爭力。最後,他還就運營商大數據、用戶搜尋引擎、用戶徵信系統展開敘述。

2. 韓卿:Apache Kylin introduction


Co-Creator of Apache Kylin, eBay高級產品經理 韓卿

Co-Creator of Apache Kylin, eBay高級產品經理韓卿發表題為「Apache Kylin introduction」的主題演講,他表示Kylin是一套由eBay公司打造的開源分布式分析引擎,其突出特性在於能夠為Hadoop支持下的龐大數據集帶來標準SQL接口與多維分析(OLAP)能力。

他首先介紹了什麼是Kylin以及開發這個項目的初衷,並且分享了Apache Kylin的背景以及想要解決的業務問題,還有所採用的技術。之後,他介紹了產品與技術的一些特性,同時還詳細介紹了 Kylin性能的一些數據。


該項目已經在今年10月1號開源,並且在今年11月25日已經成為Apache的孵化項目。關於Kylin的整體架構以及Kylin技術亮點,他都做了詳細解讀,談到性能方面,他將Kylin和Hive作了對比。最後他們希望打造的Kylin的生態系統能夠和Hadoop等系統合作,將整個系統聯繫起來。

3. 沈志勇:從數據到智能——百度大數據智能分析應用實踐


百度研究院大數據實驗室數據科學家 沈志勇

百度研究院大數據實驗室數據科學家沈志勇的演講主題為「從數據到智能——百度大數據智能分析應用實踐」,他的演講從三個方面展開:大數據時代與百度大數據引擎、百度大數據智能分析、百度大數據智能應用案例。

在他看來,大數據時代給行業帶來的挑戰主要是企業最基礎數據存儲和計算能力缺乏;數據管理以及數據挖掘這塊對數據積累要求比較高也會存在挑戰;另外,現在各行各業都的數據很多時候是孤島,沒有打通起來達到更大的價值。


對應上面的挑戰,他分享了百度提出來的大數據引擎,它也是分為三個層次,跟剛才說的三個挑戰對應的。最底層我們叫做開放雲,它承擔的是存儲能力,開放雲基礎上有一個數據工廠,數據工廠就是數據倉庫,再上層叫做百度大腦。最後,他重點介紹了百度大腦和BDL,關於BDL大數據智能分析案例,他分享了在旅遊、體育、運維/運營、金融等方面的應用。

4. 徐萌:中國移動「大雲」大數據產品及應用


中國移動蘇州研發中心大數據項目總監 徐萌

中國移動蘇州研發中心大數據項目總監徐萌發表了題為「中國移動『大雲』大數據產品及應用」的主題演講,談到中國移動「大雲」大數據產品整體規劃,她表示大雲大數據產品線為中國移動大數據應用提供三大領域的基礎能力:數據採集和處理、數據挖掘及可視化、運營管理。

接著,她重點分享了目前他們做的大數據產品,主要由「大雲」大數據平臺BC-Hadoop,「大雲」大數據倉庫系統BC- HugeTable,「大雲」分布式關係資料庫BC-RDB,「大雲」數據挖掘和ETL工具BC-PDM。


關於「大雲」大數據應用實踐,她強調對內支撐精細化運營,包括支撐客戶體驗提升、精細營銷、產品創新、網絡優化、企業管理水平提升;對外尋求新業務增長點,包括支撐行業大數據解決方案、數據變現及社會化洞察等對外服務模式。

5. 鄒永強:Mariana:騰訊深度學習平臺進展與應用


騰訊數據平臺部精準推薦中心深度學習方向負責人 鄒永強

騰訊數據平臺部精準推薦中心深度學習方向負責人鄒永強發表了題為「Mariana:騰訊深度學習平臺進展與應用」的主題演講,他首先介紹了騰訊深度學習的應用需求。在談到騰訊深度學習平臺的挑戰時候,在他看來主要包括:

深度神經網絡模型複雜,訓練數據多,計算量大深度神經網絡需要支持大模型深度神經網絡訓練中超參數多,需要反覆多次實驗


基於以上的挑戰他們構建了騰訊深度學習平臺Mariana,它的目標首先是通過並行加速計算;第二通過模型拆分支持大的模型;第三構建通用的框架簡化代碼的編寫加速實驗。對Mariana提出三大框架,第一個MarianaDNN,這是深度神經網絡GPU運行的框架;第二個是MarianaCNN;第三個MarianaCluster,它們主要應用就是語音識別、圖像識別和廣告推薦。

更多精彩內容,請關注直播專題2014中國大數據技術大會(BDTC) ,新浪微博@CSDN雲計算,訂閱CSDN大數據微信號。

相關焦點

  • 百度大數據的應用與實踐
    產生於網際網路的大數據應用,現階段正在向其他行業領域滲透,成為行業創新和轉型的重要驅動力。根據百度多年來在大數據領域的創新與實踐,闡述了大數據驅動搜尋引擎的發展,介紹了百度大數據引擎和行業應用實踐。重點分析了大數據發展的關鍵因素,並提出了大數據和人工智慧是未來信息技術發展的重要方向。
  • 大數據核心技術與應用論壇:業務應用及技術生態圈探索
    在6月4日下午舉行的「大數據核心技術與應用論壇」中,中國大數據專家委員會副主任委員、北京郵電大學副校長郭軍,百度大數據部研發總監高亮,微軟亞洲工程院院長劉震,中國電信股份有限公司雲計算公司副總經理王興剛,中國大數據專家委員會委員、中國電子學會雲計算專家委員會委員、北京友友天宇系統技術有限公司總經理姚宏宇,搜狐大數據中心技術經理李滔,AdMaster技術副總裁盧億雷等專家一起對大數據技術和應用兩個方面進行了深入分享和探討
  • 【SDCC 2015現場】算法實踐論壇(上):網易、京東、騰訊的算法優化...
    今年是第七屆,大會為期三天,除了陣容強大的全體大會外,主辦方還精心籌備了九大技術專場論壇,包括:架構實踐論壇、前端開發論壇、資料庫實戰論壇、研發管理論壇、安全技術論壇、算法實戰論壇、程式語言論壇、產品與設計論壇、微信開發論壇。此外,還有五場特色活動及展覽展示。
  • 直擊BDTC,東方國信獲評TOP10大數據應用最佳實踐案例
    12月5-6日,由中國計算機學會主辦,CCF大數據專家委員會承辦的2019中國大數據技術大會(以下簡稱BDTC 2019)在京舉行。大會發布了2019年度 TOP10大數據應用最佳實踐案例,東方國信「基於機理模型庫的流程行業協同創新平臺」成功上榜。
  • 直擊現場|數據驅動發展 合作促進共贏——聯合國大數據全球平臺...
    直擊現場|數據驅動發展 合作促進共贏——聯合國大數據全球平臺中國區域中心正式成立 2020-12-08 15:09 來源:澎湃新聞·澎湃號·政務
  • 「數」見未來——直擊衡陽市2020年大數據科技傳播與應用高峰論壇
    湖南日報·華聲在線記者 聶沛 成俊峰 12月13日,「百年變局,數勝未來」2020年大數據科技傳播與應用高峰論壇在衡陽啟幕。活動主要包括論壇開幕式、主旨演講、2020年大數據科技傳播獎頒獎典禮、高端對話、企業家座談會、參觀考察及合作籤約等環節。
  • 第二屆微熱點大數據論壇在滬舉辦 大咖齊聚探討大數據與社會治理新...
    本屆論壇以「大數據驅動的社會治理創新」為主題,邀請十餘位來自高校、研究機構和聯通、華為、阿里巴巴、百度、新浪微博等企業的嘉賓,在新媒體大數據推動治理能力和治理體系現代化方向展開討論分享。開幕儀式上,浦東新區科協黨組書記、常務副主席顧兵,中國城市報社副總經理常亮發表了致辭。
  • 大數據應用 運維專題及常見問題 - CSDN
    2016年9月22日-23日,SDCC2016大數據技術&架構實戰峰會將在杭州舉行,兩場峰會大牛講師來自阿里、京東、蘇寧、唯品會、美團點評、遊族、餓了麼、有贊、Echo等知名網際網路公司,共同探討海量數據下的應用監控系統建設、異常檢測的算法和實現、大數據基礎架構實踐、敏捷型數據平臺的構建及應用、音頻分析的機器學習算法應用,以及高可用/高並發/高性能系統架構設計、電商架構
  • 大數據應用論壇(下):看Dropbox、騰訊、沃爾瑪、螞蟻金服、宜信...
    在14日「大數據應用」論壇的下午,Dropbox研發經理邵錚、騰訊廣點通高級研究員靳志輝、沃爾瑪實驗室核心數據科學家Zhu Tao、螞蟻金服大安全安全智能部總監/資深數據專家和CCF大數據專家委員會委員陳繼東、宜信大數據創新中心研發總監鄭華以及高德軟體有限公司數據架構師周琦等6位一線技術專家深入分享了他們最新的大數據實戰經驗。
  • 百度祝恆書:百度智能招聘技術和應用實踐
    2020年8月29日,第18期「AI未來說·青年學術論壇」(「AI+X」領域專場)以「線上平臺直播+微信社群圖文直播」形式舉行。百度祝恆書帶來報告《百度智能招聘技術和應用實踐》。百度智能招聘技術和應用實踐首先,祝恆書博士向大家介紹了百度人才智庫團隊TIC,該團隊是專注於人才管理計算方向的AI和數據科學團隊,它通過人工智慧大數據的方法幫助企業實現人才管理模式的轉型,能夠幫助企業人才管理從經驗導向向大數據智能化導向變革。
  • 百度祝恆書:百度智能招聘技術和應用實踐
    2020年8月29日,第18期「AI未來說·青年學術論壇」(「AI+X」領域專場)以「線上平臺直播+微信社群圖文直播」形式舉行。百度祝恆書帶來報告《百度智能招聘技術和應用實踐》。,它通過人工智慧大數據的方法幫助企業實現人才管理模式的轉型,能夠幫助企業人才管理從經驗導向向大數據智能化導向變革。
  • 大數據應用技術課程教學改革與實踐
    分析了大數據人才培養的現實需求,指出了大數據人才培養的現存問題,然後以「大數據應用技術課程」為例,在重構教學體系、優化教學內容、改進教學方法、規範教學過程和完善教學評價等方面闡述了大數據專業教學改革的路徑選擇與實踐,致力於創新培養兼具工程實踐能力與技術創新能力的跨界複合型大數據人才。
  • 【SDCC2015現場】前端開發論壇:開發框架、工程化、組件化、數據...
    今年是第七屆,大會為期三天,除了陣容強大的全體大會外,主辦方還精心籌備了九大技術專場論壇,包括:架構實踐論壇、前端開發論壇、資料庫實戰論壇、研發管理論壇、安全技術論壇、算法實戰論壇、程式語言論壇、產品與設計論壇、微信開發論壇。此外,還有五場特色活動及展覽展示。
  • 百度大數據人工智慧菁英班迎法醫女博士加入 有望助醫學科研添AI應用
    (圖示:2020級「百度大數據人工智慧菁英班」合照)據了解,百度大數據人工智慧菁英班(以下簡稱「菁英班」)由百度與西安交通大學聯合設立,以菁英教育為宗旨,培養具有大數據人工智慧應用專門知識,熱愛人工智慧應用技術
  • 數據質量與數據治理的發展趨勢、政策標準、技術方法和實踐應用
    本次峰會上,華矩科技創始人及董事長CEO譚海華老師將結合多年大數據行業的經驗,回顧中國數據質量管理的發端、發展和現狀,研判數據治理的未來趨勢,對我國大數據發展提出相關思考和建議。中國聯通在行業率先構建了集中化大數據平臺,而數據的集中,再到應用牽引,倒逼中國聯通著手做數據治理。本次峰會上,中國聯通信息化部副總經理王志軍老師將從中國聯通的數據質量治理應用場景出發分析大規模數據集中為通信行業帶來的機遇與挑戰,並分享中國聯通在此方面的數據質量管理實踐。
  • 【SDCC2015現場】資料庫實戰論壇:分布式資料庫的實踐與挑戰
    今年是第七屆,大會為期三天,除了陣容強大的全體大會外,主辦方還精心籌備了九大技術專場論壇,包括:架構實踐論壇、前端開發論壇、資料庫實戰論壇、研發管理論壇、安全技術論壇、算法實戰論壇、程式語言論壇、產品與設計論壇、微信開發論壇。此外,還有五場特色活動及展覽展示。
  • 大數據技術論壇(上):Spark、Hadoop技術成主角
    【CSDN現場報導】2014年12月12-14日,由中國計算機學會(CCF)主辦,CCF大數據專家委員會承辦,中科院計算所與CSDN共同協辦,以推進大數據科研、應用與產業發展為主旨的2014中國大數據技術大會(Big Data Tec就hnologyConference 2014,BDTC 2014)暨第二屆CCF大數據學術會議在北京新雲南皇冠假日酒店盛大開幕。
  • 百度雲亮相北郵第二屆AI論壇 講述AI邂逅企業級應用的技術實戰
    日前,北京郵電大學第二屆人工智慧論壇召開。百度智能雲副總經理、AI商用業務負責人李碩,阿里達摩院機器智能實驗室副主任華先勝,騰訊覓影應用中心主任吳明柱三位AI大咖坐陣,現場分享了BAT在人工智慧領域的實踐與自身對於AI產業現狀和未來的看法。
  • 衡陽聯通智慧5G應用亮相2020年大數據科技傳播與應用高峰論壇
    12月12日-14日,以「百年變局,數勝未來」為主題的2020年大數據科技傳播與應用高峰論壇在衡陽召開。李蘭娟、李德仁等十位院士及全國著名大數據應用與傳播企業創始人、總裁、副總裁、執行長等兩百餘名大咖齊聚衡陽,為大數據科技傳播與應用探索道路。12月13日的會議現場,衡陽聯通以「創新˙與智慧同行」為主題,展示了5G+智慧旅遊、5G+智慧社區、5G+產業集群、5G+AR以及大數據領域的核心技術突破。
  • 《綠色數據中心節能技術應用論壇》現場圖文回顧
    2020年8月13日,由中國電子節能技術協會指導、中國電子節能技術協會數據中心節能技術委員會(GDCT)主辦、西安工程大學、北京領智信通節能技術研究院和ICTresearch諮詢公司共同承辦的「綠色數據中心節能技術應用論壇」走進古都西安。