騰訊雲聶晶:數據場景化應用創新與數據價值釋放才是數據倉庫的真正...

2020-12-24 donews

12月20日,在騰訊2020 Techo Park開發者大會大數據專場上,騰訊雲大數據產品總經理聶晶對數據倉庫近30年發展歷程做出總結,並分享了他對目前行業的認知以及未來發展的判斷。聶晶表示,在當前技術環境變化飛速,單一主體企業難以應對數據倉領域爆發式發展挑戰,騰訊雲希望通過開放開源的生態給用戶帶來更為透明和精細化的技術和產品服務,助力企業生產力加速提升。

數據倉庫從1991年被正式提出,歷經近30年的發展歷程,企業對數據倉庫的重要性感知愈加強烈,同時數據倉庫在企業端越來越走向成熟和理性。

「企業不再停留在數據集合的高效存儲和運算,越來越聚焦於數據的場景化應用創新和數據價值釋放的最終目的,這也是數據倉庫的真正目的所在」聶晶強調。

隨著企業關注價值點的變化及構建主體趨向於一線業務團隊的趨勢,也帶來了企業數據倉庫構建敏捷度的更高要求。基於雲計算實現分鐘級構建和擴展的雲原生數據倉庫設施,因為其技術先進性和交付模式的先進性,成為了當前數據倉庫技術的技術核心。

在這一過程中,伴隨當前技術持續爆炸式演進,僅依賴企業自有IT能力已經越來越難於應對當前和未來的挑戰,如何有效藉助於外部資源高效的迎接未來的技術挑戰,成為企業IT技術團隊長期而持續的技術難點。

聶晶介紹,作為一個開放的雲廠商,騰訊雲結合騰訊數據技術實踐、開源技術組織和商業化技術合作夥伴能力,在雲端提供了涵蓋Hadoop、ES、MPP數倉在內的,豐富易用、開源開放的開箱即用數據基礎設施和數據工具,可以幫助企業快速構建安全、穩定、可擴展、可高效運營的數據IT架構。

同時,聶晶判斷在未來五年內,將會有85%以上的企業將會把企業數據倉庫轉移到雲端,數據倉庫的雲端構建將會成為企業的第一優選。他表示,面對需求爆發式的增長,騰訊雲更希望是以一個開放開源的生態,從技術、產品和市場的開放來服務好用戶。

在技術上的開源開放方面,騰訊雲協同開源社區提供開放的技術體系,並通過開源的方式將自己的技術反哺給社區。通過數據產品和市場開源開放做到數據商業化公司的產品與原廠的產品同等市場地位。同時,騰訊也希望將服務市場開放更合作夥伴和開發者,讓大家都能發揮自己的能力。

最後他總結,「我們也希望基於這樣更開源開放的生態,用戶可以享受更為透明和精細化的產品和服務的能力,帶來更大的生產紅利。」

以下為騰訊雲大數據產品總經理聶晶演講實錄:

大家好,我是來自騰訊雲大數據團隊的聶晶。北京今天天很冷,非常感謝大家花費寶貴的周末時間來到我們techo的大數據專場。也非常希望大家在這樣一個平臺上暢所欲言,能有所收穫。

今天咱們回歸到數倉這個發展接近30年的話題,這算是一個老話題,但今年突然大家討論非常多。在海外有近千億美金市值的數倉技術公司成功上市、在國內也有越來越多的新創技術公司和實力雄厚的技術公司進入到這個領域。

除開行業和資本的熱度之外,我們也看到從1991年數倉正式被提出以來,經過接近30年的發展歷程,企業對數據倉庫的重要性感知也愈加強烈。在當前, 95%成熟型企業已經構建了完備的企業數據倉庫架構,並且在持續依託雲計算技術和大數據技術進行技術架構演進;80%的雲端初創型企業開始把數倉決策業務前置,作為初創期與業務平臺同期構建,以提升初創型企業數據驅動業務的敏捷度。甚至,我們看到部分企業在數倉這裡的投入最高可以達到30%以上,這在1991年的數倉史前時代是幾乎不可以想像的景象。

在過去30年的數據倉庫發展之路中,數據規模和價值密度的變化激發了數倉產業的本質性革新。

隨著30年的行業演進,小型機為代表的第一代單一傳統關係資料庫技術已經無法適應這個時代;因此,在技術領域持續湧現出了MPP數倉、SQL On Hadoop、ELK這樣的優秀新興技術,組成了第二代數倉技術的百花齊放時代,這個階段中,我們也看到他們的發展歷程中呈現了融合式演進趨勢,催生著數倉技術的劇烈化學反應;隨著數據倉庫在企業端越來越走向成熟和理性,企業不再停留在數據集合的高效存儲和運算,更越來越聚焦於數據的場景化應用創新和數據價值釋放的最終目的,因為這才是數據倉庫的真正目的之所在。

隨著企業關注價值點的變化及構建主體趨向於一線業務團隊的趨勢,也帶來了企業數據倉庫構建敏捷度的更高要求。傳統數倉耗時數月的構建效能在數倉發展30年後的今天,越來越成為企業的瓶頸;基於雲計算實現分鐘級構建和擴展的雲原生數據倉庫設施,因為其技術先進性和交付模式的先進性,成為了當前數據倉庫技術的技術核心。

如何高效構建與運營一個穩定、可擴展的數據倉庫是當前企業在構建數倉中遇到的第一個初始挑戰,這是對企業當前IT技術能力和運營能力的初始挑戰,以前更多客戶會採用商業化產品和服務來應對這個挑戰,但隨著雲計算的發展,當前更多客戶會願意用雲所提供的開箱即用的數倉產品和服務來應對第一個階段的挑戰。

隨著數據每年三倍,甚至五倍的高速增長下,企業發現當前急待通過新技術、新商業模式解決當下和未來的成本挑戰,在傳統IT架構下降低IT綜合的效果較為局限;如何消減倍增數據規模下的成本增速,成為一個精細化運營企業無法迴避的話題。雲端數據IT設施的新技術、新產品、新服務模式越來越成為企業數據IT成本節約的新動能。

接下來,企業進入到數據價值獲取階段,部分企業鑑於對數據業務的場景化理解力局限性,難於有效結合自有企業數據業務進行數據價值創新探索;在構建完數據基礎架構的企業,越來越希望向企業組織提供到平民化的數據創新力,讓企業全員都能夠參與到無限制探索數據業務創新,讓數據資產真正成為成熟業務的助推劑。事實上,企業更容易忽視的是,在當前技術持續爆炸式演進中的,僅依賴企業自有IT能力,已經越來越難於應對當前和未來的挑戰,如何有效藉助於外部資源高效的迎接未來的技術挑戰,成為企業IT技術團隊長期而持續的技術難點。

單一主體的企業難於應對數倉領域的爆發式發展挑戰;但我們也深知,一個脫離於生態的雲廠商也難於有效幫助到雲端的企業客戶應對這樣的未知挑戰。

作為一個開放的雲廠商,騰訊雲結合騰訊數據技術實踐、開源技術組織和商業化技術合作夥伴能力,在雲端提供了涵蓋Hadoop、ES、MPP數倉在內的,豐富易用、開源開放的開箱即用數據基礎設施和數據工具,可以幫助企業快速構建安全、穩定、可擴展、可高效運營的數據IT架構。同時開放雲生態的技術能力也將有足夠能力保障好企業未來數據技術演進中的技術安全性問題。

同時,在雲端提供的數據產品帶有極強的雲特性,越來越多企業通過大數據存算分離、算力融合、負載彈性擴展等產品/技術策略來持續不斷的優化數據倍速增長中的綜合IT成本。開放雲生態中的客戶技術實踐、解決方案合作夥伴的商業化服務都將能將數據價值創新的技術、經驗、商業模式,通過騰訊雲培訓及技術沙龍平臺,傳導到生態中的每一位參與者,雲端企業可以以此作為數據價值創新過程中的催化劑,真正實現企業的數據價值轉換。我們也認為,在未來五年內,將會有85%以上的企業將會把企業數據倉庫轉移到雲端,數據倉庫的雲端構建將會成為企業的第一優選。

今天,我們在這裡發布一個重磅的開源開放的數據生態戰略。這個數據生態戰略包含三個層面的內容。

第一個是我們技術上的開源開放。包含騰訊自有技術與商業化公司和開源組織的技術共享與協同。其中有類似Angle這樣的優秀技術貢獻到社區,也有類似Ozone這樣的開源技術的騰訊側深度技術參與。

第二個是我們產品生態上的開放。我們將會為新創公司和商業化公司的臻選數據產品和服務提供到與自研產品同等的市場地位。讓我們的客戶享受到更為豐富和優秀的數據產品和服務。

第三個是我們服務生態的開放。我們希望服務市場也開放給我們的合作夥伴和開發者,讓大家都能發揮自己的能力服務好我們的用戶。我們的用戶也能因為這個開源開放的生態,享受到更為透明和精細化的產品和服務能力所帶來的的生產力極大提升的紅利。

聲明:本站轉載此文目的在於傳遞更多信息,並不代表贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題,請在30日內與本網聯繫,我們將在第一時間刪除內容,本網站對此聲明具有最終解釋權。

相關焦點

  • 星環科技構建數據、應用、智能融合的數位化PaaS數據云平臺
    Transwarp Data Catalog 為企業數據治理提供可靠、 便捷、 智能的全流程工具支撐,從而更加有效的發掘和利用信息資產的價值。同時它也提供完整的企業級數據交換功能,並已經在客戶應用中得到了驗證。
  • 產業網際網路新基建,騰訊數據中心如何夯實時代「地基」?
    騰訊雲副總裁陳平表示,數據中心是推動新基建發展的基礎設施和重要支撐。 騰訊數據中心作為新基建最重要的參與者之一,將始終秉持開放的心態,與生態夥伴共同推動先進數據中心產品和技術在產業中落地,不斷釋放出新的經濟動能和社會價值。
  • 企業級數據湖來了 阿里雲陳起鯤:數據湖將成為企業應用創新標配
    10月23日,數據湖高峰論壇在京召開,阿里雲宣布推出業內首個雲原生企業級數據湖解決方案,提供EB級數據存儲、分析能力,可一站式實現湖存儲、湖加速、湖管理、湖計算,幫助企業對數據深入挖掘與分析,洞察其中蘊含價值,更適合於人工智慧、物聯網、自動駕駛等擁有海量數據場景的新興行業。
  • 騰訊雲攜大數據AI新技術亮相2017數博會
    作為一年一度的大數據產業盛事,本屆數博會繼續聚焦大數據的探索和應用,超過400家參展企業在現場展示大數據最新的技術創新和成就,預計參會人數更將多達5萬人。  騰訊已連續第三年深度參與數博會。在本屆數博會現場,騰訊雲作為騰訊技術能力的對外開放窗口,重點展示了多項大數據及人工智慧領域的技術應用,如大數據可視化交互系統、騰訊優圖海量人臉檢索系統、VR虛擬實境體驗區、綠幕摳圖直播體驗區、QQ-AR技術急救包、騰訊雲反詐騙平臺等創新黑科技。
  • 聚焦企業數據安全創新實踐,騰訊天幕打造「協同」邊界防禦
    2019年10月14-15日,中國數據與隱私保護國際峰會在滬舉行。圍繞著數據與隱私法規的前沿問題、創新技術與行業實踐經驗,騰訊安全產品專家常優在會上分享了當前企業從「業務數據化」到「數據業務化」轉型的現狀與痛點,並介紹了騰訊天幕在數據保護邊界防禦中與生態夥伴協同、共贏的實踐案例。
  • 數據湖 VS 數據倉庫之爭?阿里提出大數據架構新概念:湖倉一體
    這些計算引擎針對不同的場景進行針對性優化,但都採用門檻極低的 SQL 語言,極大降低了大數據技術的使用成本,資料庫時代人們夢想的大一統的數據倉庫終於成為現實,各種資料庫時代的方法論開始抬頭。這個時期技術路線開始出現細分。雲廠商主推的如 AWS Redshift、Google BigQuery、Snowflake,包括 MaxCompute 這樣的集成系統稱為大數據時代的數據倉庫。
  • ...開發者大會 騰訊雲一站式數據湖服務助力企業挖掘數據資產價值
    騰訊雲存儲產品中心副總經理陳崢在論壇上表示,大數據時代,海量數據存儲與價值挖掘給企業級數據存儲帶來了成本、性能、安全、業務賦能等一系列的挑戰。降低存儲成本、提高訪問性能成為了企業共同的訴求。(騰訊雲存儲產品中心副總經理陳崢) 一站式數據湖服務,挖掘數據資產價值 當前,全球數據規模呈現爆發式增長,企業對大數據愈加依賴和數據帶來經濟效益的價值不斷凸顯
  • 騰訊雲丟失數據被索賠1100萬!官方:兩次違規操作
    近日,騰訊雲的客戶北京清博數控科技有限公司所屬「前沿數控」平臺一塊作業系統雲盤發生故障,導致文件系統元數據損壞。騰訊方面提出了總金額136,469元的「賠償+補償」解決方案,前沿數控則索賠11,016,000元,被騰訊認為過高,雙方未達成一致。
  • 吳聲:場景創新三要素數據、傳感器、IP
    場景實驗室創始人吳聲在現場談到,場景創新需要的三要素數據、傳感器、IP。   數位化場景是關鍵,場景越來越表現為是可推進、可連接。場景越來越表現為可推薦、可連接、可編輯的信息流,代表算法驅動的體驗氛圍和用戶的自我感知,因為用戶體驗的顆粒度基於場景顆粒度的反映和表現,因為數位化的運維,可運營,技術可支撐,能夠形成邏輯自恰的、閉環的商業模式。
  • 九次方兩大應用平臺入選天津市「大數據應用場景優秀解決方案」
    會上發布了100個大數據應用場景優秀解決方案,其中由九次方大數據打造的「農業生產經營主體信用大數據平臺解決方案」和「大數據融合共享平臺解決方案」均名列其中。為鼓勵社會各界對數據資源進行深度分析、挖掘和開發利用,充分釋放數據的商用、民用、政用價值,推進應用場景落地,今年5月,天津市網際網路信息辦公室、天津市大數據管理中心在第三屆世界智能大會期間,正式發布了「大數據應用場景建設計劃,」面向全球徵集、發布100個具有突出創新引領型需求和應用推廣價值的大數據應用場景。
  • 騰訊安全杜明燈:金融監管科技升級 數據治理是關鍵
    新發展格局下,如何釋放數據要素生產力,金融如何進一步服務實體經濟,監管部門該如何藉助科技力量防範風險、強化監管?在「數據治理創新分論壇」上,騰訊安全雲副總經理杜明燈圍繞數位化浪潮下金融安全的巨大挑戰和時代機遇做了深入解讀。杜明燈建議,主管部門以新基建為契機做好地方金融監管科技升級,發揮聯邦學習、多方安全計算等新技術的作用,促進數據要素成為新的生產力。
  • 雲測數據:打造AI數據大腦,讓自動駕駛技術「耳聰目明」
    「雲測數據在智能駕駛領域數據標註領域長期保持著領先優勢。」雲測數據賈宇航介紹,雲測數據為了滿足智能駕駛領域不同場景的特殊需求,在業內首創了「數據場景實驗室」模式,通過還原多種智能駕駛細分場景,以解決特定場景下的數據缺失、質量良莠不齊等行業問題。
  • 漫畫:數據倉庫、數據中臺、數據湖,終於搞懂了!
    1、數據倉庫數據倉庫由數據倉庫之父比爾·恩門於1990年提出,英文名稱為Data Warehouse,可簡寫為DW或DWH。數據倉庫,是為企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合。■ 數據是可平滑擴充的,利用分布式存儲與分布式計算技術,當數據量擴大或者分析業務擴充時,能夠在不影響已有數據的情況下,快速平滑擴充。■ 數據的變化與使用是可追溯的,支持血緣追溯功能,當數據發生錯誤時,可快速定位錯誤的來源,並且對數據的影響範圍與用戶清晰,化被動為主動。
  • 第七屆騰訊數據中心分享日啟動,構建IDC生態助推新基建進程
    騰訊數據中心作為新基建最重要的參與者之一,將始終秉持開放的心態,與生態夥伴共同推動先進數據中心產品和技術在產業中落地,不斷釋放出新的經濟動能和社會價值。此次,騰訊雲IDC產品族的重磅亮相,也正是騰訊構建全場景服務生態,助力合作夥伴數位化轉型升級的重要舉措。
  • ShareRing共享環和騰訊雲:數據管理和自治ID技術應用
    ShareRing是一個面向企業、自主的身份識別平臺,該平臺與科技巨頭騰訊雲通過與子公司騰訊(泰國)有限公司合作,共同開發一款行業首創的應用程式,以幫助政府和提升新常態下的旅遊業。利用雲技術和AI的應用程式將引入先進的數據管理和身份安全平臺,該平臺旨在以最便宜和最可集成的方式降低各種規模企業的進入門檻。這一創新幫助東協地區的國家安全地向旅遊業重新開放邊境,這一舉動為旅遊業在2019年為全球經濟帶來了9萬億美元,並在2020年從經濟打擊中復甦。
  • 海雲數據推動數據價值變現,獲最具價值 AI 應用獎
    作為 AI 應用與可視分析領導者,海雲數據受邀參加此次盛會,並在此次活動的獎項頒布環節獲得「最具價值 AI 應用獎」。   助理 CEO 劉秋雯(中)代表海雲數據領取「最具價值 AI 應用獎」   隨著「人工智慧+」時代的到來,世界科技進入極速進化期,科技正在從第三產業逐步發展成為整個社會的底層建築。
  • 石家莊:大數據應用提速升級
    承南接北,東出西聯,區位交通優勢明顯,大數據產業基礎雄厚。河北省石家莊市,河北政治經濟文化中心,搶抓機遇,乘「雲」而上,加快建設大數據應用示範區,全力打造大數據產業創新應用高地。「新基建」按下快進鍵,支撐大數據產業創新應用4月3日,石家莊市正定新區常山雲數據中心,一組組機櫃整齊排列在機房,兩名技術人員在巡視伺服器機櫃,為用戶提供穩定的雲數據服務。
  • 賽飛特借力「大數據+」布局城市智慧化圖景
    選取「SAFETY」諧音的青島本土企業賽飛特,持「大數據+」深耕安全技術服務領域近20年。疫情當下,賽飛特正圍繞數據資產、數據運營、數據智能、數據生態發展,提速布局應用場景新賽道。「城市生命線」的接力賽對藝術品鑑賞情有獨鐘的李迪,擅長將頗具女性色彩的藝術眼光,融入到數據背後的潛在價值中,並擁有自己對大數據的解讀,「應用場景也是智慧場景,是數字靈感的藝術,也因人的參與不斷被賦予新意義。」
  • 大數據應用案例TOP100
    文/謝然  在當前的網際網路領域,大數據的應用已十分廣泛,尤其以企業為主,企業成為大數據應用的主體。大數據真能改變企業的運作方式嗎?答案毋庸置疑是肯定的。隨著企業開始利用大數據,我們每天都會看到大數據新的奇妙的應用,幫助人們真正從中獲益。大數據的應用已廣泛深入我們生活的方方面面,涵蓋醫療、交通、金融、教育、體育、零售等各行各業。
  • 騰訊雲小微&騰訊雲TI-ONE聯合團隊登頂RACE數據集
    近日,騰訊雲小微及騰訊雲TI-ONE聯合團隊在大型深層閱讀理解任務數據集 RACE 數據集(ReAding Comprehension dataset collected from English Examinations)上登頂第一。