企業手裡有大量數據卻無處使用?阿里雲想把「數據處理」變成一門生意

2020-12-26 品玩

無論是「小數據」時代還是現在的「大數據」時代,對數據的挖掘、存儲、分析和使用從來就不是一件簡單的事兒,而且這件事的難度還會隨著數據量的增長而變得越來越大。同時,單個企業若是僅僅想要進行數據的存放和處理,去配備一整套Hadoop集群也並不經濟。於是,阿里雲準備將這件事做成一門生意,幫助企業對他們手中的數據進行存儲和分析。

不久前,阿里雲正式對外公布了一個叫做ODPS的商用服務。ODPS的全稱是Open Data Processing Service,也就是開放數據處理服務。企業可以將來自前端的大量數據集中導入到阿里雲中存儲,這一點類似於亞馬遜此前推出的Redshift數據倉庫。

不僅如此。官方還表示,在這個基礎上,阿里雲將會開放更多的數據分析服務。目前,ODPS開放了SQL功能,以用於數據倉庫和日誌分析。這就像是Google此前推出的BigQuery——它可以讓開發者可以使用Google的架構來運行SQL語句對超級大的資料庫進行操作。同樣地,現在企業也可以使用ODPS來對數據進行處理了。

在價格和性能方面,ODPS是按照使用量付費的:存儲1GB的數據,每個月收取大概0.5元錢左右;阿里雲還官方公布了一個數據處理能力供參考:6個小時ODPS可以處理100PB的數據。至於至關重要的商用後的SLA(服務等級協議),ODPS產品經理湯子楠披露了一部分:在技術層面,阿里雲承諾放在ODPS中的數據不會洩漏,阿里巴巴和阿里雲也不會查看;在服務層面,鑑於不能承諾所有提交的數據處理作業都能計算成功,如果是阿里雲方面的原因導致作業失敗,那麼阿里雲則不會收費,而且對於離線作業來說,只對作業成功的那次進行收費。

在此前,ODPS一直被應用於阿里內部的業務系統中,一個典型的應用就是阿里小貸公司的審核和放款流程。阿里巴巴的官方數據稱,有超過36萬人從阿里小貸借款,最小貸款額為1元,並且能夠實現3分鐘申請、1秒放款、0人工幹預。在這些背後,阿里小貸每天需要處理30PB數據,包括店鋪等級、收藏、評價等800億個信息項,運算100多個數據模型……這些都是放在ODPS上存儲和分析的。阿里雲還表示,淘寶和支付寶等阿里巴巴的部分核心數據業務,也都運行在ODPS平臺之上。而在ODPS的產品頁面則拿出了阿里巴巴的關聯公司天弘基金和眾安保險作為案例來進行宣傳。

從目前來看,ODPS開放的還只是針對大量數據的數據倉庫功能,以及部分數據分析服務。但阿里雲顯然並不想止步於此。

你可以把阿里雲此前一個叫做「御膳房」的服務看作ODPS未來發展方向的縮影。簡單來說,「御膳房」實際上是對淘寶和天貓電商數據的挖掘、存儲、分析和服務輸出的整套服務。在「御膳房」中,淘寶和天貓平臺上的大量電商數據被放到ODPS上進行存儲,阿里巴巴還引入了第三方ISV(獨立軟體開發商)來針對這些數據開發分析工具和模型進行分析,最後他們將分析結果拿到服務市場上去銷售給賣家——所謂針對淘寶天貓用戶進行的精準廣告營銷,就是通過這種方法得來的。

在ODPS被開放出來之前,「御膳房」完全是阿里巴巴內部的電商平臺上生長出來的產物,從數據來源,到數據取向,都是服務於淘寶和天貓平臺。而在開放以後,就會有更多類型的企業和數據(包括一些阿里巴巴內部不太擅長處理的非結構化數據)被放在ODPS上,而使用範圍也將不僅僅局限於阿里巴巴平臺了。

用更加直白的語言來解釋就是,ODPS此次作為PaaS被開放了出來進行商用,接下來,企業自身、或者借用ISV開發的工具再在ODPS之上進行數據分析,然後使用這些分析結果。

不過,ODPS現階段仍有不少問題。湯子楠坦言,對非結構數據的支持將會是ODPS面臨的一大挑戰。因為ODPS最早是基於阿里巴巴內部的業務成長起來的,而阿里巴巴分析的數據主要是交易數據和用戶行為數據——這些數據大多都是結構化和半結構化的。這決定了,ODPS最初開放的服務面向的也都是結構化數據,比如無人分析、數據倉庫、BI(商業智能)分析。而隨著更多的企業使用ODPS,一定會有大量非結構化的數據放到這個平臺上來,這將會是ODPS接下來要探索的很重要的一個方面。

另外則是數據的傳輸問題。阿里雲官方的建議是直接使用ODPS的數據倉庫,這樣就可以直接調用ODPS之上的分析工具;但如果客戶的數據並不存儲在阿里雲上,也想使用ODPS對數據進行分析,則只能通過API使用https協議傳輸——這意味著網絡傳輸不得不受到網速的限制。當然,企業還可以選擇把數據裝進硬碟裡,寄給阿里雲。

註:題圖來自Shutterstock

相關焦點

  • 阿里雲王堅:在線的數據才是有用的數據
    阿里雲王堅:在線的數據才是有用的數據 在沙龍會上,阿里雲總裁王堅發表了他對雲計算的看法,他認為,今天的數據不是大,真正有意思的是數據變得在線了,這個恰恰是網際網路的特點。所有東西在線這個事情,遠遠比「大」更反映本質。  王堅說:「為什麼今天的淘寶數據值錢,因為他在線了。寫在磁帶、寫在紙上的數據,根本沒有用。反過來講,在線讓數據搜集變得非常容易。
  • 阿里雲賈揚清:人工智慧是大數據業務發展的終極出口
    比如中國信通院使用了Flink作為技術藍本設計流式處理標準,雲計算公司包括阿里雲等均使用Flink作為流式處理的底層引擎。  ·社群。Flink開源社區高速增長,登頂Apache最活躍的郵件列表; Flink項目是Github提交次數最多的Apache頂級項目之一。
  • 阿里雲發布飛天大數據平臺,雲計算打響「DT戰爭」?
    2016年的「新零售」現在已經是公認的零售新篇章,而2014年的「人類正從IT時代走向DT時代」,也在逐漸變成現實——不管什麼樣的企業,都習慣要「大數據」一下。這其中,阿里自己往往成為「預言」的忠實擁躉,新零售跑馬圈地,現在大數據也要「搞個大新聞」。
  • 阿里雲全面布局雲原生資料庫產品體系,點亮企業數據上雲之路
    自此,阿里雲資料庫正式全面升級到雲原生資料庫時代。   雲原生數據倉庫AnalyticDB,讓開發人員「會資料庫就會大數據」   在數據分析領域,傳統自建分析系統面臨擴展性差、建設成本高昂、系統複雜等一系列挑戰,用戶無法充分發揮數據價值。   阿里雲持續探索並重磅升級雲原生數據倉庫AnalyticDB。
  • 企業級數據湖來了 阿里雲陳起鯤:數據湖將成為企業應用創新標配
    10月23日,數據湖高峰論壇在京召開,阿里雲宣布推出業內首個雲原生企業級數據湖解決方案,提供EB級數據存儲、分析能力,可一站式實現湖存儲、湖加速、湖管理、湖計算,幫助企業對數據深入挖掘與分析,洞察其中蘊含價值,更適合於人工智慧、物聯網、自動駕駛等擁有海量數據場景的新興行業。
  • 【0225宅家一課】阿里雲羅慶超:企業數據上雲構建數據湖的正確姿勢
    演講嘉賓:阿里巴巴資深技術專家,阿里雲對象存儲負責人 羅慶超寫過RAID晶片的驅動,參加過集群卷管理和集群文件系統的開發和維護;從零開始主導設計和開發過自研SAN、目前從事雲存儲上的智能數據分析和處理,挖掘數據更多的價值。
  • 卡西歐:阿里雲數據中臺是企業高效發展的基礎
    所以,大多數80後90後記憶裡關於哆啦A夢周邊的最初印象,很有可能都是盜版衍生物。 同時,由於盜版的充斥和兩岸三地譯法的不同,哆啦A夢在中國市場上的品牌形象也顯得格外混亂,甚至連名字都不統一:中國臺灣地區叫小叮噹,中國香港地區叫叮噹,央視還曾翻譯為阿蒙,甚至連最廣為熟知的「機器貓」也是盜版經常使用的名字。
  • 阿里雲高管一行到訪亞德科技·嵩德數據紀實
    除「黑科技」外,阿里巴巴在智博會期間還帶來了一系列「大動作」,螞蟻金服、阿里雲、菜鳥、釘釘將有諸多重磅項目落地重慶,攜手重慶打造「亞洲最智能特大型城市」。8月24日下午14時,阿里雲事業部一行9人結束智博會相關會議及事務後專程趕往亞德科技及其子公司嵩德數據,針對各自業務領域、業務拓展及可能的合作領域展開交流會談。
  • 中國氣象數據網遷至阿里雲
    中國氣象報記者劉釗報導 記者從國家氣象信息中心獲悉,3月8日,中國氣象數據網正式遷至「阿里雲」,利用公有雲的計算、存儲與網絡服務資源,進一步提高中國氣象數據網的高可靠、高並發服務能力,適應雲計算、大數據等現代信息技術的快速發展,滿足社會公眾和市場多元主體日益提高的氣象信息服務需求
  • 一場曼倫營銷理論體系與阿里雲數據中臺相結合的實踐
    小吳完全是各大品牌定義的那類典型都市青年:有一份穩定的工作,能支撐自己較好地生活在新一線城市,也有足夠的「閒」錢去滿足自己包括無人機、周末自駕遊在內的各項興趣愛好。今年天貓雙11,除了趕在最後一小時下單的降噪耳機和隔天就收到貨的秋冬季男裝,就數手裡剛拿到的這件「戰利品」最為寶貝。
  • 歷史遺蹟也能變成智慧景區?良渚古城遺址與阿里雲數據中臺實踐
    目前,依託阿里雲數據中臺,良渚古城遺址公園的智慧景區框架已經基本搭建完成,在數據全面上雲的基礎上,通過阿里雲數據中臺核心產品之一的Dataphin實現景區的管理體系、遊客服務體系、營銷決策體系等多業務數位化體系搭建,並在過程中試行數據體系打通和治理,統一數據口徑及標準。
  • 中國氣象局公服中心聯手阿里雲 開展大數據合作
    2014年5月27日,中國氣象局公共氣象服務中心與阿里雲達成戰略合作,共同挖掘氣象大數據的深層價值。海量氣象數據將通過阿里雲計算平臺,變成可實時分析應用的「活數據」,服務國民經濟和社會民生。據悉,這是國家部委首次採用民營科技公司提供的雲計算和大數據服務。
  • 阿里雲將在印度和印尼建立數據中心,並與塔塔通信達成合作丨雲棲...
    日,阿里雲在雲棲大會·上海峰會上宣布,將在印度和印度尼西亞新建數據中心,為海內外企業提供更加便捷的全球一張網雲計算服務。未來新增的印度、印尼和馬來西亞數據中心,將把阿里雲全球覆蓋面提高至由數十個飛天數據中心覆蓋的17個區域。大會上,印度電信巨頭塔塔通信與阿里雲宣布達成合作。此前,另一印度科技巨頭信實電信也宣布成為阿里雲的合作夥伴。在印尼,當地最大的票務服務商Ezytravel、社交媒體Yogrt、短視頻Vshow等新興的網際網路科技公司也正在使用阿里雲的服務。
  • 阿里雲交通數據中臺解決方案 打造「數位化生產力」
    總結而言,主要體現在4個方面:(1)交通業務系統相互獨立,數據孤島現象嚴重,業務處理容量大但是無統一標準,採集的欄位混亂,難以理解和應用?(2)先前已經搭建了交通大數據平臺,但是缺乏行業知識庫,計算分析能力弱,數據只是簡單地BI展現,不能賦能業務創新?
  • 阿里雲天池競賽百萬大獎尋90後數據科學家(組圖)
    參賽選手可以免費使用:由阿里雲計算提供的御膳房、ODPS (Open Data Processing Service)等大數據處理工具;由阿里巴巴、螞蟻金服集團提供的,經過嚴格脫敏處理的海量商業數據。大賽採取積分晉級制,排名通過官網每天更新,總獎金可最高挑戰100萬元。
  • 業內首次融合數據倉庫與數據湖 阿里雲推出下一代大數據平臺「湖倉...
    9月18日,2020雲棲大會上,阿里雲正式推出大數據平臺的下一代架構——「湖倉一體」,打通數據倉庫和數據湖兩套體系,讓數據和計算在湖與倉之間自由流動,從而構建一個完整的有機的大數據技術生態體系。為企業提供兼具數據湖的靈活性和數據倉庫的成長性的新一代大數據平臺,降低企業構建大數據平臺的整體成本。
  • 企業名址數據處理的難點與思路|華矩數據治理系列講座
    在銀行、科技、網際網路、供應鏈等多項產業中,企業面對客戶處理業務時大多需要以公司名稱為客戶主體,如果客戶名稱不準確,存在大量重複對象,那麼對企業來說,將產生大量的文件盒數據,這對於客戶查找、更新和維護都帶來不少的困難。
  • ...阿里雲還發布了量子通信、專有雲和新數據中心 | 雲棲2017深圳
    資料庫產品升級數據上雲後,對數據的一致性和可靠性也需要考慮,所以阿里雲對ApsaraDB資料庫產品作了升級,推出了MySQL企業版,用於更好的支持企業數據。同時,還整合了數據分析功能,推出ApsaraDB for HybridDB的產品。
  • 阿里雲數據中臺告訴你:當消費者在諮詢安全套的時候其實是在問什麼
    小吳完全是各大品牌定義的那類典型都市青年:有一份穩定的工作,能支撐自己較好地生活在新一線城市,也有足夠的「閒」錢去滿足自己包括無人機、周末自駕遊在內的各項興趣愛好。今年天貓雙11,除了趕在最後一小時下單的降噪耳機和隔天就收到貨的秋冬季男裝,就數手裡剛拿到的這件「戰利品」最為寶貝。
  • 大數據對企業有什麼作用
    大數據技術不僅包括數據的採集,還包括對數據的理解和分析,以創建用戶行為模式。只有這樣,大數據才能對企業有用。   大數據應用為企業進行市場研究、原型開發、產品開發和演變、用戶獲取以及營銷工具鋪平了道路。因此,大多數企業都希望以更新、更具創新性的形式使用「大數據」技術。