阿里雲發布ODPS 可分析PB級海量數據

2021-01-09 經濟觀察網

經濟觀察網 記者 彭友 8日,阿里雲計算發布核武級大數據產品——ODPS。通過ODPS在線服務,小型公司花幾百元即可分析海量數據。ODPS可在6小時內處理100PB數據,相當於1億部高清電影。此前,全球掌握這種能力的公司屈指可數,如Google、亞馬遜等。

五年間,阿里雲的工程師們寫下250萬行代碼,不斷打磨ODPS。該團隊在一封公開信中描述:「把數據海洋裡的水灌進ODPS,設定好一套參數,擰開水龍頭,出來的就是鮮榨果汁!」對比工業時代,ODPS相當於大數據時代的流水生產線,水龍頭裡流出來的「果汁」,隨原始數據和算法的改變而千變萬化。

公開信中表示:工業革命後的200多年裡,人類對物理資源的利用登峰造極,對數據資源的利用卻仍處於起步階段。Google、Facebook、阿里巴巴等網際網路公司先行一步,觸碰到了大數據的魅力。然而,人類擁有的絕大部分數據還無法產生價值。

採用傳統方案處理大規模數據,一般得耗資數千萬自建數據中心,請專業技術人員維護運作。一旦數據總量超過100TB,技術挑戰會非常大。Hadoop開源運動降低了這一成本,不過自建一個像樣的Hadoop集群,仍然需要上百萬的起步資金。專業的Hadoop人才則更加稀缺。

相比而言,使用ODPS的成本和門檻則低得多。ODPS採取按量收費的模式,目前定價0.3元/GB,即開即用,一個月內免費。根據大部分公司的數據量來測算,一般每月只需花費數百元。

在對外商用之前,ODPS一直是阿里巴巴內部的秘密武器。阿里小貸最先將ODPS應用到商業領域。如今,超過36萬人從阿里小貸借款,最小貸款額為1元,並實現3分鐘申請、1秒放款、0人工幹預。要做到這一點,阿里小貸每天得處理30PB數據,包括店鋪等級、收藏、評價等800億個信息項,運算100多個數據模型,甚至得測評小企業主對假設情景的掩飾和撒謊程度。阿里小貸每筆貸款成本3毛錢,不到普通銀行的1/1000。

據悉,淘寶、支付寶等阿里巴巴最核心的數據業務,都運行在ODPS平臺。比如阿里媽媽廣告的核心算法,點擊預測模型的訓練等。ODPS商用,意味著阿里雲將這種大數據處理能力對外開放,此舉將大幅降低社會創新成本。

在公共領域,ODPS也具備廣泛應用的潛力:華大基因利用ODPS進行基因測序,耗時不到傳統方式的十分之一,未來一旦爆發生物危機,可以為人類贏得寶貴的破譯時間;藥監部門利用ODPS,全程監管藥品流向,解決假藥問題。「我們期待未來每一桶油、每一道菜的數據都跑在ODPS上,食品安全問題需要通過創新的方式來解決。」

目前,全球提供類似服務的僅有Google和亞馬遜,國內尚無同類產品可供比較。阿里雲方面表示,ODPS將比Google BigQuery更強大,不僅支持更豐富的SQL語法,還將提供MapReduce編程模型和機器學習建模能力,可以服務更多應用場景。

相關焦點

  • 阿里雲發布大數據產品ODPS 6小時處理100PB數據
    阿里雲發布ODPS 可分析PB級海量數據 新浪科技訊 7月8日下午消息,阿里雲計算發布大數據產品——ODPS。通過ODPS在線服務,小型公司花幾百元即可分析海量數據。ODPS可在6小時內處理100PB數據,相當於1億部高清電影。此前,全球掌握這種能力的公司僅有Google、亞馬遜等少數幾家。 阿里雲ODPS團隊在一封公開信《人人都可以成為BAT》中表示:工業革命後的200多年裡,人類對物理資源的利用登峰造極,對數據資源的利用卻仍處於起步階段。Google、Facebook、阿里巴巴(滾動資訊)等網際網路公司先行一步,觸碰到了大數據的魅力。
  • 阿里發布大數據產品ODPS 6小時處理100PB數據
    據悉,淘寶、支付寶等阿里巴巴最核心的數據業務,都運行在ODPS平臺。比如阿里媽媽廣告的核心算法,點擊預測模型的訓練等。ODPS商用,意味著阿里雲將這種大數據處理能力對外開放,此舉將大幅降低社會創新成本。目前,全球提供類似服務的僅有Google和亞馬遜,國內尚無同類產品可供比較。
  • 中國氣象局聯手阿里雲:海量氣象數據變「活數據」
    目前,我國每年新增的氣象數據達到PB量級(1PB=1024TB,1TB=1024GB),較上世紀90年代增長了數千倍,並仍在快速增長中。存儲和處理這些數據,需要海量的計算資源。阿里雲每天可支持上百PB的數據處理,是中國每天新增氣象數據量的數萬倍。採用雲計算服務,中國氣象局可以避免資金巨大、周期漫長的IT系統投入。
  • 不要猶豫 了解這些即可玩轉阿里雲ODPS
    ODPS設計之初就是為了對外開放,做基於網際網路的多租戶的公共數據處理服務,所以安全性在ODPS的設計和實現中具有最高的優先級。  簡單來說,ODPS(Open Data Processing Service)是一項Web服務,大家不用花大錢建數據中心,就能分析海量數據。看到這個介紹,大概就知道ODPS是幹嘛的了。也可以和自建數據中心做個區分。
  • 阿里雲發布第七代ECS、雲原生資料庫PolarDB-X等重磅...
    6月9日,阿里雲宣布推出第七代ECS、POLARDB-X資料庫、視覺智能開放平臺等重磅新品,在性能、穩定性和開發效率上繼續領跑全球。此外,阿里雲還發布了新一代數據中臺、混合雲管理平臺、雲原生數據倉庫等產品及解決方案,目前這些產品均已在阿里雲官網上線。
  • 100PB!網際網路史上最大數據遷移之一:115科技遷至阿里雲
    6月7日,上海雲棲大會上,115科技和阿里雲宣布完成阿里雲史上最大數據遷移上雲項目,115科技的全部數據都搬遷至阿里雲上,規模超過100PB,整個項目耗時僅45天,創造了新的「中國速度」,這也是中國網際網路史上涉及用戶量最多、數據規模最大的遷移項目之一。
  • 阿里雲發布自研商用關係型資料庫POLARDB
    一場以人類社會數據暴漲驅動的網際網路基礎設施進化隨之而來。在2017杭州雲棲大會前夕的9月21日,阿里雲正式發布了自研新一代商用關係型雲資料庫POLARDB,該資料庫採用第三代分布式共享存儲架構,創新實現企業級OLTP與OLAP一體化資料庫系統整體設計,一個資料庫即可滿足多類資料庫的混合使用效果,為企業智能化轉型帶來新的進化動力。
  • 高分衛星陸續發射 如何挖掘海量影像數據價值?
    這是一顆光學遙感衛星,地面像元解析度最高可達亞米級,主要用於國土普查、城市規劃、土地確權、路網設計、農作物估產和防災減災等領域,可為「一帶一路」建設等提供信息保障。面對海量影像數據的存儲管理與分析發布,國產GIS平臺MapGIS的表現如何呢?
  • 華為發布全新一代OceanStor存儲Pacific系列 釋放海量數據價值
    【TechWeb】5月28日,華為面向全球發布全新一代海量數據存儲OceanStor存儲Pacific系列,通過打破架構、服務和性能的邊界,以多協議無損互通、下一代彈性EC算法和系列化硬體,靈活應對AI、HPC、視頻等海量數據場景的多樣化需求及效率、成本和可靠性挑戰,幫助企業釋放海量數據價值。
  • 京東雲推出雲搜索Elasticsearch,助力海量數據搜索分析
    近日,京東雲發布雲搜索Elasticsearch公測版,致力於海量數據搜索和日誌分析,旨在為用戶提供更便捷的雲搜索服務。Elasticsearch是一個開源的、基於Lucene的分布式搜尋引擎,可以提供穩定、實時、可靠的檢索服務, 具有高可用、易擴展以及近實時的搜索能力。
  • DTCC2020阿里雲李飛飛:雲原生分布式資料庫與數據倉庫系統點亮數據...
    雲原生資料庫與數據倉庫有哪些獨特優勢?在日前的 DTCC 2020大會上,阿里巴巴集團副總裁、阿里雲資料庫產品事業部總裁、ACM傑出科學家李飛飛就《雲原生分布式資料庫與數據倉庫系統點亮數據上雲之路》進行了精彩分享。
  • 高分衛星陸續發射 如何挖掘海量影像數據價值?
    這是一顆光學遙感衛星,地面像元解析度最高可達亞米級,主要用於國土普查、城市規劃、土地確權、路網設計、農作物估產和防災減災等領域,可為「一帶一路」建設等提供信息保障。 2018年MapGIS 10.3推出了鑲嵌數據集功能,可管理TB級以上的影像,在桌面端快速瀏覽TB級影像,並可基於鑲嵌數據集快速裁剪瓦片,解決了影像瓦片裁剪耗時費力問題。
  • 競品分析:阿里雲 VS 騰訊雲,AT的短兵相接
    本文是阿里雲和騰訊雲的競品分析報告,文章重點分析了這兩款雲服務產品的行業情況、產品策略、產品結構、商業模式等4個方面,梳理了發展趨勢,與大家分享。而從中國市場來看,據前瞻產業研究院發布的《中國雲計算產業發展前景與投資戰略規劃分析報告》統計數據顯示,2015年中國雲計算行業市場規模已達378.1億元,並呈現逐年快速增長態勢。截止至2017年中國雲計算行業市場規模增長至691.6億元,同比增長34.3%,增速快於全球水平。初步測算2018年中國雲計算行業市場規模將超900億元。
  • 阿里雲發布ECS企業級產品家族 19款實例族涵蓋173個應用場景
    為滿足企業級客戶對計算的高標準需求,8月9日,阿里雲正式發布雲伺服器ECS企業級產品家族,目前已推出面向173種企業應用場景的19款實例。該系列適合在複雜的企業計算環境下,滿足對於高性能、高可靠的計算需求。
  • 阿里雲計算能力實現多項突破 BigBench規模全球首次被拓展至100TB
    10月12日,阿里巴巴集團副總裁周靖人在雲棲大會上發布了阿里雲在大數據計算能力上的新突破:將BigBench數據規模擴展到100T;流計算2.0每秒峰值達千萬QPS,整體鏈路延時亞秒級;E-MapReduce對比同類產品平均性能提升3倍。周靖人說,數據是機器智能創新的基礎,擁有充沛的計算能力才能全面釋放數據的價值。
  • 更便捷、更安全、更極速的新一代CDN:阿里雲CDN年度產品升級發布
    1月6日,阿里雲集中進行年度CDN產品升級發布,解讀全站加速(DCDN)離線日誌轉存新方案、邊緣流量管理、邊緣serverless等服務背後的技術與應用,為用戶展示更便捷、更安全、更極速的新一代CDN加速能力。
  • 黑科技『黑』在哪兒,為啥海鑫科金能搞定億級海量數據分析
    原標題:黑科技『黑』在哪兒,為啥海鑫科金能搞定億級海量數據分析【導語】指紋等生物特徵的對比、識別,通常需要建立起億級規模的生物特徵系統庫,加上日常的數據存儲、分析、對比,使得指紋系統庫在性能、成本、容量上面臨很大的挑戰。如今,一項黑科技的出現,讓這些挑戰已經徹底消除。預知緣由,請閱讀下文。 一直以來,指紋比對都是刑偵破案的重要手段。
  • hive中兩個數的和怎麼超市_hive中hive中月,天的數據導入兩級分區...
    暑假實習使用了兩個月的odps ,回學校看了下hadoop 的hive ,讓我對資料庫與數據倉庫增進了一些理解,記錄下來。簡而言之,資料庫是面向事務的設計,數據倉庫是面向主題設計的。資料庫一般存儲在線交易數據,數據倉庫存儲的一般是歷史數據。
  • 螞蟻金服與阿里雲攜手開創網際網路...
    螞蟻金服對資料庫的需求更為嚴苛,數據要金融級可靠,同時需要極強的可擴展性。那麼,如何能結合分布式系統與傳統關係型資料庫的優點,通過廉價硬體獲得功能、性能、穩定性及擴展性俱佳的關係型資料庫?在本屆「螞蟻金服&阿里雲在線金融技術峰會」上,阿里巴巴高級技術專家譚宇(茂七)將分享雲資料庫OceanBase的架構演進,及在金融核心系統中的實踐。
  • 阿里雲PolarDB發布更新 支持Oracle等資料庫一鍵遷移上雲
    【TechWeb】今日,阿里雲在北京召開媒體見面會,宣布阿里雲PolarDB發布重大更新,提供傳統資料庫一鍵遷移上雲能力,可以幫助企業將線下的MySQL、PostgreSQL和Oracle等資料庫輕鬆上雲,最快數小時內遷移完成。