不要猶豫 了解這些即可玩轉阿里雲ODPS

2021-01-09 IT168

  【IT168專稿】從7月8日,阿里雲ODPS正式開放商用至今已有一周有餘,網上關於ODPS商用的話題熱度非常之高,除了好事兒的不怕熱鬧的過來瞧瞧之外,對於那些真正憋了多年,決心將大數據事業進行到底的企業用戶,他們「聖戰」的時刻終於到了。

  關於ODPS平臺的諸多優勢,以及對產業的影響,已經有太多篇幅的報導了,本文不想過多的做重複報導,重點是從用戶角度出發,發掘他們對ODPS的需求,進而幫助用戶更好的應用ODPS。

  通過對這些用戶調查了解到,他們更關心ODPS是否安全、咋用、好不好用、需要作何準備、價格是否公道等等。也看出了這些用戶的可愛之處,同時也看到他們對ODPS的期望(或許是市面上這些所謂的大數據平臺對他們來說不怎麼靠譜)。


▲阿里雲ODPS商用大數據平臺

  開門見山ODPS是什麼?能幹什麼?

  要想了解ODPS,不妨先看一下阿里雲的整體架構:最底層是Linux+PC Server,上層軟體是飛天,飛天是阿里雲09年開始開發的一款分布式系統軟體,主要提供分布式存儲和分布式計算的調度、編程框架。開發語言是C++, 2013年該系統在生產環境支持調度5000臺機器的集群。

  ODPS是在飛天之上提供的一套服務,功能包括SQL,基於java的Mapreduce編程框架,圖計算編程模型,一系列機器學習算法的實現等等。所有的功能是以RESTful API的形式對外提供,所以從系統邊界上說,這層API隔離了ODPS平臺和用戶的系統,和hadoop的區別也很明顯。ODPS設計之初就是為了對外開放,做基於網際網路的多租戶的公共數據處理服務,所以安全性在ODPS的設計和實現中具有最高的優先級。

  簡單來說,ODPS(Open Data Processing Service)是一項Web服務,大家不用花大錢建數據中心,就能分析海量數據。看到這個介紹,大概就知道ODPS是幹嘛的了。也可以和自建數據中心做個區分。

  按照阿里雲測試,100PB的數據任務可在六個小時內跑完,這個數據量相當於1億部高清電影,夠厲害了吧。

  使用ODPS安全性靠譜嗎?

  有這個疑問的用戶,說明對雲計算本身還有一些顧慮,也說明企業對雲計算有嘗試的需求。的確,數據是企業的核心資產,這個已經被廣泛認識到了,以至於企業採用非常多的手段對數據進行保護。企業應該認識到,自己的數據保存到伺服器中,肯定會面臨機房安全、黑客攻擊、內部流程和人員安全等多項挑戰,做到這些防護就能100%的安全了嗎?這裡要打個問號。

  安全問題是老生常談,但是不談就打消不了用戶的疑慮,這裡就做個說明。可以說,現在對雲計算安全的顧慮,就跟當年對公共電網的顧慮一樣。現在誰不用公共電網?銀行剛剛誕生之初,老百姓覺得把錢放到自己身邊最安全,現在不都放到銀行了?道理很簡單,安全性是一個理念,需要大家慢慢適應,但是走向雲端是必然的道路。

  結合阿里雲ODPS,從具體的安全措施來講,ODPS是國內首家通過了CSA-STAR和ISO27001兩項國際雲安全認證的公司,在各個環節都採納了國際上最先進的數據安全管理標準。在技術上,ODPS採用了多項技術保證用戶存儲在阿里雲的數據不丟失、不洩露、不越權訪問;從管理上,阿里雲內部對於ODPS的運維和運營人員的操作有嚴格的監控和審計,確保內部人員不會接觸到用戶的數據。

  ODPS通過API提供服務,包括數據上傳、下載、計算,所有API請求都是經過認證的,所有API請求都可以走https加密。從平臺設計和技術實現角度說,ODPS充分考慮了數據安全性,ODPS團隊對於平臺的優先級定義是數據安全性大於可用性大於規模的。

  空口無憑,舉例為證。阿里巴巴作為ODPS最大的用戶,已經率先做了安全性實踐。1)阿里的業務數據都將運行在ODPS上,外部用戶與阿里集團享受相同的高安全等級。2)除了企業用戶外,目前也在幫助政府客戶合作上雲。這些大企業和政府客戶,比如一些銀行、飛利浦、美的、中國氣象局等,對數據安全的考慮非常嚴格,他們最後決定上雲,也是對阿里雲的數據安全性經過了全方位的評估。

  用ODPS應該做哪些準備工作呢?

  認清ODPS的產品價值以後,你是否已經鼓足勇氣決定借力ODPS大幹一場?別慌,你先做一些準備工作。

  一方面,使用ODPS也有一定的技術門檻。比如至少要懂得處理數據的基礎技能,比如SQL語言。或者是一個程式設計師,懂得通過編寫Java程序或者編寫腳本。

  另外,還要具備數據敏感度以及對業務的理解。目前參加天池大賽的學生,他們通過對數據有更好的理解,進行設計更好的算法,取得更好的處理結果。

  ODPS如何收費?針對中小企業方面有沒有優惠政策?

  成本是企業發展中最重要的因素,作為用戶會問,使用ODPS的解決方案,我的成本會降低多少?阿里雲的回答是,比傳統方式成本至少節約一半。ODPS是按使用後付費的產品,用戶的數據存儲和計算一定有波峰波谷,企業不必為了應對峰值而採購額外的機器,而僅僅需要為了使用的資源而買單。更為關鍵的是服務的方式,極大地降低了技術門檻。企業不用為了Hadoop人才難覓而發愁。大企業財大氣粗,不差錢,只要能確保解決問題一切都OK。但是中小企業沒這麼闊氣,精打細算還是必須滴。

  針對中小企業ODPS有木有優惠政策?答案是肯定的。阿里巴巴就是通過不斷的扶持中小企業,甚至是小微企業才得以建立了龐大的商業帝國,這些小企業是阿里的根基,當然不會置之不理。

  阿里雲ODPS產品經理湯子楠說,希望通過ODPS讓更多的中小企業感受和利用大數據的價值,除了產品本身外,後續還會推出一系列的服務,比如幫助用戶設計數據模型,引導用戶更合理更低成本的使用ODPS,比如對用戶進行ODPS和大數據方面的培訓,比如提供基於ODPS的可視化BI分析工具等等。這些服務在初期會以免費或低價的方式提供給用戶,最大化的降低用戶使用大數據的成本和門檻。有了阿里官方的說法,中小企業主大可放心了吧。

  目前ODPS有哪些成功案例值得借鑑?

  生於阿里,阿里雲自然將阿里業務作為服務對象,甚至阿里巴巴的諸多業務都已經成為了ODPS的客戶。

  ODPS之前一直在阿里內部試用。第一個"小白鼠"是阿里小貸。現在,超過36萬人從阿里小貸借款,最小貸款額1塊錢,並實現3分鐘申請、1秒放款、0人工幹預。要做到這一點,阿里小貸每天得處理30PB數據,包括店鋪等級、收藏、評價等800億個信息項,運算100多個數據模型,甚至得測評小企業主對假設情景的掩飾和撒謊程度。另外,阿里小貸每筆貸款成本3毛錢。

  華大基因,2003年國內抗SARS研究的主力軍。去年,華大在ODPS上試了下基因測序,耗時不到傳統方式的十分之一。

  公共領域的數據挖掘,如今,每盒藥品上都有一張電子身份證,從生產、流通、儲存、配送、銷售到使用,全過程的數據都跑在ODPS上,一旦發現問題藥品,監管部門可以立即採取措施。

  眼下,阿里巴巴各項數據業務都在用ODPS,比如淘寶在算你最中意哪個淘女郎,天貓在算你什麼時候想吃車釐子,菜鳥在算卡車走哪條路可能會被雷劈,支付寶在算你何時會從屌絲變成高富帥。

  ODPS強大的生態圈計劃 企業如何參與並獲利?

  ODPS是一個強大的數據計算引擎,結果的輸出需要各種計算模型的支撐,計算模型一方面ODPS平臺會提供,但是也需要打造生態圈,藉助生態圈的力量不斷的完善ODPS。

  ODPS作為開放的商用平臺,也歡迎更多的生態圈夥伴參與進來,這些夥伴包括四個方面:1、服務和應用供應商,提供商業智能和數據應用。2、數據的生產,可以是企業也可以是個人。3、數據的加工,他們可以是諮詢公司、行業專家。4、數據消費,包括廣告、客戶滿意度改進、模式創新、精準推薦等。

  ODPS產品經理湯子楠提到一點,參與到生態圈中,大家共同獲益,既可以為生態圈提供資源,也可以從中獲益。

  最後,借用阿里雲事業部總裁王文彬的話:「阿里雲ODPS是一個系統工程,工程不可能是完美的,ODPS還在不斷的發展中,希望大家多一些耐心。」作為用戶,可以說目前ODPS已經開創了在線處理大數據商用的先河,值得道賀,也值得期待。用戶在使用過程中有更多的疑問歡迎提出(微信 搜索景保玉,關注公共帳號 小新有話說,微博 @景保玉)這也是為ODPS的完善做出一份貢獻。

相關焦點

  • 阿里雲發布ODPS 可分析PB級海量數據
    通過ODPS在線服務,小型公司花幾百元即可分析海量數據。ODPS可在6小時內處理100PB數據,相當於1億部高清電影。此前,全球掌握這種能力的公司屈指可數,如Google、亞馬遜等。五年間,阿里雲的工程師們寫下250萬行代碼,不斷打磨ODPS。該團隊在一封公開信中描述:「把數據海洋裡的水灌進ODPS,設定好一套參數,擰開水龍頭,出來的就是鮮榨果汁!」
  • 阿里雲發布大數據產品ODPS 6小時處理100PB數據
    阿里雲發布ODPS 可分析PB級海量數據 新浪科技訊 7月8日下午消息,阿里雲計算發布大數據產品——ODPS。通過ODPS在線服務,小型公司花幾百元即可分析海量數據。(木南) 以下為阿里雲ODPS團隊公開信《人人都可以成為BAT》全文: 阿里雲計算最重要的一款產品——ODPS,正式開放商用。從今天起,花個幾百塊錢,人人都能來玩大數據。 簡單來說,ODPS(Open Data Processing Service)是一項Web服務,大家不用花大錢建數據中心,就能分析海量數據。
  • SaaS「全能王」快用雲商問世:10分鐘即可生成多平臺商城帶你玩轉...
    (原標題:SaaS「全能王」快用雲商問世:10分鐘即可生成多平臺商城帶你玩轉移動新零售)
  • RemarkMedia 圖像識別產品登錄阿里雲市場,把深度學習變為基礎設施
    近日,RemarkMedia 圖像識別產品登陸阿里雲市場,為開發者提供了兩款已訓練好的圖片分類器鑑於深度學習對普通開發者來說有著一定難度,因此讓深度學習變成像雲計算這樣基礎設施,一直是 Remark Media 中國和阿里雲研究的重點。根據官方介紹,讓深度學習變成基礎設施,需要解決實際應用深度學習的兩大難題:監督學習需要大量的標記過的圖片樣本數據。需要簡單易用的訓練環境。
  • 阿里雲發布第七代ECS、雲原生資料庫PolarDB-X等重磅...
    6月9日,阿里雲宣布推出第七代ECS、POLARDB-X資料庫、視覺智能開放平臺等重磅新品,在性能、穩定性和開發效率上繼續領跑全球。此外,阿里雲還發布了新一代數據中臺、混合雲管理平臺、雲原生數據倉庫等產品及解決方案,目前這些產品均已在阿里雲官網上線。
  • 不要在猶豫中迷失了自我:布裡丹效應
    後來我們把這種長時間的猶豫和遲疑不定的決策稱之為布裡丹效應。其實這頭驢的悲哀就在於他無法在兩個選擇之中進行理性的判斷,以至於他已經忘掉了自己最初想要什麼。最初對於這頭驢來說他所需要的只是能填飽肚子就可以了,但是因為看到了兩堆草,他的注意就隨之轉移到了「吃哪一堆草更好」,最終導致他在這種無意義的抉擇之中餓死。
  • 阿里雲發布自研商用關係型資料庫POLARDB
    在2017杭州雲棲大會前夕的9月21日,阿里雲正式發布了自研新一代商用關係型雲資料庫POLARDB,該資料庫採用第三代分布式共享存儲架構,創新實現企業級OLTP與OLAP一體化資料庫系統整體設計,一個資料庫即可滿足多類資料庫的混合使用效果,為企業智能化轉型帶來新的進化動力。
  • ET大腦:NASA的向量,阿里雲的絕對值
    一,二,三,跳:雲市場必須進入2.0在討論ET大腦本身之前,我們要先了解個背景故事。國內的雲服務市場,可以說從2011年之後進入了正式井噴階段。2011年市場規模還在288億,結果到2016年已經達到了3540億,5年規模翻了近十倍不止。推動這個產業以每年60%以上的增速發展,很重要的一個因素是中小企業群希望以雲計算服務替代傳統IT支出。
  • 阿里雲香港伺服器被攻擊進黑洞了怎麼辦
    建立網站的人應當都了解,一旦發現網址遭受DDOS攻擊,大部分沒什麼非常好的解決方案,只有硬扛。這一點跟CC等攻擊不一樣,能夠根據技術性對策來安全防護,而要想安全防護住DDOS攻擊,必須靠大量的資源來硬扛。
  • 阿里雲撬動企業級市場 與SAP、埃森哲宣布合作
    中新網深圳4月20日電(趙小燕)企業級雲市場迎來了國內最大的雲計算服務商——阿里雲。4月20日,在雲棲大會·深圳峰會上,阿里雲與SAP、埃森哲宣布達成合作,聯合為企業提供雲計算服務。同時,阿里雲發布物聯網、專有雲(ApsaraStack)、混合雲、視頻雲四大解決方案,以及輕計算、存儲、資料庫、安全、雲市場、域名、郵箱等多個領域的數十款新品。
  • 阿里雲首提LoRa 2.0概念:拓展室內覆蓋場景打造百億連接市場
    LoRa需要滿足這些新客戶的需求才能實現健康可持續的發展。應用場景從室外走向室內隨著LoRa物聯網應用走向長尾市場,LoRa應用場景已經開始往室內場景環境發展。從產品的可用性上,施工服務到即插即用從頭部客戶走向小微客戶、從單品到場景,意味著,使用LoRa的人正變得不專業,他們不了解LoRa,他們需要的是無需設計、施工、插上設備就能用的產品和解決方案。為此,阿里雲正致力簡化LoRa施工應用,改變物聯網高門檻的局面。
  • 阿里雲香港伺服器多少錢一年?香港阿里雲伺服器價格表
    【天極網IT新聞頻道】有很多站長喜歡購買阿里雲香港雲伺服器。因為阿里雲香港伺服器不需要備案,購買後立馬就能使用,1小時內就可以搭建出一個wordpress博客,非常方便。而且阿里雲香港伺服器由於距離大陸近,國內訪問速度雖然比國內伺服器慢一點,但是也還可以接受。在SEO方面,和國內備案的網站並沒有什麼區別。
  • 競品分析:阿里雲 VS 騰訊雲,AT的短兵相接
    本文對目前這兩家是中國雲計算市場的行業前三的雲做對比和梳理,以求更加全面地了解AT並對未來趨勢做判斷。二、行業概況1. 行業發展現狀從市場規模來看,近年來,全球雲計算行業快速發展,市場規模不斷擴大。根據Gartner數據,2015-2017年,全球雲計算行業市場規模逐年擴張,但增速趨於放緩。
  • Real World CTF x 阿里雲:強強聯合打造頂級賽事
    為期兩天的大賽將舉辦Real World CTF線下總決賽、安全訓練營、技術論壇、阿里雲安全挑戰賽、Hack Valley等活動。其中,由Real World CTF聯合阿里雲首次舉辦的雲安全挑戰賽,作為全球首個、也是唯一將公有雲真實售賣級產品進行賽題設計的賽事,吸引了業內外高度關注。
  • 性能提升160%,成本下降50%:從阿里雲ECS到神龍架構的十年升華
    更高的性能,更低的價格,阿里雲的競爭優勢一目了然。服務客戶的十年,也是阿里雲更懂業務場景的十年過去十年來,你感覺到了生活中哪些不同尋常的變化?10年前預訂快餐需要撥打,如今只需動動手指外賣即可到家;10年前雙11購物只能夠支撐5000萬元的交易,去年的雙11已經支撐到了2684億元;10年前買車票要到火車站車徹夜排隊,如今在12306 APP上輕鬆完成,即使是春節搶票也不再遲緩;10年前,到政府機會辦一件事情需要跑很多次,如今,只需要跑一次就解決所有的問題……「這些社會效率的提升,背後都是雲計算在發揮著巨大的作用
  • 對話阿里雲總裁張建鋒:解密阿里雲再生長的動力、合力和張力
    由於疫情,政府企業都認識到了數位化的迫切性和重要性,普通人也享受到了數位化轉型帶來的很多好處,包括居家辦公,電子商務等,這些需求因疫情而加速。因為疫情,很多事情本來是需要三五年的發展過程,可能會在一年之內就完成轉換。何剛:阿里雲是中國數位化進程的重要推動者和參與者,也是底層技術的構建者,全球範圍內,中國的數字經濟大概發展處於一個什麼樣的階段?
  • 阿里雲&FreeBuf:2019年Web應用安全年度報告(附下載) | 網際網路數據...
    報告下載:添加199IT官方微信【i199it】,回復關鍵詞【2019年Web應用安全年度報告】即可近日,阿里雲聯合FreeBuf重磅發布《2019年Web應用安全年度報告》,以下簡稱「報告」。
  • 阿里雲上半年營收猛增,釘釘與雲形成化學反應
    阿里雲再一次在IDC中國公共雲服務商的評選中排名第一,反映出阿里雲不斷強化的市場領先地位。他表示,阿里雲不僅為客戶提供了IaaS雲服務,而且更加聚焦於如何為客戶提供行業智能化解決方案,通過數據的力量解決客戶經營中的實際問題。同時,阿里雲再一次在IDC中國公共雲服務商的評選中排名第一,反映出阿里雲不斷強化的市場領先地位。據了解,釘釘與阿里雲正在形成越來越強的協同效應,讓企業更容易使用雲基礎設施,快速開發管理組織和業務的所有應用。
  • 阿里雲衝出亞馬遜:亞太市場份額排名第一
    而這些異同之處,正決定著阿里雲能夠在發展近 10 年之後「衝出亞馬遜」。三點相似眾所周知,阿里巴巴與亞馬遜都是以電商業務起家。發展至今,他們在各自國家的電商市場中也有著同等地位和影響力。而在雲計算方面,兩家也有著 3 處明顯相似點。首先,雲計算業務都是源於電商業務的快速發展,倒逼創新。1994 年與 1999 年,亞馬遜和阿里巴巴先後成立。
  • 在阿里雲IPV4伺服器上架設IPv6隧道地址,讓你的網站支持IPV6
    現在很多的網站上面都寫著已支持IPV6網絡,今天就使用IPV4阿里雲伺服器搭建IPV6網絡。準備材料:一臺阿里雲伺服器tunnelbroker帳號一、註冊IPV6代理隧道請在 https://www.tunnelbroker.net