再見,IBM!你好,GreenPlum!

2020-12-27 電子工程專輯


坊間流傳著,一個民企用自研產品成功替換掉宇宙行使用多年的美帝版數據倉庫的故事。


按說,這算是個標誌性事件。可是感覺這品宣工作還沒怎麼開始,就引來了朋友圈的一聲驚雷。該民企因戰略轉型,關停相關產品線,不再提供私有化支持。


我猜各位已經知道故事的主角是誰了,就是當下科技界最大的IP,某為。


這廂你愛存不存,那廂你愛用不用!


郎騎竹馬來,繞床弄青梅


不過,今天我想分享的不是某為高大上的GuassDB,而是另一款同樣基於開源PostgreSQL的大數據平臺,Greenplum。


據說,這個名字是一個小女孩無意間給起的。起初,幾個創始人為給公司起名字有些犯難,就去問朋友的女兒,小女孩說「Apple」。但大人們告訴她,這個名字已經被別人佔用了,需要換一個,她就又隨口說了「Greenplum」。結果,Greenplum的名字就這樣誕生了。


說起Greenplum,不由得想起多年前的一段經歷,也算是我的一個「小幸運」。


那是2011年,我們相識於杭州……



上帝打開了一扇幸運之窗


當時,我主要負責公司IBM小型機、存儲和資料庫的系統運維。因為一次系統事故,部門對工作進行了調整,我被安排接手X86伺服器的運維。


一股腦兒把700多臺X86伺服器分派給我。所幸,公司正處於由小變大的過程中,對運維有一定的容忍度,從而給了我一定的成長空間。


事情要從兩個方面看,工作有壓力,自然也有回報。現在回看,那次工作變化,是我職業生涯中一次重要的轉折。


套用曾鳴教授的理論,一個幸運的點,從一個日漸式微的經濟體,轉型到一個冉冉升起的新興經濟體。


眾裡尋她千百度


那時的X86,有兩個技術方向,一個是基於伺服器虛擬化的一虛多,另一個則是基於集群技術MPP的多合一。


在IOE還算主流的年代,我們的數據倉庫就是基於DB2的傳統小型機+存儲模式,隨著業務數據的不斷增長,計算和查詢效率面臨挑戰,時常因為夜間的一個小問題,導致第二天的業績查詢延遲。作為運維人員,總是被投訴。


於是,在傳統硬體升級方案之外,尋找潛在的技術替代方案也成了工作中一項隱性任務。


一次偶然的機會,了解到Greenplum。一個控制節點有主備高可用,數據節點提供鏡像保護,還支持性能線形擴展的大數據平臺,一切都是那麼美好!



第一次「親密」接觸


後來,通過代理渠道了解到當時支付寶正在使用Greenplum,於是申請去杭州出差調研。


當時對方接待我們是蔣傑博士,他算是我認識的人裡面的大咖,他給我們詳細介紹了支付寶的一些數據應用情況。可惜我跟他水平相差太多,對於分享的很多乾貨,尤其在數據治理上,理解有限。


在隨後的環境演示中,能夠真切看到Greenplum在海量數據規模下的查詢效果,性能表現優異。當時支付寶的數據量已經是PB級,比我們多出不止一個數量級,從技術發展趨勢和產品適用度上,Greenplum都是個非常不錯的選擇。


早期的MPP和競品


說了半天,Greenplum和MPP,到底是什麼?


MPP(Massively Parallel Processing),大規模並行處理的簡稱。Greenplum就是一款基於PostgreSQL資料庫,MPP無共享架構,新型的企業級數據倉庫(EDW)和商業智能(BI)的開源大數據平臺。


同期,Oracle公司也創新的推出了自己的Exadata一體機。雖然架構上與MPP不一樣,但因為O記龐大的客戶群,一體機一經發布,立刻引得行業用戶的關注。別看伺服器數量不多,但加上一些黑科技,同樣使得數據交易和查詢分析的性能大幅度提升。


除此之外,還有文章開頭提到的老牌數據倉庫產品Teredata,以及IBM Netezza,都是當時大數據初期的玩家。




理想很豐滿,現實很骨感


從杭州返京後,我們內部也針對Grennplum的新技術落地進行了研討。公司對於新技術還是持擁抱態度的,隨後我們進行了相應的POC測試。


關於引入Greenplum,我跟當時負責數據倉庫的經理溝通過,但的確存在很多困難。比如:底層數據平臺的遷移,涉及太多的業務和流程;需要ETL和ELT的模式轉換,才能充分利用資料庫並行技術。


歸根結底,這種底層數據平臺的重構方案相對於直接硬體升級來說,項目隱性成本高,周期也長,還有一點,就是所謂的性能瓶頸,並不是真的痛點。


後面又趕上我們數據中心遷移,於是乎,變成了在DB2上一條路走到黑。雖然後來也幹掉了IBM小型機,置換了快閃記憶體,改造了DB2 DPF,但是被詬病的聲音卻從未停止。


花開兩朵,各表一枝


我們再回過頭去看此時的支付寶。


轉過年,蔣博士來北京出差,我們又見了一面,他跟我分享了一些他們的最新動態,正在推動Hadoop大數據平臺上線。


這就是網際網路,演進的速度非常快,對於新技術的跟蹤和研究都比較到位,這一切都源於業務增長對數據迫切需求,遠遠超越了傳統行業的理解。


那時,剛有大數據的概念,但我的理解很膚淺,就是單純數據量大,規模達到PB級。其實即使是多年之後的今天,我們的核心數據依舊離這個量級有很大的差距。


所以,那個時候,即使知道支付寶在部署Hadoop,也只能望洋興嘆。



原來我們曾經靠得那麼近


對於GreenPlum,從創新的角度看,曾努力擁抱過,但不是所有的付出都一定會有結果。雖然最終沒有實際的項目落地,但這次邂逅,也是一次非常好的拓展視野的機會。


《論語·為政》,子曰「溫故而知新,可以為師矣」。借著寫文章,既是復盤,也是學習。


發現GreenPlum在V6版本做了不少更新迭代,增加了對Kafka、R語言和多態存儲的支持,另外一點我覺比較重要的是,結合MADlib算法庫,將機器學習內嵌到資料庫中,讓Greenplum變成機器學習的平臺。


總之,一個產品要想茁壯成長,除了自身有價值,既要適應時代,還要融合生態。


從當下的現狀分析,我覺得Greenplum依然是我們未來的一個不錯的選擇。從另一個角度看,這也是一個IBM DB2興衰的故事,我想,未來終歸會有後浪襲來!


六一剛過,依舊希望我們都能心懷美好,永葆童心!

相關焦點

  • 九月,是你好再見 是再見你好
    是你好,是再見。是軍旅人生的一個驛站。是脫下軍裝的戀戀不捨。是期待江湖再見的基情滿懷。是再見,是你好。9月,經歷了春種,夏長。應是碩果纍纍,收穫滿滿的秋收了。
  • 二月再見三月你好說說 二月再見三月你好圖片
    二月再見三月你好說說 二月再見三月你好圖片時間:2020-03-01 11:23   來源:今日頭條   責任編輯:毛青青 川北在線核心提示:原標題:二月再見三月你好說說 二月再見三月你好圖片 動力來自於對未來生活的美好的想像與憧景,描繪。二月再見三月你好,三月,請對我好一點!
  • 二手ibm筆記本報價推薦
    二手ibm筆記本在網絡平臺內是比較熱銷的,因為性能卓越,整體價格比較低廉,吸引了不少大學生、打工族的購買。然而該品牌的二手筆記本系列有很多,到底哪個型號的產品更好呢?下面小編為大家推薦幾款比較熱銷的二手ibm筆記本產品,讓各位朋友對該品牌的二手產品有個大致的了解
  • 六月再見七月你好圖片 2020最新六月再見七月你好唯美句子配圖
    再見六月,再見充實的上半年!再見六月,你好七月!  生命是上天賜予我們的特別禮物,即使陷入了絕望的泥沼中,也應該握住生命中哪怕一點點兒值得讚美的亮色,從而鼓勵自己要挺住,別倒下。只要有一線希望,我們就要堅強的活下去,因為活著就會有希望。再見六月,你好七月!  七月你好,迎接七月,嶄新的,我未擁有過的七月。抓住六月的尾巴和七月說你好。  六月,再見啦!
  • 十月再見十一月你好說說句子 10月再見11月你好唯美圖片
    3、道一聲十月再見,告別過去;說一聲你好十一月,滿血迎接未來!新的一月站在新起點,迎接新挑戰,創造新成績。加油,共勉! 4、我有我的夢想,所以我要努力。只有堅持這陣子,才不會辛苦一輩子,我發誓會努力,我會讓自己過得很好。十月,再見;十一月,你好!
  • 二月再見三月你好說說心語 2月再見3月你好的勵志句子
    下面小編整理了關於二月再見三月你好說說心語,3月你好的勵志句子。希望大家喜歡。  二月再見三月你好說說心語 2月再見3月你好的勵志句子(一)  1、二月再見,三月你好!Goodbye in February, Hello in March。  2、再見了二月,你好,三月!希望往後的日子越來越好,好時光不被辜負。
  • 抖音你好再見g2er歌在哪聽 G2er再見你好完整歌詞分享
    抖音G2er再見你好在哪裡聽?一起來看看抖音G2er再見你好完整歌曲試聽地址及歌詞介紹!  抖音G2er再見你好在哪裡聽?《再見,你好》這首歌最近在抖音上非常的火。繼隔壁老樊的版本後,G2er翻唱的也非常好聽,本文小編會為大家分享這首歌的音源及歌詞,一起來看看吧!
  • 七月再見,八月你好!
    我們說不出再見,卻不得不微笑著迎接八月的到來! 七月的陽光毒辣,八月的驕陽似火。七月和八月,都屬於夏天這個季節。我們沒辦法拖著時間的腳步,只能用一顆平常接受。七月再見,走好不送,八月你好,熱情歡迎!七月再見,八月你好!
  • 2020你好!2020再見!
    2020你好!當我還在回味過去時,你已悄然而至。2020你好!當我還未做好準備時,你已在路上。時光匆匆,我總是抓不住你,也總是在追趕你。2020再見!茫茫人海中的你和我,都在為生活奔波著,忙忙碌碌,像螞蟻一樣,平平凡凡卻又獨一無二,很渺小但卻真實。每一天,每一年,我們都在發生著變化,在不知不覺中已經走到了生命的盡頭。年年歲歲花相似,歲歲年年人不同,2020你好,2020再見!十二月,是你的代表人,也是信使。
  • 2月再見3月你好的說說 二月再見三月你好句子唯美朋友圈文案
    2月再見3月你好的說說 最新二月再見三月你好句子唯美朋友圈文案時間:2020-02-29 15:01   來源:今日頭條   責任編輯:毛青青 川北在線核心提示:原標題:2月再見3月你好的說說 最新二月再見三月你好句子唯美朋友圈文案 三月的來臨也將我們帶入到了春季,我們終將要告別寒冷的二月,迎來溫暖的三月了,讓我們一起來迎接全新的三月吧
  • EP試聽:戚薇《你好,再見》
    這一次《你好,再見》的全新EP,戚薇親自邀請[ONE.一個]工作室為自己的專輯繪製插畫封面。主編韓寒也誠意推薦了「一個」工作室的首席插畫師鳥先森,為戚薇親繪了《你好,再見》EP的雙概念EP封面。  鳥先森解釋這一次的插畫:《再見》是孤單的流動,《你好》是美好的盛開。在河流中劃者孤單花瓣的小女孩,一路勇敢的漂流,下一個她將會在盛開的花朵中醒來。
  • 『五月再見你好六月圖片大全』五月再見六月你好唯美說說句子
    關於『五月再見你好六月圖片大全』五月再見六月你好唯美說說句子這個話題,相信很多小夥伴都非常有興趣了解,因為這個話題也是近期網絡上非常火熱的,那麼既然大家都想知道『五月再見你好六月圖片大全』五月再見六月你好唯美說說句子,華圖教育廣東公務員考試網小編便從網上搜集了一些與五月再見六月你好,五月再見你好六月相關的信息,下面分享給大家一起了解一下吧
  • ...月再見十二月你好唯美短句圖片:朋友圈11月再見12月你好文案...
    2020十一月再見十二月你好唯美短句1.歲月更替,四季輪迴,一葉知秋,片霜進冬。莫道歲月晚,不蹉跎,不虛度,不念過往,不畏將來。從此刻起,莫負時光,再見11月,你好12月。9.再見,我的忙碌的11月;你好,我即將更忙的12月。 願一切順利10. 十二月你好未來還很長該來的都在路上願你所期望的一切都會如期而至。
  • 九月再見,十月你好
    1 九月再見,十月你好 告別了九月所有的過往 九月再見,十月你好。所有的一切,都不再去回憶,所有的過往都不再去遺憾。 所有的一切,不再去徘徊,十月,做自己想要去做的事情,做自己想要做好的事情。 十月來到,嶄新的十月,不再讓自己過分的因為一些生活的瑣碎事情感到委屈,也不再遺憾懊悔。
  • 聽歌學韓語:你好再見
    歌曲名:再見韓文名:안녕演唱:孝琳 專輯:來自星星的你歌詞:우연히 내게 다가와 偶然間,你走向我
  • 12月再見1月你好的說說句子 告別再見2020迎接2021年1月你好
    12月再見1月你好的說說句子大全 告別再見2020迎接2021年1月你好(一)  1.2020年只剩短短1天,即將迎來嶄新的2021年。希望自己在新的一年能有新的收穫,新的起點,新的徵程,新的我。願所有的美好如期而至!12月再見,1月你好。
  • 『2020七月再見八月你好唯美句子』七月再見八月你好心情說說朋友圈
    關於『2020七月再見八月你好唯美句子』七月再見八月你好心情說說朋友圈這個話題,相信很多小夥伴都非常有興趣了解,因為這個話題也是近期網絡上非常火熱的,那麼既然大家都想知道『2020七月再見八月你好唯美句子』七月再見八月你好心情說說朋友圈,華圖教育廣東公務員考試網小編便從網上搜集了一些與七月再見八月你好,七月再見八月你好心情說說相關的信息
  • 七月,再見;八月,你好!
    站在時光的路口,鄭重道一聲:「七月再見,八月你好!」有的人邁著堅定的腳步已經走向了成功,有的人還裹足不前,在風雨中尋求喘息。後悔當初沒有抓住一個好機會,後悔那一天沒能挽留住一個人,後悔昨天不該衝動說出口的一句話.夏天就是這樣,容易讓人煩悶浮躁,意氣用事,回過頭來又追悔莫及。
  • 《你好媽媽,再見!》好看
    結局也是情理之中,你好,再見媽媽或者,你好媽媽,再見。最後都得再見。挺傷感的,但是人生本就如此,總有人很難不帶遺憾地離開這個世界,這部劇直接把生死攤開放在觀眾面前,結局一開始就寫好了,女主卒。因為「媽媽」的愛,女主回來了,最後還是因為「媽媽」的愛,女主選擇離開。那麼如果人可以死而復生,又會發生什麼呢。從某種角度看,整部劇更像是一場夢,一場主角們一起做得夢。
  • 六月再見七月你好的句子 再見六月你好七月說說朋友圈文案
    六月再見,我要去擁抱七月了。  和六月說再見,把一切虛晃的煩惱和迷茫都拋至腦後。願七月會更加充盈且快樂 !  最可怕的不是你不夠努力,而是比你聰明的人比你還要努力。6月再見,7月你好!  嗨,不是說眼一睜一閉一天就過去了?可我眼睛瞪的老圓啦,還沒來得及閉眼,六月就飛走了。