偶數科技陶徵霖:做資料庫是站在巨人肩膀上前進

2021-01-15 IT168

  【IT168  專訪】在數據智能時代,面對海量數據的爆發式增長,傳統資料庫面臨著成本、性能方面的挑戰,與此同時也為新參與者帶來了機遇。

  近兩年國內資料庫市場發生了變化,越來越多的企業和人才投身其中。2016年成立的偶數科技便是是一家非常年輕的資料庫創業公司,不過其創始團隊絕對是資料庫行業的老兵,公司也先後獲得紅點中國、紅杉中國的投資,目前其產品已在金融、公安、電信、工業、能源和網際網路等行業得到廣泛應用。

站在巨人肩膀上不重複造輪子

  提起偶數科技或者其產品OushuDB你可能不太熟悉,但是提到Apache HAWQ你應該不陌生。2018年8月HAWQ畢業成為Apache的頂級項目並受到國內外開發者的青睞,而偶數科技的創始團隊是HAWQ創始人及團隊,OushuDB是Apache HAWQ的企業版本。

偶數資料庫首席架構師陶徵霖

  近十年來偶數資料庫首席架構師陶徵霖一直專注資料庫內核研發,對PG社區與生態有自己的熱愛與貢獻,Apache HAWQ和OushuDB也是基於PG開發。這兩年國內對基礎軟體自主可控的呼聲很高,陶徵霖覺得大家都是站在巨人的肩膀上前進。

  「你從頭開始造輪子是很沒有必要的,你可以在一個產品的基礎之上,融入創新的技術和想法,讓它能夠解決客戶痛點。」陶徵霖說,而PG社區和生態便是那個巨人。

  2006年Hadoop誕生以後,數據分析領域產生了兩大技術路線,一種是基於Hadoop,另一種是MPP的大規模並行處理路線,Greenplum資料庫是其中的代表。但是兩大技術路線各有優缺點,Hadoop可以支持大規模的節點,但是性能很慢,而MPP快、兼容性好,但是節點規模並發度擴展性差。

  陶徵霖介紹HAWQ結合了Hadoop以及Greenplum的優點,打造出了一個高性能的針對分析型資料庫的系統,此外,團隊實現了新一代雲資料庫架構,使計算和存儲完全分離。存儲與計算分離已經被工業界無數的案例所驗證,是目前比較好的一種架構方式,相比於傳統資料庫,在處理高並發、擴展性方面有極大的提升。

  2016年偶數科技成立,OushuDB對HAWQ進行了兩大方面的提升,首先是開發了全新的SIMD執行器,可以充分榨取CPU性能,經過TPC-H測試,性能可以提升10 倍。另一方面,在今年9月份發布的OushuDB 4.0版本中,開發了分布式表存儲Magma,並將其作為OushuDB的新一代數據存儲底層實現。從此,OushuDB擁有了自己的原生表存儲。Magma和HDFS並駕齊驅,解決了HDFS不能高效支持的特性,比如Magma支持表數據Update/Delete/Index功能,提供自動的數據存儲和服務高可用。

  從HAWQ畢業的2018年開始開源資料庫發生了一些動蕩,Redis Lab、MongoDB、CockroachDB等開源資料庫宣布修改許可協議,引起了業內人士的多方解讀。陶徵霖認為這是公司的商業行為,並不會影響到PG,PG依然很開放,偶數科技也在積極擁抱開源回饋開源。

  「我們擁抱開源,現在HAWQ是Apache的頂級項目,我們接下來OushuDB一些新的功能也會不斷往開源社區合併,希望進一步提升社區的活躍度,也希望越來越多的小夥伴能夠加入Apache HAWQ這個社區。」陶徵霖說,他知道相比國外,國內的開源發展還比較初級,需要時間積累與打磨。

資料庫上雲要循序漸進

  現在越來越多的企業上雲上平臺,而資料庫也被稱為是雲計算的終極戰場。國內外的雲計算廠商都在布局雲資料庫,Gartner預計2023年將有3/4的資料庫遷往雲端。

  陶徵霖認為雲化是大勢所趨,但是國內用戶會稍微滯後一些,很多企業出於合規性以及隱私的考慮會從私有雲開始,然後將不太敏感的數據遷移到公有雲上,最後慢慢擁抱公有雲。目前國內企業的觀念和行為習慣還沒有培養成,需要循序漸進。

  我們都知道「不能為了上雲而上雲」,陶徵霖從架構層面對這句話進行了解讀,「能不能很好的上雲更多的是分布式資料庫原有的一些架構方面的考量,是不是完全做到計算存儲相分離,是不是能夠做到動態加減節點,是不是能夠做到彈性伸縮。如果做不到這幾點其實你只是為了上雲而上雲,但是你和雲結合的並不好。」這幾點特性在資料庫方面知難行易,資料庫本身是一個很重的系統,需要投入大量的時間和精力,團隊從2013年HAWQ 1.0開始 ,重寫了很多模塊,相當於在資料庫內部動了很大的手術,一直做到2018年才把一個傳統的MPP資料庫打造成了雲原生資料庫。

  今年,除了OushuDB核心的系統以外,偶數科技還推出了LittleBoy人工智慧套件,以及Lava雲平臺,期望為客戶提供一體化的系統以及更為全面的智能化分析,OushuDB可以部署在私有雲也可以部署在公有雲。

  目前業內對雲數據並沒有一個統一的定義,資料庫也是最難遷移的軟體技術之一,上雲涉及到對原有IT資產的改造問題,是上雲並不是純粹的技術考量,也要權衡原有IT資產以及相關成本。陶徵霖認為一切還要看客戶的需求,「資料庫上雲相當於給客戶多了一種選擇。」

  資料庫經過40多年的發展,從Oracle、DB2、SQL Sever傳統資料庫,到以MySQL、PostgreSQL為代表的開源發展,以及現在的雲時代。技術的迭代和市場的變化,使傳統資料庫廠商國內外的差距正在縮小,也為國內廠商帶來了機會。越來越多企業和開發人員擁抱開源,HAWQ能夠畢業成為Apache的頂級項目也證明國內技術人員並不比國外差。是否開源,是否上雲,如何上雲,在變革的當下,在百花齊放的今天,都是探索者。

  「希望無論是HAWQ社區還是PG社區,都能越來越好。只有他們做好了,依託於這些社區的公司才能辦得越來越好。」這是陶徵霖真切的期望,他和偶數科技也將繼續站在巨人的肩膀上前進。

相關焦點

  • 站上巨人的肩膀上看待和解決問題
    偉大的科學家,牛頓有一句非常有名的名言,我看得遠,是因為我站在巨人的肩膀上。 乍一看,以為他在謙虛,仔細研究過後,真的不是謙虛,而是一句實話,但意義遠非實話這麼簡單。站在巨人的肩膀上,意味著要明白自己所在的位置,要明白自己所要站的這個臺階,並清楚這個臺階的意義及局限, 自己一定要能全面的分析和看待問題,知曉自己正在做的事情,否則就可能發生盡信書不如無書的情況。這些前人所創造的成果,經歷了千百年的考驗,經過實踐檢驗是準確無誤的話,即可放心拿來使用。
  • 站在巨人的肩膀上的男人
    弟弟喝了哥哥製造的巨人藥水,一下變成了進擊的巨人,於是哥哥變成了站在巨人的肩膀的男人,和弟弟準備一起徵服地球。已經滅了幾個市了。 乍一看,這不就是進擊的巨人嘛。
  • 科學網—站在巨人的肩膀上
    站在巨人的肩膀上
  • 《熊出沒》站在巨人的肩膀上,莫要忘記自己腳下的路!
    如果我能看得更遠一點的話,是因為我站在巨人的肩膀上。站在巨人的肩膀上,我們可以看得更遠,但不要迷戀高處的風景,那裡暫時不屬於我們。找到正確的方向,走著自己的路,終有一天,我們也可以成長成巨人,擁有一片屬於自己的風景。熊出沒取得的成就熊出沒系列動畫從2011年至今,獲得了至少14項獎項,2014年正式推出電影,票房數據很不錯的。
  • 【大咖說事】站在「巨人肩膀」上進擊的唐澤
    牛頓為什麼看得比別人更遠一些那是因為他站在巨人的肩膀上
  • 「站在巨人的肩膀上」的斯託克斯
    原標題:「站在巨人的肩膀上」的斯託克斯 事實上,斯託克斯的研究是建立在劍橋大學前一輩科學家的研究成果之上的,可以用牛頓的「站在巨人的肩膀上」來形容。 對他有重要影響的數學家包括拉格朗日、拉普拉斯、傅立葉、泊松和柯西等,他們均是大名鼎鼎的數學家。由此可見做學術研究不僅需要像佩雷爾曼那樣的獨立鑽研的精神,也需要前輩的指引。
  • 紅芯瀏覽器是「站在巨人的肩膀上打包」吧!
    文 | 陳迪昨天晚上科技圈曝光了一件非常搞笑的事情。一款名叫「紅芯」的「國產瀏覽器」,自稱「打破美國壟斷,中國首個自主創新智能瀏覽器內核」。我們也是尊重說,我們是站在巨人的肩膀上去做創新」——高婧,「紅芯」聯合創始人。原來「站在巨人肩膀上的創新」,就是把巨人的產品打包幾層拿出來賣嗎?漢語詞彙「創新」的詞義,就是反反覆覆被這樣的人、這樣的公司一點一點地汙染的。過去把別人的成果拿過來,改動一點點就叫做「微創新」,大家慢慢見怪不怪都認了;現在加一層皮膚連裡面文件名都不帶改的都敢說自己是創新了,所以這次該叫什麼?打包式創新?換皮式創新?
  • 站在巨人的肩膀上——牛頓
    「如果我比別人看得更遠,那是因為我站在巨人的肩膀上。」三百多年前牛頓留下這句膾炙人口的話。之後,每個世代都公認牛頓本人才是無人能比、仰之彌高的巨人,我們都是站在他的肩膀上才能看得更遠。牛頓天性孤僻,在學校時就獨來獨往,即使上了大學仍對讀書以外的活動敬謝不敏,就連宗教也是信奉反對三位一體的非正統教派。雖然是只與社會格格不入的孤鳥,他的天才洋溢仍讓他在24 歲時就成為劍橋大學最年輕的教授,並在兩年後接任崇高的盧卡斯講座教授一職。
  • 站在巨人的肩膀上你可以看見風景,站在巨頭的肩膀上你會看見它
    站在巨人的肩膀上你可以看見風景,站在巨頭的肩膀上你會看見它之前有這樣的一句話,站在巨人的肩膀上你會看見別樣的風景和世界,那麼站在商業巨頭的肩膀上你會看見什麼呢?對於目前的支付市場來說,你看到的一定就是它,為什麼呢?這就是因為國家的一些列政策,讓它悄然而來,進入到大家的生活之中。
  • 後浪們新學期想要鯉魚躍龍門,需要站在巨人的肩膀上
    我們常常說,現在社會的發展是站在前人的智慧上才能前進的,也就是說有著前人奠定的良好基礎,我們才能夠繼往開來;同樣的,對於個人而言,也不可能一蹴而就,不可能出生就能達到大成就。因為一個人長長短短的就那麼百來年的時光,沒有前人的教導和開闊視野,不管是在哪一個領域,單靠自己,你能夠到達前人的高度已經很不多了,更多的是連前人的肩膀都達不到,更不用說「拍死前浪」。既然連巨人的肩膀都沒有踩上,那麼就不用講超越了。所以,我需要認識清楚自己,你已經爬到巨人的肩膀了嗎?如果沒有,是不是爬的方向出錯了,或者在原地踏步?
  • 站在巨人的肩膀上才能看得更遠
    點擊上方文字關注「婷婷隨筆」圖片來源:攝圖網全文共1254字,閱讀需要4分鐘名人語錄:如果說我比別人看得更遠些,那是因為我站在了巨人的肩上。你的起點並不決定你的終點是怎樣的,就好比一句老話所講的一樣,你的出身並不決定你往後的一生。
  • 站在巨人的肩膀上,職場的你需要知道這些
    站在巨人的肩膀上,是我的第二條職場黃金律。這就是站在巨人的肩膀上,把平臺的能力附加給你,把精英的氛圍環繞與你,把大企業的合規合法要求強化於你。這好比在最初你還是白紙的時候,就工工整整地寫下格式要求規範行文,不至於被後面的各種誘惑迷失了方向、蒙蔽了雙眼。年輕的職場人,這點非常重要因為我看過、體驗過,終身受益匪淺。那麼有人說,如果我的能力達不到上面說的三點,是不是就無法做出選擇?
  • ...家是站在100年前的巨人肩膀上,但網絡作家是站在昨天巨人的肩膀上
    11月16日,在2020首屆上海國際網絡文學周的首屆全球原創論壇上,全球內容生態開放平臺正式發布,海內外網文企業代表分享產業實踐成果,行業專家圍繞「網絡文學如何促進全球文化聯結」,對中國網文出海的現狀和發展趨勢展開深入探討。
  • 站在巨人肩膀上做創意丨原來藝術名畫還能這麼玩!
    站在巨人的肩膀上做創意,就是做項目時可以適當借勢大眾心中認知度較高的 IP ,這樣不僅能夠迅速吸睛,也較能夠在目標受眾心中引起共鳴。既然每個人對「藝術」的理解都不一樣,為了不增加受眾的理解成本,不如就從大眾普遍認同的藝術載體,大眾都認可的「巨人」入手。
  • 讓老師始終站在巨人的肩膀上
    原標題:讓老師始終站在巨人的肩膀上「在我看來,只有站在巨人的肩膀上,才站得更高,變得更強。安博學校主張的優勝劣汰原則,引入優秀教師,實際上也是促進教師隊伍整體實力提升的有效手段。」此外,當新老師加入到教師團隊以後,安博學校還會通過「磨課」的方式,讓全體老師都能高水平地完成課堂教學。
  • 學會站在巨人的肩膀上前行
    剛上任的時候,領導就語重心長地說:「小兵啊,組織上把這麼重要的任務交給你是對你能力的認可,你要好好幹作出一番成績來。只要你幹得好,升職加薪都不是什麼難事,咱們這個中心是在總裁那裡都是數一數二的,只要出成績那大家都是看得到的。但是如果你幹的不好,就會有很多人拿著放大鏡看你哪裡做的不好,上一任負責人也是因為這個原因被擼下來的。你要切記,不要重蹈覆轍啊!」
  • 談談站在巨人的肩膀上寫作
    寫作不是生來就會,而是慢慢學習、日積月累才可能有一點小成就的過程,在科學領域上,牛頓會說站在巨人的肩膀上,在文字領域上,高手會說自己曾經是「抄手」。怎麼說自己是「抄手」,因為這不是在說自己喜歡抄襲,不是孔乙己口中的讀書人竊書不算偷,而是每一個文字工作者對前人留下的寶貴財富,進行為我所用,助我所長的反覆咀嚼,接下來我們就來談談怎樣反覆咀嚼,大丈夫有所抄、有所不抄的堅持,那就談談怎樣站在巨人的肩膀上寫作。
  • 站在巨人的肩膀上 「機器人+人類」時代即將到來
    13日,在深圳舉行的英特爾全球信息科技峰會上,賽格威開發者平臺戰略發布。如今在智慧機器人領域,這個問題可以休也——全球的智能開發者可以直接去賽格威開發者平臺上完成自己的創意,從而擁有自己的機器人。這一切都是一家中國的創業公司正在做的。   13日,在深圳舉行的英特爾全球信息科技峰會上,賽格威開發者平臺戰略發布。
  • 巨人的肩膀——數學的模式
    現在很多人講「巨人的肩膀」這個話題,如何理解「巨人的肩膀」?「巨人的肩膀」是什麼?我的理解是,從狹義角度看,不是所有人都能站上巨人的肩膀,能站上巨人肩膀的都是即將成為更偉大巨人的人。從廣義角度看,任何成就的取得,無論是科技,還是教育,亦或經濟、社會,都是前人基礎上的進步,離開前人的鋪墊,就沒有進步的基礎,都是巨人肩膀上的「一小步」,無數的「一小步」匯集成了人類的一大步。此時巨人既是為人類進步做出貢獻的一個個具象的人,更泛指人類文明發展的所有成果。緊接著的話題是,我們如何站到巨人的肩膀上?
  • 「站在巨人的肩膀上」是牛頓侮辱人之語
    [摘要]「如果我看得更遠一點的話,是因為我站在巨人的肩膀上。」這是讀者耳熟能詳的牛頓名言,常常被用來表示謙虛,但實際上,這句話並不是什麼謙辭,而有侮辱人之嫌。光學之爭牛頓稱站在「巨人」胡克肩上牛頓,一位家喻戶曉的科學家,每個中國孩子都知道他與蘋果樹的故事,寫作文也時常引用他的名言:「如果我看得更遠一點的話,是因為我站在巨人的肩膀上。」以此表示要謙虛謹慎。不過,牛頓說這句話是有特定的背景和語境的,這源於他與「英國的達·文西」胡克(羅伯特·胡克,以胡克定律聞名)的學術爭端。