大家是否還記得那場驚心動魄的「刪庫」事件。
今年2月微盟因為「刪庫」而宕機,導致300萬商家生意停擺。隨後,微盟除了拿出包括1.5 億元賠付撥備金的商家賠付計劃外,還決定支持資料庫上雲,逐步放棄自建資料庫服務,增加資料庫跨可用區和異地災備能力。
在資料庫領域,正在形成替換商業資料庫Oracle的暗流。
早在20多年前,「去IOE」概念就在國內推進,成為IT國產化浪潮下的一個目標。其本意是在IT架構中,去掉IBM的小型機、Oracle的資料庫、EMC的存儲設備,採用國產化的IT產品,將數據安全牢牢掌握在國內企業手中。
從IT架構來看,「去IOE」行動希望由開放的x86伺服器取代主機,傳統商業資料庫被開源和國產資料庫替換,而SAN結構的高端存儲被國產和雲化的存儲產品和體系取代。
其中的「O」,乃是真正實現國內IT技術獨立的關鍵所在,即去除對以Oracle為代表的關係型資料庫的依賴,如 Oracle、SQL Server、Sybase、Informix、Access、DB2、MySQL 等。從信息安全角度看,外國IT設備被國產的IT產品所取代。
當年有點痴人說夢的「去IOE」,已經取得了重要的突破。近幾年來,大規模代替傳統商業資料庫,已成為行業內的共識,滿足了企業業務快速發展的同時,還大幅降低了成本投入。
目前,資料庫領域的替代正在如火如荼地推進,並形成了三道靚麗的風景線。
1.雲上「下架」Oracle資料庫
資料庫上雲已成業界共識。Gartner預測,到2023年,全球3/4的資料庫都會跑在雲上。
資料庫上雲,徹底改變了傳統資料庫的使用方式。雲計算+資料庫能帶來更低的運營成本、更高的靈活性,以及與未來物聯網、5G結合滿足龐大而複雜數據需求的能力。
傳統資料庫巨頭包括Oracle在內都無法抵擋這個趨勢。
用酒瓶與酒做比喻,「雲計算+資料庫」競爭態勢和未來挑戰就浮出水面。
用雲計算裝載傳統資料庫產品,等於原來在本地部署的資料庫,現在換個地方,移動到雲上。
「雲資料庫」由於本身就原生於雲環境下,是全新的資料庫產品形態,所以應該屬於「新瓶裝新酒」。
因此,在雲計算時代,資料庫的替代表現在兩個方面:
一方面,雲服務商將自己的業務從Oracle等商業資料庫上轉移。
去年10月15日,AWS的首席布道者Jeff Barr在官方博客發布文章宣稱,亞馬遜的消費者業務部全部業務已經遷移到自有的資料庫上,並關閉最後的Oracle資料庫。
亞馬遜消費者業務替換和關閉了高達7500個Oracle資料庫,並將存儲在Oracle資料庫中的75PB內部數據遷移到多項AWS資料庫服務,包括Amazon DynamoDB、Amazon Aurora、Amazon Relational Database Service(RDS)和Amazon Redshift等。
遷移過程無需停機,覆蓋面廣泛,涵蓋AWS全部的專有系統,如複雜採購、目錄管理、訂單執行、會計和視頻流工作負載等。
根據介紹,亞馬遜消費者業務部門的100多個團隊參與了這項遷移工作,包括Alexa、Amazon Prime、Amazon Prime Video、Amazon Fresh、Kindle、Amazon Music、Audible、Shopbop、Twitch和Zappos等直面客戶的團隊,以及AdTech、Amazon Fulfillment Technology、消費者付款、客戶退貨、Catalog Systems、交付體驗、數字設備、外部付款、財務、InfoSec、市場、訂購和零售系統。
金融系統不能丟失任何一條數據,因此,以前金融系統包括螞蟻金服只能用Oracle的資料庫,沒有辦法採用開源的資料庫。因此,阿里巴巴的去「IOE」的最後一個戰役是螞蟻金服。
阿里雲技術專家楊傳輝介紹說,2014年阿里金融業務螞蟻金服支付寶開啟去IOE徵程,大膽嘗試將10%的交易流量由Oracle切換到阿里自研的資料庫OceanBase,這是全球第一次在金融系統核心業務中使用非Oracle資料庫。
隨後,支付寶向OceanBase的轉移加速,2015年將100%的交易流量與50%的支付流量,2016年將100%的交易與100%的支付,以及30%的花唄的帳目流量,到2019年將支付寶的每一筆操作都是遷移到OceanBase。
2019年雙11期間,阿里旗下資料庫OceanBase、PolarDB、RDS、AnalyticDB、TSDB等全線資料庫產品,支撐阿里巴巴內外部客戶順利通過大考,保障了數億消費者的購物體驗,為54.4萬筆/秒的訂單創建峰值提供了強有力的技術支撐。
為什麼要放棄Oracle資料庫呢?
Barr稱,多年來,亞馬遜花費太多時間管理和擴展數千個陳舊的Oracle資料庫。在事務速率不斷攀升、存儲數據總量節節增長的情況下,公司的資料庫管理員(DBA),疲於保持系統的流暢運轉,未將精力聚焦在高價值的差異化工作上。
同時,DBA還需將大量時間用於處理複雜且效率低下的硬體配置、許可證管理和許多其他本可以由現代化的託管資料庫服務來處理的問題。
在完成遷移後,亞馬遜在仔細分析了成本和性能,得出如下的結論:
降低成本,基於AWS的應用規模以及所享受的折扣率,將資料庫成本降低了60%以上。從Oracle切換到AWS可使客戶報告的成本節省90%。
提升性能,面向消費者的應用延遲降低40%。
管理費用,切換到託管服務可將資料庫管理支出減少70%。
而在阿里巴巴,在雙11當天的交易中,OceanBase和PolarDB每秒處理峰值都遠遠超越傳統Oracle資料庫。前不久在全球權威TPC-C測試裡面拿下全球第一的OceanBase每秒處理峰值更是達到6100萬次,再次刷下自己創下的紀錄。
另一方面,企業在上雲後,將自己的業務遷移到雲上的資料庫,目前大部分遷移到雲原生的資料庫上。
目前,雲資料庫有兩種類型,一種是將傳統資料庫搬到雲上,以租賃方式為用戶提供服務,即託管雲資料庫服務(RDS),這是大多數雲廠商所提供服務的方式。此類資料庫多為第三方商業資料庫和開源資料庫,如SQL Server、MySQL、PostgreSQL、MongoDB等。
另一種是專為「雲」而生,全新設計的雲原生資料庫(Cloud Native),最大的特徵就是計算與存儲分離,多為頭部雲廠商自研資料庫,也是以租賃方式提供服務,如阿里雲PolarDB、騰訊雲CynosDB、華為雲TaurusDB等。
一方面,商業資料庫市場進一步集中。隨著Informix被收購、IBM DB2市場的萎縮、普通商業資料庫市場(OLTP及OLTP/OLAP混合模式)進一步集中,Oracle逐漸一家獨大,許多企業核心及主要的資料庫系統基本由Oracle承擔。
微軟雖然推出Linux版本的SQL Server,但其份額很小,主要市場在Windows伺服器上。
Oracle資料庫在雲計算時代的成本高、維護困難等弊端日益凸顯,被替換在技術和實踐兩方面都開始變得可行。
另一方面,國內一家研究機構報告表明82%的企業表示已經部署或正在計劃部署雲資料庫,其中已經部署、正在部署、正在計劃部署的企業分別佔39.7%、12.8%、29.5%,只有18%的企業表示沒有任何計劃。這說明,雲資料庫在中國企業中的應用是大勢所趨。
2.開源資料庫替代潛移默化
根據2019年Gartner開源DBMS市場研究報告,預計到2022年,超過70%的內部應用程式都將建立在開源資料庫管理系統(open-source database management system)之上,50%的現有商業關係資料庫管理系統(RDBMS)都將被替換。」
從集中式到分布式,從SQL到NoSQL,從關係型到非關係型,從支持結構化數據到支持非結構化數據,從對象到事件和事件序列等,開源資料庫遍地開花,更是出現了像MySQL、PostgreSQL、MongoDB和Apache Cassandra這樣的明星資料庫,得到了廣泛的應用。
開源軟體的發展歷程
開源資料庫增長速度驚人。在過去兩年中,開源資料庫管理系統市場的平均增長率為75%,而整個資料庫市場的增長率僅為7.7%。
Gartner分析師Merv Adrian就指出,Oracle從2013年起一直在丟失市場份額。顯然,開放原始碼對Oracle這家資料庫巨頭產生衝擊是不容忽視的。
作為一個整體,排名最靠前的五大商業資料庫供應商「俱樂部」總體佔據的市場份額自2011年以來,從91%下降到了86.9%。
利用開源軟體,多家公司成功IPO。過去30年,大約有200家公司以開源為核心技術,籌集了總共超過100億美元的資本。Cloudera、MongoDB、Mulesoft、Elastic和 GitHub等都成為了數十億美元IPO或者併購交易的一部分。
傳統上,開源軟體主要是圍繞著企業基礎架構來開發的,如資料庫和作業系統如MySQL和Linux等。隨著開源的復興,幾乎所有行業都在積極發展開源軟體,如金融科技、電子商務、教育、網絡安全等。
商業公司對開源公司的收購和開源商業化從來都沒有斷過。2008年,MySQL被以10億美元的價格收購,隨後Sun公司又被Oracle收購。
2015 年Apple公司收購了開源資料庫提供商FoundationDB。而FoundationDB作為一款增強型NoSQL同時又能夠運行ACID 交易的開源資料庫,蘋果可以藉此提升自己雲端服務能力。FoundationDB 隨之從開源變為閉源。
而三年後,Apple 公司又在GitHub代碼網站上重新將FoundationDB 雲資料庫列為開源項目。
2019年年初微軟收購PostgreSQL初創公司Citus Data,發力開源資料庫領域。
大量的商業公司開源其資料庫產品,以增強其資料庫產品的實力。同時,很多公司利用開發發展自己的資料庫產品和服務。
瀚高CTO鄭曉軍告訴中國軟體網記者,以開源為基礎發展國產資料庫系統,是一個切實可行的發展之路,也是符合市場規律的一個策略。它本質上並不依賴政策的扶植,本身就有明確的市場需求支撐。成效就是以合理的投入,自主地快速成長,而且掌握前沿資料庫技術。
利用開源,成功實現盈利並發展成為獨角獸企業在基礎軟體領域也不在少數,但是做法多有不同。有的企業通過訂閱收費,有些通過提供實施、諮詢培訓等服務賺錢,有些提供商業組件等實現盈利和發展。這一切的關鍵在於是否擁有一個合適的開源商業模式。
那麼開源資料庫吸引用戶的是什麼?
因為市場需求多樣化,開源產品也會變得更加多樣化。首先,現在的需求非常碎片化,傳統資料庫不能很好的表達,如對Streaming 要求越來越高。關係型資料庫肯定不會比專門的設計的資料庫用起來順暢,如圖資料庫等。
其次,當然是成本、可用性和方便性等方面的考慮,這是傳統資料庫所無法比擬的。
開源資料庫需要商業支持嗎?
凡事都有兩面性,開源資料庫的流行恰恰是因為開源,開源資料庫又具有商業應用的實力,那麼就出現開源資料庫商業模式的探索。
上雲是大勢所趨,雲才是資料庫的最佳落地平臺。隨著越來越多的企業上雲,勢能正一點點偏向雲廠商,雲服務商也在利用開源資料庫提供服務而賺錢。
因此,雲服務商與開源資料庫服務公司之間的矛盾由此生產。MongoDB修改協議,不讓AWS等大型雲服務商「吸血」。而AWS拒絕從 MongoDB 購買商業許可證,還推出了替代品 DocumentDB。
2018年,包括MongoDB、Redis、Neo4J等多家開源資料庫廠商為了維護自身的利益,紛紛宣布修改協議,其目的就是防止雲服務供應商「薅羊毛」。
在一些業內人士看來,修改許可協議的幾家開源資料庫背後都有公司運營,需要商業化的支撐,這也反映了雲計算廠商發展資料庫給這些開源資料庫帶來了壓力。
PG中文社區主席&太陽塔科技創始人趙振平認為,「這確實對整個開源界釋放出一個新的信號,也就是開源除了精神上的支柱,其實也需要商業化的支柱,可能商業化反而會助推其開源的發展。」
3.國產自研資料庫掀起奇幻之旅
雲資料庫代替傳統大型商業資料庫趨勢,悄然間已經到了從量變到質變的拐點,阿里雲OLAP產品團隊高級產品專家韓鋒認為。
國內企業對資料庫的使用大致走過了「商業->開源->開源+定製->自研」逐步演進的道路。近些年來,隨著技術、資本、人才的積累,國內在資料庫領域不斷突破,已成為全球資料庫市場的重要組成部分。
韓鋒認為,從資料庫技術本身而言,隨著分布式、雲原生、軟硬一體化、人工智慧等技術的出現,為自研資料庫代替大型傳統商業資料庫,實現彎道超車提供了可能。同時這些技術的出現,也解決了很多傳統資料庫固有的問題,突破了舊有架構的缺陷,更好地滿足客戶對海量、彈性、安全、性能等方面的要求。
沒有傳統資料庫廠商的歷史包袱,新興廠商站在更高的起點上,實現對傳統廠商的超越。在這一過程中,國產廠商特別是雲廠商,無疑扮演著非常重要的角色。
此外,國內頭部的雲廠商,其資料庫產品往往是經過了多年自有業務的錘鍊,無論從功能、性能、穩定、安全、高可用等多個角度,可以較好地滿足了業務需求。很多客戶也正是看到了這一點,逐步選擇接受國內廠商的產品。
國產自研資料庫在數量和性能上都有質的飛躍。
國產資料庫排行榜
墨天輪的國產資料庫排行榜中,就有很多國產的自研的資料庫。
來自於阿里巴巴體系的 OceanBase和PolarDB佔據前五的兩個席位。PolarDB是阿里雲自主研發的雲原生資料庫,採用存儲計算分離、軟硬體一體化設計,可以快速實現彈性縮擴容,完全滿足大規模業務場景的需求。2019年7月,阿里雲PolarDB重大升級,深度兼容Oracle的語法和數據類型,可實現一鍵遷移上雲。
2019年10月,OceanBase在 「資料庫領域世界盃」TPC-C基準測試中,打破了由美國公司Oracle(甲骨文)保持了9年之久的聯機交易處理系統(OLTP)世界紀錄,成為首個登頂該榜單的中國資料庫產品,被評價為「中國基礎軟體取得的重大突破」。在測試期間, OceanBase性能提升了50%。
作為領先的國產分布式資料庫,騰訊的TDSQL已經為500多家金融政企,包括多家頭部銀行機構、多家省部級政務機構提供金融級分布式資料庫服務,其中幾十家用戶以私有雲的方式部署,穩健支撐了超過200億帳戶數據的運營和管理眾多金融企業開展數位化轉型升級。
事實上,TDSQL誕生自騰訊內部計費場景,歷經多年海量金融級交易場景磨鍊,適用於 TB或PB級的海量資料庫場景,TDSQL提供的6大核心特性,能夠解決單機資料庫性能瓶頸、應用層分片開發工作量大等難題。
此外,經過多年發展,TDSQL支持靈活的全球部署架構及快速自動化交付:除了支持銀行業標準的"兩地三中心部署架構」外還支持「同城雙中心」「兩地四中心」 等架構。根據不同的機房建設預算,達到不同的容災級別條件,實現不同模式的高可用容災。
GaussDB資料庫是華為從2011年開始投入研發,在全球布局8個研究所,持續進行大規模研發投入。GaussDB企業級分布式OLTP資料庫,採用分布式架構,結合了傳統的關係資料庫管理系統和分布式的擴展處理能力,兼容SQL標準,具備強一致性和高可用性,提供百萬級TPMC(transactions per minute每分鐘內處理的新訂單個數)的交易處理能力和企業級可靠性。
GaussDB分布式能力做到對業務透明,能替換傳統OLTP資料庫應用,也能替換資料庫中間件、資料庫分庫分表等方案。同時它也讓開發運維人員不用關注資料庫數據分布和擴展的細節問題,專注於業務開發,極大的提升生產力。
GaussDB資料庫產品也得到了電信、金融等金字塔尖客戶核心系統的驗證。
在企業管理的核心軟體ERP、CRM等關鍵應用方面,國產企業開始採用國產的資料庫。
目前國內主流的ERP軟體產品使用的資料庫管理系統以微軟的SQL Server和甲骨文的Oracle為主,基本沒有使用國產資料庫產品。
2020年3月,伯俊軟體新一代ERP「雲雀」已全面集成阿里雲PolarDB資料庫,助力數千家零售業客戶向雲上遷移,並實現資料庫綜合使用成本降低50%以上。
「傳統資料庫購買費用貴,後期維護和使用門檻高,應對創新業務不夠靈活」,伯俊軟體CEO孫一暉接受中國軟體網採訪時表示。公司新款ERP「雲雀」全面集成阿里雲PolarDB,成功幫助客戶大幅降低資料庫使用成本,簡化甚至免去運維負擔,讓業務系統快速遷移上雲,構建彈性基礎設施,高效地解決業務峰值問題。
據介紹,通過全面集成PolarDB,伯俊軟體最終客戶資料庫的管理複雜度大幅降低;利用分鐘級伸縮功能,解決了客戶業務高峰期的彈性擴展問題;在同樣性能表現下,資料庫綜合使用成本降低50%以上。
3月,用友與華為合作,雙方將基於用友企業雲服務和華為GaussDB 資料庫,打造國產化解決方案。華為提供基於鯤鵬的資料庫產品,並協同用友完成大型企業數位化平臺NC Cloud等產品對GaussDB的適配。預計今年9月推出成熟的NC Cloud+GaussDB的國產化解決方案。
目前國內ERP市場,國產軟體和雲服務商包括用友、浪潮、金蝶、鼎捷等都具備非凡的實力,也擁有越來越多的用戶,完全可以借鑑用友與華為的合作經驗,在ERP中推廣使用國產資料庫。
為了給企業提供更優質的服務,存放客戶「攸關性命」的數據,銷售易選擇將基礎服務交給騰訊雲,並將關鍵業務數據遷移到騰訊雲資料庫MySQL (Tencent DB for MySQL)和Redis (TencentDB for Redis),從而保障客戶數據安全,實現數據無損遷移。
在聯合國75周年活動中,聯合國將面向全球公民發起對話邀請,支持活動參與者通過騰訊會議、企業微信和騰訊同傳,靈活組織和參與不同規模的在線會議。騰訊金融級分布式資料庫TDSQL將助力騰訊會議為本次UN75周年活動靈活、穩定、安全的在線會議解決方案。
國產資料庫高速發展,替代傳統商業資料庫正在形成一種趨勢,一股清流,已然愈演愈烈,越來越多的企業正考慮或已經走上了替換之路。
相信,在不久的未來,將有更多的企業做出這樣的選擇,並享受到隨之帶來的紅利。
在不知不覺之中,資料庫行業正在掀起一場新的洗牌。