引領數據創新，星環分布式資料庫KunDB亮相數據技術嘉年華

2020-11-30 星環科技

2020年11月20-21日，一年一度的數據技術嘉年華在北京順利召開，此次大會以「自研·智能·新基建——雲和數據促創新 生態融合新十年」為主題，打造 「開源自研、智能運維、智能自治、新基建、用戶實踐」五大模塊，設置1個主會場、12個分會場，匯聚學術精英、資料庫技術大咖、數據行業專家、網際網路卓越產品，帶來超過60場主題演講。

星環科技受邀亮相此次嘉年華，與行業內的專家和業界人士一同探討總結數據技術過往十年的歷程與成績，共同展望未來十年的趨勢與目標！


星環科技產品研發部趙志強結合當前分布式資料庫的技術需求背景，分享《國產分布式資料庫KunDB開發實踐》主題演講。趙志強主要從介紹星環KunDB產品、KunDB如何使用分布式技術解決分庫分表方案的核心痛點、KunDB上私有雲的技術總結、KunDB主要開發路線四個方面做有關主題演講，與參會人員分享星環科技近些年在分布式資料庫上所做的努力和貢獻，並希望未來將分享更多相關前沿技術。


分布式資料庫的技術需求


目前國內分布式資料庫的發展逐步火熱化，企業紛紛開始投入做國產分布式資料庫的行列中。在了解市場和政策的需求背景下，結合具體的技術邏輯，趙志強總結了分布式資料庫技術的應用需求和運維需求。以星環科技參與上海市隨申碼開發為例，目前與人民生活密切相關的民生和政務系統會成為海量用戶使用的應用，亟待分布式資料庫技術解決。另外，並不是所有企業像頭部網際網路公司一樣具有專業的運維團隊，由於資料庫目前是分布式的，數據同步和災備超出傳統的管理能力，所以能夠在產品層面解決運維痛點也是企業目前急需解決的難題。


KunDB介紹


此次大會分享的KunDB產品是星環科技打造的分布式關係型資料庫，具有可擴展、高並發、高可用等特性，可對現代資料庫的需求提供通用的解決方案，有效支撐各行業業務平臺，應對各類新型業務面臨的挑戰。

•雲化資料庫

KunDB是雲原生的資料庫產品，可以部署在公有雲、私有雲、及混合雲架構；具有高性能、好遷移、易部署等優勢

•性能水平擴展

KunDB採用可擴展分布式架構，輕鬆處理高並發、大流量訪問，使資料庫性能不再成為系統瓶頸。具有線性延展、在線延展、高並發等優勢

•多租戶能力

KunDB提供多租戶能力，保障租戶隔離和SLA。可以保障多租戶間的數據隔離、資源隔離、運行隔離，提供租戶管理員角色，使各租戶能得到有效監管，統一界面對租戶權限和資源進行合理劃分與管理。

•SQL & ACID

KunDB高度兼容傳統關係型資料庫SQL以及標準事務。

•安全可靠、自主可控

KunDB是星環科技自主研發的國產資料庫，同時為數據提供多維度的安全保護，確保數據信息安全。

•高可用和容災

KunDB內置災備和恢復機制，提供7x24小時連續服務保證。可取代傳統國外RDB，擺脫外國廠商對國內資料庫市場的控制，同時支持國產CPU和伺服器等自主可控的硬體平臺，兼容多種國產作業系統，能夠足夠滿足企業對數據安全的要求，適應多租戶模式的企業架構對安全的要求。


KunDB產品的技術實踐

KunDB的分布式實踐

星環科技在研發KunDB產品過程中，具體的的分布式實踐可以在以下五個方面突出表現。

可擴展性方面，KunDB部署後，支持單Shard模式和分布式模式兩種形態。KunDB產品所有組件都是容器化的，所以擴縮容過程可做到真正的平滑，為了做到在線業務影響最小化，擴縮容數據重分布的過程，則需按照嚴謹的結構複製、數據複製、數據一致性校驗等流程完成。計算層由於沒有狀態，相對輕量，可快速完成並且不影響在線業務。

事務的原子性方面，KunDB默認提供了一階段提交和二階段提交兩種模式。一階段適合對事務原子性沒有非常高要求的業務場景。二階段提交增加了事務準備的中間階段，正常流程中，所有事務先進行投票，投票通過後，所有參與者一起發起事務提交。投票失敗的時候，事務可通過回滾達到全局原子性。在實現上，KunDB中KunGate擔當了二階段提交的事務協調者的角色，存儲集群則是事務的實際參與者。KunDB自研二階段提交協議，未使用MySQL XA協議完成，並且優化了通信流程，比經典的二階段提交方式更加輕量。KunDB含有異常事務的監測進程，用來管理因參與者宕機故障或者超時引起無法按流程執行的事務。

事務的一致性方面，KunDB引入了全局事務管理器和快照模型。全局事務管理器用來管理事務ID和可見的事務快照，即可見的事務範圍。為了協調事務執行的參與者，即KunDB的各個Shard，參與到一個共享的事務中，將全局事務下發給給存儲層的Shard。通過修改MySQL的事務邏輯使其同時支持分布式全局事務和本地事務，保證分布式事務的全局一致性。事務的實際執行與管理仍可在本地進行，跟常見的全局事務管理器方案相比，性能上更有優勢。

事務的隔離性方面，採用的是全局事務+Read View的方案，從全局事務管理器獲取的快照列表跟本地的Read View機制一起做數據可見性的判斷。另外對事務過程中的二進位日誌做全局管理，即把全局事務管理下沉到二進位日誌中，實現全局備份恢復一致性。

分布式資料庫在解決高並發寫和可擴展存儲後，需要通過分布式查詢計算實現大容量數據下的數據高性能讀取和使用。KunDB在查詢計算的數據鏈路中，有KunGate提供查詢的SQL解析，基於規則和代價選擇合適的執行路徑，儘可能的下推給底層MySQL來並發執行。部分不能下推的複雜計算型的SQL或者沒有分片規則可以優化執行的場景，會通過批處理的方式從底層存儲引擎拉取到內存中進行分布式計算。

KunDB的雲化實踐

雲原生資料庫是資料庫新的部署形態。KunDB支持在星環TDH和TDC兩種模式下部署和交付。兩種模式下，KunDB的服務組件都是通過容器計劃服務化的，區別在於存儲方面，TDH裡KunDB還是用的裸存儲設備，而在TDC裡則用的池化的存儲設備。

資料庫作為一種持久化的服務，使用容器服務化會異常複雜。星環使用Docker+Kubernetes框架對大數據類服務和微服務框架進行改造，KunDB基於多年的容器實踐做了雲化改造。

首先是服務編排、調度與資源管理的技術。包括如何支持資料庫這類有狀態服務的雲存儲，KunDB在內部採用了存儲感知的調度策略，優化了對池化資源的使用。通過資料庫內部服務切分，跟雲平臺服務的調度系統和多租戶服務的SLA控制策略結合，保障資料庫服務的優先調度。借鑑大數據云化的經驗，採取數據局部性讓計算最優化。

KunDB目前支持雙因子認證，數據通信鏈路加密，數據加密，MAC權限管理等機制。KunDBA套件基於資料庫運行日誌做全時態的監控，包括資料庫運行狀態，性能監控和SQL審計，並支持告警。分布式資料庫的運維體系相對傳統資料庫更加複雜，KunDBA還提供了服務鏈路的跟蹤和故障的根因分析。在監控的基礎上，KunDBA會集成SQL調優、擴縮容管理、災備管理等常見的運維事項，提供集中化的運維平臺。


KunDB產品的演進


星環科技通過多年的實踐經驗，目前KunDB的核心定位是作為MySQL和Oracle的分布式替代方案，持續增強對MySQL和Oracle的兼容。HTAP是資料庫產品的一個新的趨勢，KunDB結合現有的能力以及星環科技的產品矩陣，選擇了OLTP+OLAP的異構方案組成HTAP。其中OLTP指的是KunDB，OLAP是星環分布式分析資料庫ArgoDB。

星環科技從技術視角出發，生動詮釋KunDB作為分布式資料庫和雲原生資料庫的內容，以期帶來有關對資料庫技的思考和實踐。展望未來，希望星環科技的KunDB產品能夠在技術的加持下，服務更多市場客戶，用實力技術助推企業發展。

【點擊下方連結閱讀微信原文>>>快快關注「星環科技」微信公眾號>>>更多內容資訊等你來看>>>還有不定時福利放送哦！】

相關焦點

  • 引領數據創新,星環科技分布式資料庫KunDB亮相數據技術嘉年華
    2020年11月20-21日，一年一度的數據技術嘉年華在北京順利召開，此次大會以「自研·智能·新基建——雲和數據促創新 生態融合新十年」為主題，打造 「開源自研、智能運維、智能自治、新基建、用戶實踐」五大模塊，設置1個主會場、12個分會場，匯聚學術精英、資料庫技術大咖、數據行業專家、網際網路卓越產品，帶來超過60場主題演講。
  • 數據引擎,創見未來——深度探秘分布式資料庫技術嘉年華
    技術創新的每一次破冰，都予以未來更多期待，方圓有界，認知無界。據悉，由上海大數據聯盟、中國通信標準化協會大數據技術標準推進委員會、MySQL全球事業部主辦，北京海量數據技術股份有限公司承辦的「新一代企業級分布式資料庫高端技術嘉年華——暨MySQL全球技術沙龍(上海站)」將於2018年12月22日下午在上海舉行。
  • 雲和數據促創新 中興通訊GoldenDB亮相2020數據技術嘉年華
    打開APP 雲和數據促創新 中興通訊GoldenDB亮相2020數據技術嘉年華 C114通信網 發表於 2020-12-22 14:43:37
  • 2020資料庫行業大事件盤點和2020數據技術嘉年華集結號
    6月1日，騰訊雲發布分布式圖資料庫TGDB，支持千億級節點、萬億級關聯關係數據實時查詢；同日，OceanBase的獨立經營實體——北京奧星貝斯科技有限公司在北京註冊成立。2020數據技術嘉年華，我們邀請到了國內外多家資料庫廠商，其中一些早已聲名在外，成為了行業標杆；也有一些資料庫名不見經傳，其實已經悄悄融入了生活的方方面面。
  • 星環科技入選《2020中國數據智能產業圖譜》
    11月12日，數據猿發布《2020中國數據智能產業圖譜1.0》，星環科技被選為中國數據智能產業典型性代表，入選該圖譜金融行業應用和多個細分子項，包含數據&智能技術服務中的大數據分析平臺、數據科學平臺、機器學習和基礎設施中的雲計算服務平臺、資料庫等。
  • 共贏新生態 中興通訊GoldenDB亮相2020數據技術嘉年華
    11月20日－21日，第十屆數據技術嘉年華在北京正式召開，作為國內資料庫專業領域的盛會，本屆大會以「自主o智能o新基建－－雲和數據促創新 生態融合新十年」為主題，匯聚國內資料庫領先的品牌及技術大咖和行業專家，中興通訊副總裁、GoldenDB產品總經理趙培先生及GoldenDB首席科學家丁巖先生受邀參加本屆活動並發表相關主題演講。
  • 星環科技受邀亮相大數據產業創新峰會,並獲最佳技術創新企業、最佳...
    來源：時刻頭條12月4日，2020中國（上海）大數據產業創新峰會在上海隆重舉行，星環科技受邀參加此次峰會，星環科技創始人兼CEO孫元浩在峰會主論壇中發表「大數據技術加快數位化轉型」主題演講，金融行業解決方案首席架構師王天藍在平行論壇中發表「大數據助力金融行業數智化轉型
  • 打造中國基礎軟體新名片,星環科技創新與超越之路
    在此背景下，定位於提供大數據和人工智慧技術平臺的星環科技，在過去六年的時間裡，通過不斷的創新和超越，從整體上重新構建了自身的大數據技術棧，有效解決了第一代大數據難以解決的技術難題，不僅成長為國內極少數掌握大數據核心技術的公司，更打造了出了一張中國基礎軟體領域的「新名片」。
  • 用一個平臺處理多模數據,中國星環科技大數據平臺做到了!
    在這個令人激動的數字時代時代，大數據技術正在與雲計算、5G、AI等新技術融合，落地速度前所未有的加快。　　2020年5月15日，星環科技全面升級了大數據、雲計算、AI為主的三條產品線，並發布了一代搜索產品Transwarp New Search、知識圖譜全棧解決方案、基於邊緣計算的雲邊一體AIoT解決方案、基於人工智慧和複雜網絡的實時反欺詐解決方案等，展現了中國大數據基礎軟體與平臺企業創新成果，讓中國用戶更好的利用日益增加的數據，發現數據中的價值。
  • 巨杉亮相 DTCC2019，引領分布式資料庫未來發展
    2019年5月8日，DTCC第十屆資料庫大會在北京隆重召開，SequoiaDB巨杉資料庫作為領先的金融級分布式關係型資料庫，為大家帶來了兩場精彩紛呈的分享和發布。王濤提到：「分布式資料庫的存在目標，是要解決兩個問題。第一，是解決數據的彈性擴張，使每個微服務不受底層數據存儲限制。第二，就是微服務應用架構中數據嚴重碎片化的問題。」
  • 中國大數據領導者,「星環科技」起航
    在這數據爆炸的時代，大數據技術能讓你發現隱藏於海量數據背後的商機。據公告，星環信息科技(上海)股份有限公司已與中金公司籤署上市輔導協議，擬科創板掛牌上市。星環科技是一家全球領先的大數據基礎軟體提供商，公司聚焦於企業級容器雲計算、大數據和人工智慧核心平臺的研發，打造能夠實現軟體層的國產自主可控，且擁有一站式功能的產品。
  • 星環科技被APAC CIO Outlook評為TOP 10大數據方案商
    星環科技創始人兼CEO孫元浩在接受《APAC CIO Outlook》雜誌採訪時表示，隨著時間和業務不斷的發展，是否能將大數據這種分布式的架構部署在雲平臺上，更好的實現數據共享，解決數據孤島幫助客戶提升開發運維效率是亟待解決的難題。大數據已經進入3.0時代，大數據技術、人工智慧技術、雲計算技術開始融合，這就要求在同一個平臺當中，滿足各種不同層次的大數據需求。
  • 星環科技重構數據云平臺,持續釋放數據紅利和價值
    毫無疑問，TDC數據云平臺不僅是星環科技在大數據、實時數據處理領域、大數據和雲融合領域以及機器學習、人工智慧領域技術創新的「集大成者」，同時其以雲平臺為基礎，以數據為中心，以智能化為方向的建設方式，也在整個市場中重新定義了數據基礎設施技術升級的新範式和技術選型判斷的新標尺。
  • 星環科技+鯤鵬：乘風破浪的大數據生態
    「鯤鵬+星環科技+中軟國際」的朋友圈成立於2013年的星環科技，專注於企業級大數據平臺等產品的自主研發，2016年被Gartner評為全球最具有前瞻性的數據倉庫及數據管理解決方案廠商，2017年被IDC評為中國大數據市場領導者，2018年成為12年來全球首個完成TPC-DS測試並通過官方審計的資料庫廠商
  • 星環科技獲2020大數據科技傳播獎
    「大數據科技傳播獎-未來獎」是從團隊的技術實力、產學研融合發展、人才培訓及認證工作，服務客戶等多方面的綜合情況，嚴格考量評出。　　星環科技大數據基礎架構部研發了世界上首個獲得官方認證的通過TPC-DS 10TB測試的資料庫引擎Transwarp Data Hub，於2018年打破了標準發布12年以來無人能破的歷史，標誌著星環科技在分布式資料庫的技術領先性，也證明了星環科技對國產資料庫領域做出的重要貢獻。此前，國際知名大廠嘗試測試，均未在全部場景通過審計。
  • ...基於星環科技Transwarp ArgoDB的英特爾®精選解決方案入選ISS
    與此同時，星環科技作為英特爾在中國區的重要合作夥伴受邀參加北京時間6月19日的英特爾數據創新峰會(DCC)，星環科技創始人兼CEO孫元浩攜手英特爾通過高科技手段亮相Magic Moment。呂品解讀了星環科技如何幫助企業客戶構建數位化轉型平臺，包括數據中臺、AI中臺和應用中臺，以及星環科技的分布式快閃記憶體資料庫ArgoDB整體性能如何能獲得顯著提升及其落地案例，吸引了超過2萬餘人在線觀看。
  • 星環科技的「顏色日曆」
    2019前沿科技論壇，星環科技CEO孫元浩，至少三次提到了，「領先全球1~2年」。過去六年中的每一階段，星環科技都奉獻了世界級的技術創新。對Spark引擎的改造，解決了海量數據的處理問題，也兼容了不同類型的資料庫；推出ArgoDB內存資料庫，率先支持全快閃記憶體伺服器，所有「急性子」的業務不再有焦慮感；全球首提「數據云」概念，展現了企業數據基礎設施本應有的頂層設計。
  • 往十年不忘初心,新十年不負韶華丨完整回顧2020數據技術嘉年華
    11月21日下午，伴隨著為期兩天的2020數據技術嘉年華（DTC）的精彩落幕，DTC已經正式走過了十個年頭。十年轉瞬，初心不改，數據技術嘉年華始終堅持技術交流與分享的定位，吸引和聚集越來越多的數據領域學術精英、領袖人物、技術專家、從業者和技術愛好者，在相伴中見證個人的快速成長、技術的迭代進步、行業的蓬勃發展、生態的融合共贏，以及市場的風雲變遷。「自研·智能·新基建——雲和數據促創新 生態融合新十年」是本屆DTC的主題。
  • 星環科技多模異構數據處理平臺 讓大數據「卡脖子」成為過去
    另一條技術路線就是以星環科技為代表的自主開發中國用戶需要處理的數據量遠超過之前在其他國家的需求。同時中國用戶在應用場景方面有著非常強的創新意識，需要處理的場景複雜度也超過了其他國家用戶。星環科技就是專註解決用戶的這些難點，走出了一條獨特的自主研發技術創新之路。
  • 星環科技入選「2020 國產資料庫領域最具商業合作價值企業」|大...
    近日，星環科技入選《2020 國產資料庫領域最具商業合作價值企業盤點》，該系列盤點由國內知名大數據產業創新服務媒體數據猿工作人員與外部專家成員聯合組成的評選推薦委員會，通過直接申報交流、外界評價、匿名訪問等交叉驗證的篩選推薦形式匯總而出。