2010年3Q大戰之後,騰訊進入到了一個新的起始點。站在前沿技術層面,騰訊的格局和視野越來越大。
今天更為強調的微信小程序雲開發、騰訊音視頻、騰訊資料庫、騰訊大數據與AI、騰訊安全等相關領域的技術生態,很大程度上也源自於貫穿騰訊過去十年的關鍵詞——擁抱雲原生與開源。
消除內部的技術孤島
2018年930變革中,騰訊除了新成立CSIG、PCG兩大事業群之外,還有一個重要舉措是成立技術委員會,實際上承擔了騰訊內部當時一段時間裡「開源協同」和「自研上雲」兩大戰略的實施。
在此之前,騰訊內部開源文化匱乏,各部門之間缺乏技術合作,代碼也互不開放。與此同時,在業務層面也存在類似煙囪式的問題,各個業務從邏輯層、數據層到後端的容器或虛擬機,技術框架和體系各自獨立,重複造輪子現象明顯,用最近的流行詞「內捲化」來描述毫不為過。
對此,騰訊針對自研業務上雲曾給到非常詳細的推動方案,根據騰訊雲資深運維專家周小軍披露的騰訊自研業務上雲歷程一文中所指出的:「騰訊自研業務上雲有三個階段,分別是直播類業務上雲、沙箱雲、整個業務上公有雲。」
自研上雲的過程,實質是驗證雲原生架構、部分甚至全部擁抱雲原生體系的過程。
雷鋒網所看到的是,從技術角度講,無論通過容器交付業務,還是基於微服務框架研發升級,自研上雲其實也就是需要將業務切換成基於公有雲模式研發,同時將配套的一些列組件框架上雲,成為雲服務的一部分。最後,通過客戶(包括內部QQ、微信等團隊,以及外部客戶)的不斷POC過程中,形成一套騰訊雲原生賦能的方法論。
目前,QQ產品體系已經全部搬到騰訊雲上。明年,騰訊將實現所有新增自研業務上雲。
騰訊雲副總裁王慧星告訴雷鋒網:「說實話,還是超出了我們的預期。原計劃三年實現增量業務全部上雲,實際上只用了兩年,這個進程的加速主要還是源於我們所採取的戰略和路線,執行團隊能夠將具體的事情落地。這不僅僅是說將資源進行了容器化改造,而是更多的實現了資源的集中、研發模式的統一和標準化、管理的便利性,且最終能帶來服務和產品的穩定性。」
騰訊會議,已是檢驗雲原生的關鍵先生。據公開數據顯示,上線僅2個月,其活躍用戶數就超1000萬,上線僅一年,其用戶數就已突破1億,成為在中國使用人數最多的視頻會議產品。
騰訊雲副總裁、騰訊會議負責人吳祖榕透露,騰訊會議的核心技術就來自騰訊雲原生的一系列技術組件,使得業務人員只需要關註上層業務邏輯,無需關心底層基礎設施。
可以說,騰訊自身就是雲原生實踐的最大客戶。
雲原生初顯紅利
目前,騰訊雲原生產品體系和架構已經非常完善,涵蓋軟體研發流程、計算資源、架構框架、數據存儲和處理、安全等五大領域的多個場景。騰訊雲原生註冊用戶規模已達100萬+,覆蓋政府、金融、文體、教育、能源、電商、網際網路、遊戲、LBS、IM、媒體、交通、影視等主流行業。
實際上,基於騰訊雲原生能力的實踐案例已經有很多。例如,大量開發者已經通過小程序雲開發進行實踐;作業幫在3個月內實現從0到1的全面容器化;南方電網從傳統技術轉型,實現升級改造;以及更多網際網路公司全面擁抱雲原生,實現雲原生應用的開發。
為此,騰訊雲發布了企業雲原生路線圖,按照企業雲原生化改造的過程,把雲原生實踐的過程抽象為「開發雲原生、計算雲原生、架構雲原生、數據云原生、安全雲原生」五個層面,幫助開發者從整體角度模型部署雲原生的關鍵脈絡。
其中,「開發雲原生」聚焦如何提升軟體研發運維流程效率;「計算雲原生」聚焦如何利用容器服務、函數服務等技術; 「架構雲原生」則深入到軟體開發架構層面,對架構重新梳理和微服務化改造;「數據云原生」聚焦大數據、資料庫等數據類服務,融合k8s、無服務等技術理念,以實現彈性伸縮和資源成本的降低。此外,在雲原生建設的同時,安全能力貫穿整個生命周期,這稱之為「安全雲原生」。
除了發布雲原生全景圖外,騰訊雲還升級發布八款雲原生系列產品,包括:開源雲原生開發環境Nacalhost、首款金融級雲原生Serverless消息隊列TDMQ、國內首款全Serverless雲原生MySQL資料庫TDSQL Serverless、雲開發 CloudBase、Serverless FaaS計算平臺SCF、企業級微服務技術中臺TSF 2.0、基於雲原生的泛Hadoop大數據框架EMR、流計算Oceanus。
據悉,騰訊雲原生產品API每日調用量已經超過100億次,雲開發、CODING的開發者用戶分別超過100萬。
雲原生背後的開源insight
與之相輔相成的是,上雲讓騰訊內部可以方便調用雲上成熟優秀的產品和服務,也讓騰訊有機會加快擁抱開源生態。
聚焦前沿技術領域,騰訊發布了三大開源項目,分別是雲原生一體化部署開源工具Cloudbase Framework、邊緣計算開源項目SuperEdge、以及定製化高性能開源KV資料庫Tendis。
在主動開源方面,截止目前,騰訊在Github上發布了超過110個開源項目,覆蓋雲原生、大數據、AI、移動開發、Web開發五大技術領域,獲得了超過33萬名開發者的關注和Star,穩居全球開源企業貢獻榜前十。
在社區參與方面,從2018年起,騰訊接連向Linux基金會、Apache基金會、開放原子開源基金會等捐贈了TARS、TSeer、Angel、TubeMQ、TencentOS Tiny、TKEStack等6個開源項目。
騰訊開源聯盟主席單致豪指出,從2010年 「擁抱開放」戰略至今已經十年,從內部的代碼復用到外部開源,騰訊逐漸形成了自己的代碼文化和開源策略。2015年,騰訊成立開源聯盟(TOSA)後,關於開源這件事兒騰訊進入了快節奏時代,一年內爆發式輸出超過20個高質量的開源項目。
2018年930變革後,由於開源項目比較多,騰訊還成立了開源管理辦公室來引導開源項目的對外發布和管理。同時,騰訊也加強了與頂級開源基金會的合作,逐步形成了騰訊特色開源路線。
2019年的智博會上,馬化騰首談對騰訊開源的態度,也正式明確了騰訊對擁抱開源的決心和意圖。
經過十年的實踐和探索,騰訊已經形成了「代碼開源協同作基礎,產品社區商業促進步,打通內外開源『雙循環』」的開源戰略模式。
「內部開源內循環」,是通過內部代碼開源、開源協同的方式,減少重複投入、提升研發效率、降低運營成本。通過「開源內循環「,孵化出的新秀項目以及畢業優秀的開源項目,然後可以輸送至外部開源社區。
「外部開源外循環」,則是以產品、社區、商業的形式進一步創造社會價值及商業價值、促進技術發展及科技創新、提高研發質量和降本增效。通過「開源外循環」,引入外部優秀的開源項目,通過外部的新鮮血液促進內部技術持續的創新。
著眼於未來
實際上,擁抱開源並不與自研相矛盾。開源本身是一種構建技術體系和商業影響力的方法論,中國當下IT產業包括雲計算在內的發展也得益於開源技術的紅利。在這個過程中,企業也在不斷加強自身核心技術的自研能力。這其中也包括過去十年飛速成長中的騰訊。
例如,作為一款基於實時音視頻技術的產品,騰訊會議的技術積累可以最早追溯到QQ時代。2011年騰訊開始自研出了第一代音頻引擎TRAE,同年替換掉了GIPS,成功搭載在為幾個億用戶使用的QQ上。到了2016年,騰訊開始向外開放第二代引擎OpenSDK;結果到了2017年,騰訊又開發了第三代引擎XCast,在該引擎之上,誕生出如今的騰訊會議。
而在資料庫方面,騰訊發布了兩款自研新品:雲原生資料庫CynosDB的無伺服器架構版CynosDB Serverless,和兼容Redis的KV存儲解決方案Tendis。
多媒體技術方面,自2018年參與H.266/VVC標準制定以來,騰訊多媒體實驗室約有100項技術被標準採納;為積極推動AV1商業化,騰訊雲於2019年11月率先成為中國第一家支持AV1轉碼的雲服務商;今年10月,騰訊在國內率先發布了H.266高清/超高清實時播放器。
過去一年,從發布自研第四代數據中心T-block、自研H265硬體編碼器,到如今的星星海首款自研GPU伺服器和星星海新一代自研雙路伺服器,騰訊雲正更加側重對底層基礎設施產品矩陣的自研投入。
不難發現,在外界眼中騰訊打破內部技術孤島、實現自研上雲、擁抱開源生態、自研創新持續投入等一系列組合拳下來,至少讓自己不再是十年前的自己。(雷鋒網)