容器化
大數據能力開放平臺
此前，星環科技助力某運營商建設的容器化大數據能力開放平臺，獲得了中國通信標準化協會頒發的「雲原生十大優秀案例」。
該容器化大數據能力開放平臺可實現跨數據中心的異構計算資源管理和調度，構築了大數據及雲計算創新空間，賦能各類合作夥伴的應用孵化和創新探索。
目前已在某運營商40餘個省公司、子公司、創新基地投入使用，實現了全國1.2萬個生產任務的調度。同時，引入金融、電商、汽車、網際網路、房地產等十餘行業，60餘個合作夥伴，有效地探索了跨行業數據融合共享新模式。
案例背景
某運營商作為首家在集團公司層面進行混改的央企，在全球電信發展史上首創了「基礎通信+網際網路」的資本運營合作模式。其中支撐公眾、政企、創新業務的聯通IT系統在不斷的創新過程中經歷了集約化、雲化、網際網路化、平臺化生態化多個階段，雲原生的理念和技術，正是助力其IT建設取得顯著成效，邁上一個個新臺階，實現將IT優勢轉換成市場競爭力的重要力量。
問題與需求
運營商依託龐大的客戶群以及終端設備，每天的數據增量可達上百TB甚至PB級別。面對如此龐大的數據資源，如何高效穩定的進行數據的採集、存儲、處理、分析成為運營商行業信息化建設部門普遍面臨的問題。
某運營商數據中心作為全域數據的匯聚和管理中心，雖然沉澱了海量的計算能力、存儲能力和數據能力，但是在IT架構統一、資源智能調度、最大化利用和能力共享方面面臨著巨大的挑戰。具體體現在以下幾個方面：
1. IT系統呈「豎井式」發展
運維難度大，跨系統協同困難
某運營商經過前幾年信息化建設的不斷迭代，IT架構呈現「多而散」的狀態。各個業務系統自建大數據處理平臺，數據中心有超過20個獨立的Hadoop集群。這種粗獷的發展模式從數據層面導致了很多「數據孤島」，跨業務部門數據整合困難；從技術層面導致了不同應用系統之間技術異構普遍存在，難以協同；從運維層面導致平臺運維難度加大，運維成本提升；從架構層面隨著業務需求不斷變化，會導致系統技術棧越來越龐大，數據流轉錯綜複雜，效率越來越低。
2. 資源管理不靈活
無法根據業務負載彈性伸縮
傳統大數據集群架構採用YARN進行資源管理，以隊列隔離的方式劃分資源，資源隔離程度低，無法根據業務實時負載進行動態伸縮，而且在業務高峰期，還存在資源爭搶嚴重問題，業務人員體驗較差。針對此問題，需要一種靈活性更強、粒度更細、隔離性更強的資源管理框架來進行統一資源管理，以快速適應靈活多變的業務負載。
3. 伺服器資源利用率普遍較低
傳統物理部署Hadoop平臺，集群之間都是獨立的，資源無法共享，導致在業務低峰時，伺服器資源無法被其他業務系統利用，使得整體資源利用率較低。針對此問題，需要通過DC/OS（Data Center Operating System）技術對伺服器資源進行統一管理，實現資源池化、資源共享。
4. 大數據能力共享困難，存在重複建設問題
某運營商總部有整體的伺服器資源，而在總部底下是各個省分公司和子公司，他們希望總部的平臺能夠為其提供一個具備大數據處理能力的租戶環境，這樣省分公司和子公司就可以在各自租戶上進行自身的數據加工和處理，不需要再自己籌資建設平臺。
然而某運營商早期在使用大數據技術時，大部分是物理部署Hadoop集群。這種架構本身不是基於雲平臺的模式設計，所以在多租戶管理、資源隔離、彈性伸縮等方面存在許多不足之處，無法很好的解決省分公司提出的能力共享問題。針對此問題，需要採用雲原生的思想和架構對現有IT系統進行重構，以達到能力共享，應用賦能的效果。
解決方案
星環科技綜合利用大數據、雲計算、機器學習、深度學習等技術，採用雲計算模式進行設計，從IaaS、PaaS、SaaS以及雲平臺運維等四個方面幫助某運營商建立基於容器雲的大數據能力開放平臺，並提供技術支持。
某運營商大數據能力開放平臺總體功能架構圖如下：
其中IaaS層主要依託某運營商集團現有伺服器資源，為整個能力開放平臺建設提供物理資源支撐。
PaaS層按照功能定位又可以分為I-PaaS和 A-PaaS兩個模塊，I-PaaS層採用星環科技TDC容器雲技術框架，實現了對基礎設施層異構物理資源的池化管理，實現資源的按需申請，彈性伸縮。A-PaaS模塊面向不同的業務場景提供大數據服務、資料庫與中間件服務、集成工具服務和容器雲服務；在A-PaaS層的統一集成框架之上集成了豐富的PaaS能力組件，全部以容器化部署的方式運行在I-PaaS基礎平臺上。其中最典型的是容器化大數據組件。以數據倉庫服務為例，包含的核心大數據組件有星環科技的Inceptor、Hyperbase等。在進行容器化部署時，星環將每個組件都拆分成若干個可以獨立部署的服務，並保障各個組件可以靈活擴容/縮容，上線/下線，升級/降級。如將Inceptor拆分成InceptorServer、Executor和Metastore。SaaS層主要是各個租戶的業務應用，如經營分析系統、精準營銷系統、客戶畫像系統等；運維管理層主要對整個能力開放平臺提供雲管服務，包括租戶管理、日誌管理、監控管理、運營管理、工單系統以及安全管理等功能。
星環科技雲原生應用平臺能夠更好的支撐雲平臺多租戶的業務場景。如數據倉庫服務包含Inceptor、Hyperbase等核心組件，能夠全面整合各類數據，按照主題組織信息，構建商業智能核心；數據集市服務採用Inceptor、Holodesk、Hyperbase等核心組件，面向部門級業務，提供星型和雪花模型構建OLAP Cube，實現交互式分析以及自動化的報表應用構建；實時計算服務包含Slipstream、Hyperbase等核心組件，能夠對流式數據進行實時採集和實時處理，幫助企業構建在線實時應用，充分挖掘流數據價值；信息檢索服務包含New Search、Inceptor等核心組件，支持PB級別的高速全文檢索，提供高並發支持，以及欄位精確、模糊檢索和快速統計功能；數據挖掘服務利用Sophon Discover數據挖掘平臺提供數據清洗、數據分析挖掘、機器學習、深度學習、模型管理，API部署，工作流調度等功能。
星環科技雲原生應用平臺
五點特性
1. 資源池化
通過統一資源管理層對所有物理資源進行池化管理，用戶對資源可以自助配置並自動化使用，實現資源按需申請。
2. 組建服務化
採用PaaS雲平臺的模式進行設計，將大數據組件、資料庫與中間件、數據集成工具、容器雲等以雲服務的方式開放給各個省分公司、子公司和集團業務部門。讓他們能夠更靈活、更快速的使用大數據能力，賦能一線數據生產。
3. 多租戶模式
平臺能夠很好的支持多租戶模式，實現租戶隔離，確保租戶間的數據安全。
4. 彈性伸縮
平臺採用更加靈活的資源管理框架，能夠實現資源的彈性伸縮，更好的適應不同場景下的業務負載，實現資源共享，提高整體資源利用率。
5. 可擴展
平臺的定位是要服務於整個集團，星環科技考慮到其未來多變的業務需求，以及物聯網、5G的興起，平臺要具有可擴展性。其中擴展性體現在兩個方面，一是平臺規模可以線性擴展，不會因節點過大而帶來平臺穩定性問題，二是平臺所提供的PaaS能力可快速擴展，以快速支撐新的業務需求。
實施成效
某運營商藉助星環科技相關組件及前沿技術，實現了容器化大數據能力開放平臺的構建，實現了整體IT技術架構的容器化升級。主要實現以下應用效益：
1. 整體資源利用率提升60%
星環科技通過統一資源管理層對所有物理資源進行資源池化，實現了計算資源的按需申請，並可以根據某運營商的業務負載進行彈性伸縮，大大提升了資源的共享能力，提升了資源利用率，節約了IT成本。
2. 大數據服務交付時間由一周縮減至2小時
以往各個省分公司從向集團申請大數據資源到真正可以使用，需要大概一周左右的時間，現在通過星環科技將大數據組件服務化，整體申請時間縮短到2小時之內，大大提高了申請效率，而且整個流程完全自助，實現了平臺的網際網路化運營。
3. 開放大數據能力4大類，20餘種，數據產品1000餘個
星環科技幫助某運營商搭建的容器化大數據能力開放平臺實現了包括大數據處理、關係型資料庫、列式資料庫、KV、雲服務等主流計算框架、資料庫、應用組件的一體化開放。完成數據開放API 100餘個，開放標籤數據4000餘項，範圍涉及身份認證、徵信、位置、喜好、旅遊、交通、防欺詐等領域；提供標準化數據產品1000餘個，每日支撐省分約2000個數據調度任務，每日處理數據吞吐量超過200億條，日維護存儲量達PB級。支撐租戶30000個容器服務實例，對10億個事件的跟蹤分析，迅速定位應用瓶頸根源。
4. 對內服務、對外合作
對內合作方面，星環助力某運營商打造的大數據能力開放平臺在全國40餘個省公司、子公司、創新基地投入使用，實現全國1.2萬個生產任務調度，支撐了北京、湖北、福建、吉林等大省的數據生產建設，減少了垂直系統的重複建設，節約成本18200萬元。
對外合作方面：引入金融、電商、汽車、網際網路、房地產等十餘行業，60餘個合作夥伴，通過樣本數據、標籤數據，提供挖掘、建模和開發應用，有效地探索了跨行業數據融合共享新模式。以某網際網路公司合作為例，構建了大數據驅動的防欺詐新生態，利用50+個數據模型和日均8.5億條話單數據的實時分析，將全國31省受騙用戶的信息開放給公安機關，推動「網際網路+警務」在偵破模式上的變革，協助公安機關勸阻用戶累計200萬次，避免潛在經濟損失約9.62億元人民幣。另外，與消費金融Top3公司合作，完成跨行業數據融合及模型構建，為4億用戶提供信用評分服務，支撐其消費金融業務精準化營銷及辦理。助推其運營產品的用戶註冊率高達80%，下單用戶率達到20%；開創了風險控制和管理的新模式，獲得客戶的高度認可。
某運營商藉助星環科技雲原生技術實現了大數據組件、資料庫組件以及中間件的容器化部署，以雲化多租戶的方式開放給集團下屬各業務部門、省分公司以及子公司，實現了PaaS平臺的網際網路化運營和大數據服務的在線自助訂購。某運營商容器化大數據能力開放平臺的成功建設，昭示了某運營商IT建設取得顯著成效，實現了將IT優勢轉換成市場競爭力的成功轉型。
容器雲技術發展趨勢解讀
以數據為核心、以雲原生為技術底座，建設一個統一的兼容數據和應用的雲，這是容器雲未來的發展路徑。為了更好地推廣和普及容器雲技術，為了幫助企業、開發人員、院校等對容器雲的重點技術、容器雲技術的發展路徑及容器雲技術未來趨勢的進一步了解，InfoQ 聯合星環科技共同撰寫的「雲原生時代，容器雲的技術發展趨勢」報告，歡迎微信關注「星環科技」公眾號查看報告詳情。
【微信搜索關注關注「星環科技」公眾號>>>更多內容資訊等你來看>>>還有不定時福利放送哦！】