大數據的技術是數據管理技術的一種，數據管理系統有著悠久的發展歷史，它是所有計算機應用的基礎。談到數據管理的軟體，必須關注數據管理軟體所依賴的硬體環境和它來解決的應用場景，我們可以通過圖1來認識數據管理軟體的位置。首先它是一種軟體，處於底層硬體和上層應用之間，本質上是利用計算機硬體的存儲和計算能力，對數據進行存儲、管理、加工等操作，最終為了支持上層各類應用。
數據管理技術到現在至少有50年的發展歷史，大概經歷了幾個發展階段，見圖2。第一個階段是關係型數據模型的提出，為關係資料庫發展奠定了理論基礎；第二個階段是Oracle和DB2等商業關係型資料庫的興起和發展壯大，開始了商業資料庫產品在各行各業的應用，資料庫也正式成為了繼伺服器、作業系統之外的第三個必須品；第三階段由於業務場景的需要，資料庫被分為面向業務的事務資料庫和面向分析統計的分析資料庫，兩者之間的架構和建模方式也發生了變化，這是資料庫技術的第一次分離；第四個階段是資料庫技術的分布式浪潮，最早是從數據分析端產生的，單機無法應對海量數據分析的需求，分布式水平擴展的需求提上日程，Hadoop、Spark和各類NoSQL都是為了應對這一需求而誕生，而分布式的技術也在2010年左右擴展到了事務資料庫領域，主要為了應對越來越多的網際網路業務。
數據管理系統處於硬體和應用之間的位置決定了它自身的技術演進主要依賴於底層硬體的發展和上層應用端的需求變化。在硬體端，從上世紀70年代開始，通用伺服器的晶片、內存的發展就遵循摩爾定律，單機的性能越來越強，推動著資料庫的處理能力不斷增強，利用內存能力也是一大趨勢。而進入2000年，晶片處理能力的增長趕不上業務和數據的增長，單機系統的瓶頸顯露，導致數據管理系統向分布式架構轉型。在應用端，業務的網際網路化、在線化使得業務流量和訪問頻率呈指數級的增長，單機集中式架構處理遇到瓶頸，而移動網際網路下動輒上千萬的級的用戶量，提出了海量數據分析的挑戰，分布式架構正是為應對這些挑戰而生。
大數據的應用和技術起源於網際網路，首先是網站和網頁的爆發式增長，搜尋引擎公司最早感受到了海量數據帶來的技術上的挑戰，隨後興起的社交網絡、視頻網站、移動網際網路的浪潮加劇了這一挑戰。網際網路企業發現新數據的增長量、多樣性和對處理時效的要求是傳統資料庫、商業智能縱向擴展架構無法應對的。
在此背景下，谷歌公司率先於2004年提出一套分布式數據處理的技術體系，即分布式文件系統谷歌文件系統（Google file system，GFS）、分布式計算系統MapReduce和分布式資料庫BigTable，以較低成本很好地解決了大數據面臨的困境，奠定了大數據技術的基礎。受谷歌公司論文啟發，Apache Hadoop實現了自己的分布式文件系統HDFS、分布式計算系統MapReduce和分布式資料庫HBase，並將其進行開源，這是大數據技術開源生態體系的起點。
2008年左右，雅虎最早在實際環境中搭建了大規模的Hadoop集群，這是Hadoop在網際網路公司使用最早的案例，後來Hadoop生態的技術就滲透到了網際網路、電信、金融乃至更多的行業。2009年UCBerkley大學的AMPLab研發出了Spark，經過5年的發展，正式替換了Hadoop生態中MapReduce的地位，成為了新一代計算引擎，而2013年純計算的Flink誕生，對Spark發出了挑戰。2014年之後大數據技術生態的發展進入了平穩期。
經過10年左右的發展，大數據技術形成了以開源為主導、多種技術和架構並存的特點。從數據在信息系統中的生命周期看，大數據技術生態主要有5個發展方向，包括數據採集與傳輸、數據存儲、資源調度、計算處理、查詢與分析。在數據採集與傳輸領域漸漸形成了Sqoop、Flume、Kafka等一系列開源技術，兼顧離線和實時數據的採集和傳輸。在存儲層，HDFS已經成為了大數據磁碟存儲的事實標準，針對關係型以外的數據模型，開源社區形成了K-V（key-value）、列式、文檔、圖4類NoSQL資料庫體系，HBase、Cassandra、MongoDB、Neo4j、Redis等資料庫百花齊放。資源調度方面，Yarn獨領風騷，Mesos有一定發展籤裡。計算處理引擎方面慢慢覆蓋了離線批量計算、實時計算、流計算等場景，誕生了MapReduce、Spark、Flink、Storm等計算框架。在數據查詢和分析領域形成了豐富的SQL on Hadoop的解決方案，Hive、HAWQ、Impala、Presto、Drill等技術與傳統的大規模並行處理（massively parallel processor，MPP）資料庫競爭激烈。
2014年以後，整體大數據的技術棧已經趨於穩定，由於雲計算、人工智慧等技術發展，還有晶片、內存端的變化，大數據技術也在發生相應的變化。總結來看主要有幾點發展趨勢：
一是流式架構的更替，最早大數據生態沒有辦法統一批處理和流計算，只能採用Lambda架構，批的任務用批計算引擎，流式任務採用流計算引擎，比如批處理採用MapReduce，流計算採用Storm。後來Spark試圖從批的角度統一流處理和批處理，Spark Streaming採用了micro-bach的思路來處理流數據。近年來純流架構的Flink異軍突起，由於其架構設計合理，生態健康，近年來發展特別快。而Spark近期也拋棄了自身微批處理的架構，轉向了純流架構Structure Streaming，流計算的未來霸主還未見分曉。
二是大數據技術的雲化，一方面是公有雲業務的成熟，眾多大數據技術都被搬到了雲上，其運維方式和運行環境都發生了較大變化，帶來計算和存儲資源更加的彈性變化，另一方面，私有部署的大數據技術也逐漸採用容器、虛擬化等技術，期望更加精細化地利用計算資源。
三是異構計算的需求，近年來在通用CPU之外，GPU、FPGA、ASIC等晶片發展迅猛，不同晶片擅長不同的計算任務，例如GPU擅長圖像數據的處理，大數據技術開始嘗試根據不同任務來調用不同的晶片，提升數據處理的效率。
四是兼容智能類的應用，隨著深度學習的崛起，AI類的應用越來越廣泛，大數據的技術棧在努力兼容AI的能力，通過一站式的能力來做數據分析和AI應用，這樣開發者就能在一個工具站中編寫SQL任務，調用機器學習和深度學習的算法來訓練模型，完成各類數據分析的任務。
數據管理技術已經發展了50多年了，大數據技術是在數據管理技術的基礎上，面向大規模數據分析的技術棧，它主要是分布式架構的設計思路，通過並行計算的方式來提升處理效率，同時具備了高擴展能力，根據業務需求隨時擴展。經過15年左右的發展，大數據的技術棧逐漸成熟，然而近年來雲計算、人工智慧等技術的發展，還有底層晶片和內存端的變化，以及視頻等應用的普及，都給大數據技術帶來新的要求。未來大數據技術會沿著異構計算，批流融合，雲化，兼容AI，內存計算等方向持續更迭，5G和物聯網應用的成熟，又將帶來海量視頻和物聯網數據，支持這些數據的處理也會是大數據技術未來發展的方向。
姜春宇：中國信息通信研究院雲計算與大數據研究所大數據與區塊鏈部副主任，大數據技術標準推進委員會辦公室主任。研究方向為大數據技術應用、資料庫技術、數據資產管理、數據流通。建立了國內首個大數據產品能力評測體系，制定了Hadoop平臺、MPP資料庫、數據集成工具、數據管理平臺、分布式資料庫等多項大數據技術標準規範。參與起草《促進國家大數據發展行動綱要》，參與編寫工信部《大數據產業十三五規劃》，參與起草國內第一個數據交易規則，參與編寫《數據資產管理實踐白皮書》、《金融分布式事務資料庫白皮書》。
來源：中國信通院CAICT
如果您對我們的方案有疑問或需求，歡迎諮詢
聯繫電話：肖鵬：18911585188 / 010-60498815