大數據開發學習路線

磨拳擦掌！

說數據是一個企業最核心的東西之一，我想大家應該都能基本認同吧，畢竟連XXX都說過，這是一個數據為王的時代，誰掌握了數據誰就掌握未來！

怪不得咱這裡的小夥伴們個個都磨拳擦掌，都嚷嚷著想從事大數據相關的開發工作，問能不能整一個大數據開發相關的技術學習路線和知識點大梳理。

得嘞，你們就負責衝，學習路線俺來安排！

註：本文已收錄於Github開源項目：github.com/hansonwang99/JavaCollection，裡面有各大方向編程的詳細自學路線、面試題和面經、編程資料及系列技術文章等，資源持續更新中

」

---

大數據開發基礎

學習程式語言往往是我們開啟學習之路的第一大步。大數據領域的很多框架都是基於Java語言開發的，而且各種框架也都提供了Java API來提供使用和操作接口，所以Java語言的學習逃不掉。除此之外Scala在必要時也可以學一下，在大數據開發領域裡用得還是挺多的。Scala語言的表達能力很強，代碼信噪比很高，而且很多大數據框架也都提供了Scala語言的開發接口，況且Scala也可以運行於Java平臺（JVM），並且兼容Java程序，所以也可以和大數據相關系統進行很好的集成。

除此之外，老生常談的數據結構和算法、計算機網絡、作業系統、資料庫、設計模式也是程式設計師必備的通用計算機基礎，不光是搞大數據的需要具備，搞後端開發的也是掌握這些基礎，而且這些東西在求職面試時也是必備的，這部分應該大量花時間給坐實。

最後還要提一下對Linux作業系統的要求，當然我們這裡主要還是著眼於Linux系統使用的角度。因為大數據系統的開發、部署基本都是基於Linux環境進行的。掌握常用的命令、配置、網絡和系統管理、基本的Shell編程等等，對學習都大有裨益。

---

基本開發工具

大數據領域的常見開發工具和軟體和後端開發基本差不多，比如：選一個常見的Linux作業系統，一套好用的SSH工具和FTP/SFTP工具，一個稱手的集成開發環境，以及主流的源碼控制工具和構建工具等等。

接下來就進入到大數據開發的具體流程，分幾大塊捋一遍，首先就是數據採集。

---

數據採集

既然大數據系統是處理海量數據的，那麼第一個問題，這個海量數據到底是什麼類型？從哪裡來呢？

可以說，輸入大數據系統的數據類型種類繁多，形式結構也有所不同，有傳統的結構化數據，也有XML、Json等這類的半結構化數據，甚至還有文檔、音視頻這類非結構化數據。

數據的來源更是五花八門，有直接來自後端已有資料庫的數據，有來自後端日誌系統的數據，有來自第三方服務的各種數據，甚至還有從網上爬取的各種數據。

找到了數據源，接下來的數據採集和數據傳輸工作就很重要了。

我們就以後臺最常見的日誌數據為例，由於現在的服務系統採用集群部署方式的很多，那分布式集群上海量日誌數據的採集和傳輸就是一個大問題。Flume是一個較常使用的分布式數據採集和聚合框架，最典型的應用就是日誌數據的收集。它可以定製各類數據發送方並聚合數據，同時提供對數據的簡單處理，並寫到各種數據接受方，完成數據傳輸。

與此同時，還有一個叫做Logstash的開源數據收集引擎可能大家也聽過，也比較常用的。

當然還有一種場景也是數據採集這一步通常需要考慮的，那就是在不同的存儲系統（或資料庫）之間進行數據的遷移（如：導入/導出）。比如我們經常需要在傳統關係型資料庫（如MySQL）和大數據系統的數據倉庫（如Hive）之間進行數據遷移（交換），這時候一個叫Sqoop的數據採集和傳輸工具就非常常用了。除此之外，淘寶開源的DataX也是同類型工具。

---

數據存儲

數據採集完成，接下來需要對其進行存儲，這也是非常清晰的思路和流程。

說到數據存儲，我們首先想到的當然是資料庫存儲。包括MySQL、Sql Server等等這種最常見的關係型資料庫，以及Redis、MongoDB、HBase等這類非關係型資料庫。

我們這裡將ElasticSearch單獨提出來聊，因為雖然它某一程度上也可以視為資料庫，但是它更主要的身份還是一個優秀的全文搜尋引擎。它的出現，解決了一部分傳統關係型資料庫和NoSQL非關係型資料庫所沒有辦法高效完成的一些工作，比如高效的全文檢索，結構化檢索，甚至是數據分析，所以現在用的公司也越來越多。

除了傳統的資料庫，在大數據領域，應用非常廣泛的存儲技術還包括分布式文件系統和分布式資料庫。說到分布式文件系統，大名鼎鼎的HDFS就是一個使用非常廣泛的大數據分布式文件系統，它既是基本的數據存儲平臺，也是大數據系統基礎平臺設施；而後者的代表性技術HBase則是一個構建在HDFS之上的分布式資料庫，適合海量數據的存儲。

在大數據領域，除了分布式文件系統和分布式資料庫，還有一個經常聽到的就是以Hive為代表的數據倉庫。我們可以將數據倉庫理解為一個邏輯上的概念，其底層往往是基於文件系統打造的。還以Hive為例，它的出現主要就是可以讓開發人員能夠通過SQL的方式來方便地操作和處理HDFS上的數據，適用於離線批量數據的處理，上手友好，使用門檻降低。

所以將這部分內容做一個階段性總結，可以如下所示：

---

數據處理

數據有著落了，接下來幹啥？當然是充分挖掘數據所蘊含的價值，更直白一些說就是對其進行各種查詢、分析和計算，這樣才能為數據賦能，產生價值。

最早期的MapReduce就是Hadoop提供的分布式計算框架，可以用來統計和分析HDFS上的海量數據，適合於速度不敏感的離線批處理；後來出現的內存計算框架Spark則更加適合做迭代運算，因此也備受青睞。在一些不需要實時計算的場景，這些框架應用得十分廣泛，但是在一些離線數據分析無法滿足需求的場景下，比如金融風控、實時推薦等，這時候在線計算或者說流式計算就變得十分有必要了，這也成了現如今諸如Storm、Flink等一大批優秀的實時計算框架的主陣地，尤其是Flink，這幾年的火熱程度不用多說，基於它構建的處理引擎也鱗次櫛比。

---

數據價值和應用

大數據系統最終的任務還是得服務於業務，為生產創造出實際價值。這種價值應用場景包括但不限於提供各種統計報表，商品推薦，數據可視化展現，商業分析，輔助決策等等。

---

大數據周邊技術

聊到這裡，應該說上面的內容已經基本將一個大數據引擎的主流程走完了，然而實際的大數據系統還需要諸多周邊技術的支持，因此還衍生了很多附加框架和技術。

由於單機性能的局限和瓶頸，所以大數據系統的很多框架組件都是集群部署的，這時候針對集群系統的部署、管理以及監控工具就不可或缺了，比如使用廣泛的Ambari和Cloudera Manager等。

有了集群之後，集群平臺上各種資源的管理以及各種任務的調度就成了一個複雜且棘手的問題，這時候資源管理框架YARN，任務工作流調度框架Azkaban和Oozie等就有了用武之地。

同時為了保證分布式集群的高可用，像ZooKeeper這種分布式協調服務框架簡直幫了大忙，像Master選舉、集群管理、分布式協調通知等任務統統不在話下。

最後，還必須要提的一個大名鼎鼎的中間件框架，那就是Kafka。它不僅僅是一個高吞吐量的消息系統，有了它之後，系統解耦、峰值壓力緩衝、高效流處理等等都使得它成為後端開發和大數據開發人員眼裡那個最靚的崽。

---

做個總結

最後我們也將上述所有內容的完整版思維導圖給貼在這裡，由於這個圖是在是太大了，實在不太好弄。

---

幾個要討論的話題

大數據開發和後端開發關係大嗎？

應該說很多技術點和框架都是有交集的。比如通用編程基礎部分完全一致，再者常用的像Redis、Zookeeper、Kafka、Elasticsearch等等這些主流得不能再主流的框架，在以前咱們梳理Java後端路線時也都有，所以二者的交集很大，甚至很多做大數據的，以前就是從後端轉過來的，非常自然，因為很多技術都相通甚至完全一樣。

這麼多框架都得學嗎？

大數據領域框架這麼多，睡不著覺的可以大致數一數，僅剛才那個腦圖裡面所提及的最起碼就有三四十個，是每個都需要學習嗎？ 我們在梳理時，同類型的主流框架都列舉了不止一個。一般來說，我們只要學明白其中一個，上手同類型其他技術就都不難了，舉一反三很重要。另外我們儘量學主流經典的框架，一般就沒啥問題，比如分布式文件系統HDFS很經典用得很多，流處理裡面Flink現在火得一腿，自學對應部分時就可以考慮學一下。

具體框架（技術）到底怎麼學？

最後還是得落實到具體某一個技術（框架）到底怎麼學的問題。我覺得學習思路倒也清晰，首先第一步，搞清楚這個框架是幹什麼的，解決了什麼問題和痛點，同類「競品」還有哪些，這一步在上面的詳細思維導圖裡，我們已經幫你完成了；第二大步，把這個技術（框架）用起來，獲得成就感很重要，那具體又怎麼用呢，思路也很明了，首先是把對應環境安裝部署好，跑起來，然後基於準備好的環境做實驗，跑Demo，自己寫東西拿上去跑，由簡單到複雜，慢慢上手直至熟練，該過程中肯定會踩坑，所以做好記錄、輸出、筆記，寫下自己的踩坑過程和解決思路非常重要，步步為營；最後一大步才是針對裡面的關鍵機制深入研究其原理，學到就是賺到，所以總體也就這三大步。

---

後記

本期硬核，創作不易，不想被白瞟，也希望能支持一波。

最後也要特別鳴謝菊花雲帶佬，我的學長雲哥對於本次路線梳理提供的指導和幫助，我願稱之為KTV裡的周胖倫，大數據界的扛把子。

註：本文已收錄於Github開源項目：github.com/hansonwang99/JavaCollection，裡面有各大方向編程的詳細自學路線、面試題和面經、編程資料及系列技術文章等，資源持續更新中

」

下篇見。