我們經常講數據分析或者大數據這個領域他的工作分兩個方向,數據分析方和數據工程方向。那麼這兩個方向從初級進入這個領域的時候區別並不是特別大,因為數據分析師和數據工程師都需要了解大數據的一些基本的知識和技能,包括資料庫、Hadoop包括一些編程的技能,包括一些機器學習和算法的技能,但是在進入到比較深的領域之後,大數據分析師和大數據工程師就走了兩個完全不同的方向。
大數據工程師
大數據工程師更多的是為企業的大數據項目來搭建他的系統,因此我們有的時候會做架構、網絡、搭建資料庫,甚至會做數據的清洗,還有做很多包括數據的獲取,來搭建一些可視化的平臺類似種種,那麼他更多的偏向的是做一些系統化的集成和設計,很多時候我們除了使用PYTHON語言之外可能還需要用到java語言來搭建這些系統,編制這些程序。
數據分析師
數據分析師有所不同,他在這個領域裡面主要是起到一個數據使用者的一個角色,他更多的時候在了解了系統的性能之後,為了提升數據分析的效率,因此他更關心數據分析的算法和業務解決能力。
這兩種工作在進入到比較深層次的領域之後是有所不同的,那麼當他們的工作走到很有經驗的時候,數據分析師通常會發現數據的架構,大數據的一些系統對他數據分析是有所影響,因此他會逐漸逐漸地去學習一些系統知識並且希望從項目當中,將系統的性能結合到數據分析的當中來,例如我們在做一些人工智慧的分析當中,我們會利用一些分布式的系統來提升我們人工智慧的一些循環算法,將運行的速度大大降低,那麼工程師也同樣會對分析師日常運用的算法表現出濃厚的興趣,也希望通過搭建系統來解決業務問題,因此隨著行業工作年限的增長,這兩方向最後逐漸逐漸會融合在一起,當一個數據分析師或者工程師具備了兩種職業技能的時候 我們通常稱它為數據科學家,因為他可以做出更好的解決方案為企業提供更優質的服務。