大數據是IT界的行業術語,本名叫巨量數據集合。大數據(big data),指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
在各種購物平臺,用戶所收到的購物產品推薦,就是運用大數據的結果。經常使用淘寶的人可能會有這種感觸,前幾天搜索了一款產品,後幾天就會時常收到相關產品的推薦。
不光是購物上,大數據還可用來為未來的形勢做預估。伴隨著大數據的普遍使用,未來大數據的應用已是必然趨勢。在即將到來的10到20年之間,大數據的發展趨勢必定更加迅猛。隨著移動網際網路和智能終端的普及,信息技術與經濟社會的交匯融合,引發了數據迅猛增長。新摩爾定律認為,人類有史以來的數據總量,每過18個月就會翻一番。而海量的數據蘊含著巨大生產力和商機。
2011年至2014年四年間,我國大數據處於起步階段,每年均增長在20%以上。2015年,大數據市場規模已達到98.9億元。2016年增速達到45%,超過160億元。預計2020年,我國大數據市場規模將超過8000億元,有望成世界第一數據資源大國。
但數據開放度低、技術薄弱、人才缺失、行業應用不深入等都是產業發展中亟待解決的問題。中國商業聯合會數據分析專業委員會資料顯示,未來3至5年,中國需要180萬數據人才,但截至目前,中國大數據從業人員只有約30萬人。同時,大數據行業選才的標準也在不斷變化。
初期,大數據人才的需求主要集中在ETL研發、系統架構開發、數據倉庫研究等偏硬體領域,以IT、計算機背景的人才居多。隨著大數據往各垂直領域延伸發展,對統計學、數學專業的人才,數據分析、數據挖掘、人工智慧等偏軟體領域的需求加大。
學習大數據技術,可以從事大數據開發工程師、大數據系統研發工程師、大數據分析師等等。同時,它也強化了原有職位的新生命力,如網絡工程師、系統架構師、資料庫管理與開發等等。接下來,為大家著重分析下當下主流的大數據相關職位:
1、大數據系統研發工程師
負責大數據系統研發工作,包括大規模非結構化數據業務模型構建、大數據存儲、資料庫架構設計以及資料庫詳細設計、優化資料庫構架、解決資料庫中心建設設計問題。他們還負責集群的日常運作、系統的監測和配置、Hadoop與其他系統的集成。
2、大數據應用開發工程師
大數據開發工程師主要是負責搭建整個技術框架,負責後臺運行程序的整體設計。如同構建一棟大樓的整體框架一樣。重要程度不言而喻。目前這個崗位的要求主要是要求熟練Java、Hadoop、Spark、Hive、Hbase等等。薪資水平普遍較高,下面將會為大家一一介紹到。
3、大數據分析師
運用算法來解決分析問題,並且從事數據挖掘工作。他們最大的本事就是能夠讓數據道出真相。此外,他們還擁有某個領域的專長,幫助開發數據產品,推動數據解決方案的不斷更新。
4、數據可視化工程師
具備良好的溝通能力與團隊精神,責任心強,擁有優秀的解決問題的能力。他們負責在收集到的高質量數據中,利用圖形化的工具及手段的應用,一目了然地揭示數據中的複雜信息,幫助企業更好地進行大數據應用開發,發現大數據背後的巨大財富。
整體上看,以北京地區為例,北京地區大數據相關工作的平均月薪為22050元,三成以上的大數據從業者月薪位於30K-50K區間,將近20%的大數據從業者的月薪處於20K-30K區間,10K-20K的從業者人數佔比達到了三成。
1、大數據系統研發工程師,普遍月薪位於30K-50K之間,福利待遇優渥。
2、大數據應用開發工程師,普遍月薪同樣位於30K-50K之間。整體薪資水平非常可觀。
3、大數據分析師33.2%的從業者薪資處於20K-30K區間,10K-15K以及30K-50K區間內的從業者人數接近20%,15K-20K區間的從業者佔比15.8%。
4、數據可視化工程師,25%的從業者薪資處於30K-50K區間,36.7%的從業者薪資處於20K-30K之間,10K-20K的從業者人數佔比將近三成。
大數據已從概念落到實地,在精準營銷、智慧醫療、影視娛樂、金融、教育、體育、安防等領域均有大量應用,隨著雲計算、物聯網、移動網際網路等支撐行業快速發展,未來大數據將擁有更為廣闊的應用市場空間。所以,對於對大數據感興趣的同學來說,現在入門大數據崗位非常合適。種一棵樹最好的時間是十年前,其次是現在!