pyhton+BI分析5000條招聘數據,原來數據分析工作在這兒最好找

2020-12-11 數據分析不是個事兒

這兩年的大數據熱潮帶火了數據分析這個職業,很多人想轉行幹數據分析,但是又不知道現在這個行業的求職環境和前景如何,動了心卻不敢貿然行動。

前兩天有個幹運營的妹子找我聊天,也是問我數據分析崗位前景的問題,看在妹子長得實在好看的份上,我花了一晚上時間,去智聯招聘上面爬了一下數據分析崗位的招聘數據,對數據分析崗位的薪水,需求情況,以及要求的工作年限做了個分析。

python數據爬取我就不多說了,可以參考網上的代碼,我一共爬了5000條數據

拿到數據後,選擇工具進行數據分析,一提到分析工具,很多人都會想到用Excel,我剛入行的時候也是「Excel打遍天下」,但Excel數據清洗和計算效率低下,需要進行大量重複性、低附加值的人工操作,而且要做好看的圖表得花很多時間研究功能,遇到大數據量就卡的不行。後來我了解到了自助分析工具FineBI,從此放棄了Excel,這篇我就用FineBI來給大家展示一個完整的分析過程:

數據分析的步驟:

1、提出問題——明確數據分析目的

2、理解數據——理解數據列名的意義

3、數據清洗——統一格式內容

4、構建模型——思考用什麼樣的表現形式把數據呈現出來

5、數據可視化——把數據轉化成圖

提出問題

首先要明確這次數據分析的目的是什麼?也就是為了解決什麼問題?(提出的問題要能用很明確的指標和數字來衡量,切勿模稜兩可)

提出問題:1、在哪些城市找到數據分析師工作的機會比較大?2、數據分析師的薪水如何?3、根據工作經驗的不同,薪酬是怎樣變化的?

理解數據

接下來要理解表格中的各個欄位(列名)表示什麼意思:

城市:用於比較不同城市對數據分析師的需求如何

職位所屬:分析以後的工作崗位

職位ID:表示職位的唯一表示,也就是每一行數據的唯一標識------用於去掉重複ID

薪水:比較不同城市、和所屬領域的薪水區別

工作年限:從時間軸上對比薪資漲幅

數據準備

下載安裝好FineBI後,連結數據。FineBI可以直接和資料庫進行對接,實時更新數據,以往用excel統計數據的時候,一旦數據需要更新,比如做了8月份的財務報表,到了9月份時,就需要再次花費人力更新數據,十分麻煩,用FineBI就很方便。除此以外,FineBI還提供業務包功能,基於我們的分析主題新建一個業務包,把我本次分析需要用到的數據表存放在業務包裡,方便查找。

然後將數據表添加到業務包中,數據表添加支持資料庫表,sql數據表,excel數據表,還有自助數據集中的表,這裡我把爬來的招聘數據Excel表添加到業務包中

然後將數據表添加到業務包中,數據表添加支持資料庫表,sql數據表,excel數據表,還有自助數據集中的表,這裡我把爬來的招聘數據Excel表添加到業務包中。

數據清洗加工

數據準備好了,下一步就是對數據進行清洗加工,去掉重複、無效的數據,拿到我們想到的數據,FineBI的處理過程十分方便,自助數據集可以對數據進行求和、平均、排序等一系列的運算

1、選擇子集

業務包中添加自助數據集,只選擇對數據分析有意義的欄位,無意義的欄位不勾選,也就是在Excel裡面隱藏列。這裡我們隱藏公司ID和公司全名,保留職位ID和公司簡稱還有薪水數據,數據實時預覽,

2、髒數據清洗

瀏覽了以下,發現有幾條記錄中城市數據缺失,我們直接添加過濾條件,過濾掉空值和異常值

3、薪水上下限分割:

數據集中,因為薪水是以xxK-xxk的文本形式進行存儲的,我需要用FineBI新增公式列(類似excel函數)將這些字符進行分割,方便麵對薪水進行分析

薪水下限(數值):left( indexofarray ( split (薪水,"-") ,1),find( "K",INDEXOFARRAY( split(薪水,"-") ,1))-1)

薪水上限(含K字符):right ( indexofarray( split(薪水,"-") ,2),len(薪水)- find("K",indexofarray(split(薪水,"-"),2 ) ) )

薪水上限(數值):left((薪水上限(含K字符) ,find"k",薪水上限(含K字符))-1 )

這樣就得到每個崗位的數值格式的薪水區間了:

4、崗位平均薪水計算

知道每個崗位的數值格式的薪水區間,我們還可以計算以下每個崗位的平均薪水,新增列:平均薪水=(薪水下限+薪水上限)/2,即可得到每個崗位的平均薪水。

數據可視化分析

數據清洗加工完畢,接下來就是數據可視化分析階段了,用Finebi做數據可視化十分的簡單,拖拖拽拽就可以自動生成圖表,而在Excel裡,要想作出美觀的可視化,就肯定要學會數據透視表,操作過程也十分的繁雜。下面我用Finebi來展示以下數據可視化分析的過程:

1、我們先來看看在哪些城市找到數據分析師工作的機會比較大?

新建組件,將城市拖入橫軸,記錄數拖入縱軸,並將工作年限拖入顏色,圖表就自動生成了

從表中可以看出,在北京數據分析的崗位最多,往後是上海、深圳、杭州、廣州;按工作年限要求來看,3-5年的需求量最大,其次是1-3年,這說明數據分析對年輕人需求將更多。

2、看完了數據分析崗位在各城市的需求情況,我們再來看看數據分析師的薪水如何?

新建組件,將城市拖入橫軸,平均薪水拖入縱軸,平均薪水進行二次計算,選擇求平均值

從上面的結果可以看出,北京的數據分析師平均薪水最高,其次是深圳,上海,杭州。

3、根據工作經驗的不同,薪酬是怎樣變化的?

以工作年限要求行橫軸,平均薪水為縱軸,分析工作年限與平均薪水的關係

從上面的分析結果可以看出,隨著工作經驗的增長,數據分析師的薪酬也在不斷增加。

綜合上面三個分析結果,我整理出來以下結論分享給了問我問題的妹子:

1)數據分析這一崗位,有大量的工作機會集中在北上廣深以及新一線城市,如果將來去這些城市找工作,可以提高求職成功的條件概率。

2)從待遇上看,數據分析師留在北京,深圳發展是個不錯的選擇,其次是上海。

3)數據分析是個年輕的職業方向,大量的工作經驗需求集中在1-5年。對於數據分析師來說,5年似乎是個瓶頸期,如果在5年之內沒有提升自己的能力,大概以後的競爭壓力會比較大。

4)隨著經驗的提升,數據分析師的薪酬也在不斷提高,10年以上工作經驗的人,能獲得相當豐厚的薪酬。

FineBI個人版永久免費,感興趣的朋友可以私信回復「數據分析」獲取免費下載地址!

相關焦點

  • 找一份數據分析工作,是不是真的很困難?
    ●    我一個朋友想做數據分析,她是學物理的,過去有一些工作經驗,但是跟數據分析沒什麼關係,去面試數據分析有壓力嗎?●    我是文科生,沒有數據分析經驗,也沒有數理統計基礎,想找一份數據分析的工作難嗎?歸根溯源,很多人看好數據分析,想要入職數據分析崗位,但是為什麼選擇數據分析,你真的想清楚弄明白了嗎?是單純的因為看好這個職業的發展?
  • Excel數據分析實戰:原來數據崗位平均薪資最高的城市在這!
    為了儘快掌握使用Excel做數據分析的操作,我也來找個小案例實踐一下。這個小案例是對數據分析的崗位進行的分析,希望通過數據分析找到數據分析這個崗位的一些基本情況,也給自己轉行多一點底氣。首先還是數據分析的步驟,一般可以分為6個:明確分析的目的數據準備數據清洗數據分析數據可視化分析報告數據分析師的在各個城市的招聘數量和平均薪水數據分析師的各個工作經驗年限招聘佔比數據分析師的各個工作經驗年限招聘的平均薪水
  • EXCEL應用:招聘數據如何分析
    小王是公司裡的一名HR,有一天找她到我,叫我幫忙設計一份報表,我說沒問題啊,你提需求唄,她說,領導叫她把每天投簡歷的人員信息匯總起來,成立一個招聘人才的資料庫,有合適的崗位可以第一時間從人才庫裡優先篩選出來,這樣可以為公司節省大量的招聘時間,但是每天的數據累計起來會形成非常大的數據量
  • 數據分析:手把手教你Excel實戰
    在Excel函數和Excel技巧後,今天這篇文章講解實戰,如何運用上兩篇文章的知識進行分析。內容是新手的基礎教程。曾經有童鞋向我反應沒有Excel數據練習,所以這次提供真實數據。為了更好的了解數據分析師這個崗位,我用爬蟲爬取了招聘網站上約5000條的數據分析師職位數據。拿數據分析師進行數據分析。
  • 數據分析師找工作的秘訣,從讀懂招聘 JD 開始
    JD(job description縮寫),在招聘中,最常用到的意思是崗位介紹和工作職責描述。 JD讓無數求職者頭痛,數據分析師更是其中的頭疼之最。這份工作門檻尚可,薪資不錯,行業發展前景好,因此吸引了很多小夥伴的青睞,也是很多傳統行業從業者的轉型方向。
  • 回顧我的第一份數據分析工作
    以下內容為作者口吻敘述:昨天去新公司辦了入職,領了電腦回家辦公,藉此機會回顧下我的上一份數據分析工作——也是我畢業之後的第一份工作她說,我倆要是都沒工作,怎麼生活,我笑了笑,「去一點點上班,兩個人加起來也有5000塊吧,夠生活了,把我逼到絕境肯定能提升學習效率。"
  • 拉勾網數據分析崗數據分析
    簡介:試著,做了一個拉勾網數據分析師職位的數據分析。其實,雖然很想做數據分析師,但是是跨行,心裡相當忐忑,做這個分析就相當於加深自己對數據分析這個行業的了解了。思路大致思路起始數據來源本來是想自己寫個爬蟲的,可是學了好久,還是不能融會貫通,總會出一些bug,只能繼續學習,爭取早日修成爬神功。又想著,總不能還沒開始,就結束了這次實驗。
  • 數據分析-餅圖在數據較多時如何進行展示
    於是滿足市場期望的「敏捷BI「出現了,無論用戶還是廠商,都希望能夠在數據平臺上構建分析系統的過程變得更加迅速、簡單和高效!工作中或生活中有接觸過數據分析的朋友對餅圖肯定不會陌生,作為一種非常常見的統計圖,餅圖可以為我們直觀地展現在一個數據系列中各項的大小與各項總和的比例關係。
  • 如何選擇數據分析可視化工具?Excel,Tableau還是Power BI?
    正確分析使用數據可能會挖到寶藏。那麼,作為個人或公司,如何選擇分析和可視化數據的工具?因此,Excel文件通常用作Power BI和Tableau的數據源。 Tableau支持數百種數據連接器,包括在線分析處理(OLAP)和大數據(例如NoSQL,Hadoop)以及雲數據。
  • 如何找到薪水高的數據分析工作?
    舉個我自己經歷的例子,記得2009年的時候我從某知名網際網路辭職,隨後回到了家鄉西安,準備找一份數據分析師的工作,那時候就去各類招聘網站瘋狂的搜索各類關鍵字,想買彩票一樣,嘗試去匹配一個和自己夢想高度相符的工作,找了幾個月下來,苦不堪言,很多公司根本沒理解數據分析是幹啥的,設置的很多職位高不成低不就,想一想去了,估計都是表哥,而且搜索來搜索去不超過5家。
  • 找數據分析工作,為啥別人那麼輕鬆,我這麼難
    到了5月,很多還在求職的同學已經開始慌了:為啥找數據分析工作,別人看起來好輕鬆,我卻這麼麻煩呢?
  • python爬取+BI分析5000條內衣數據,發現妹子最愛這款文胸
    生活中我們經常會用python進行數據爬取,但是爬取簡單分析難,很多人喜歡用echarts圖表接口或者是python的第三方庫進行數據可視化,甚至是用matlab,基本上都需要用代碼實現,在數據展示上十分繁瑣,效率不高。
  • 數據分析的準備工作:從問題分析到數據清洗
    先複習一下前幾天,我們學習了數據分析的框架:今天我們開始對框架進行詳細的拆解:今天首先給大家介紹一下數據分析前的準備工作,一共分為四部分:首先是對問題的分析,其次是數據的收集,然後是數據的預處理,最後是數據的預分析。
  • 做了幾百萬條交友網站數據分析,中國男女擇偶都有哪些「潛規則」
    小編作為一家知名的商業智能公司的數據分析師,居然這麼多年還是沒有搞懂為啥沒有找到我的另一半,憂桑的吃不下飯!決定做一些數據分析的工作,告訴你中國男女擇偶都有哪些「潛規則」,希望能夠給各位難兄難弟一些建議,指出一條奮鬥的路線!
  • 如何選擇數據分析可視化工具?Excel, Tableau還是Power BI?
    來源:medium編譯:張大筆茹、一一正確分析使用數據可能會挖到寶藏。那麼,作為個人或公司,如何選擇分析和可視化數據的工具?在本文中,我們從各個方面比較三個工具的功能。
  • BI大數據分析是什麼,大數據bi工具有哪些
    Gartner稱,儘管商務智能和分析市場在2013年增長了8%,增長至144億美元,但是漲幅低於預期。大數據通常指對來自社交網絡、傳感器等來源的海量非結構化信息進行的挖掘與分析,而傳統的商務智能只是報告和分析結構化數據存儲。
  • 如何用最短時間找到數據分析工作?
    經常遇到問題,浪費大量寶貴時間沒有項目經驗,找工作經常被拒為了讓少數不甘平庸的人,在人工智慧時代,用最短的時間成功入行數據分析,我精心設計了【闖關遊戲】課程。歸一化:使用標準分將分布轉化為標準正態分布你將挑戰的實戰項目:NBA球員行為分析雖然現在機器學習滿地走,Excel依舊是無可爭議的第一分析工具。它是日常工作中最常用的分析工具,如果不考慮性能和數據量,它可以應付絕大部分的分析工作。所以對於沒有編程經驗的你,入門選擇從Excel開始,是進入這個行業最快的捷徑。
  • 大數據分析BI工具有哪些?
    隨著網絡技術的進步,數據分析逐漸成為了一個重要的工具,同時也是一個對數據進行詳細研究和概括總結的過程。下面給大家推薦幾款主流的大數據分析BI工具,幫助用戶分析生活、工作中遇到的問題!一、TableauTableau是目前市面上較為成功的BI工具。產品既有針對性,又有普適性。拖放式界面,操作簡單。
  • 華為招聘HR的要求火了,原來會數據分析,薪水差距居然這麼大
    這兩天在朋友圈一張華為的HR招聘廣告傳的很火。年薪40萬招聘HR數據分析師!這還沒算上股票期權和其他福利補貼。一般企業的HR工資水平在公司應該處於中等甚至偏下,沒想到多加個數據分析的標籤,薪水居然能這麼多,而且這兩年,數據分析能力似乎已經成為優秀企業招聘HR的重要指標,不光華為要求數據分析能力,百度、阿里等企業在HR的招聘簡章中都提到了數據分析能力的要求。
  • 小白數據分析——Python職位數據分析全鏈路
    所以我們在作分析前要關注數據質量,尤其數據量比較少的情況。本次分析的職位數有1w條左右,屬於比較小的數據量,所以在數據清洗這一步花了比較多的時間。2.1 單維度分析我們由粗到細,先來按照單維度進行分析。對於一個在校生來說,他最迫切想了解的數據是什麼?我覺得是不同城市之間職位數量的分布。因為對於學生來說考慮工作的首要問題是考慮在哪個城市,考慮哪個城市需要參考的一點就是職位的數量,職位越多,前景自然更好。