為什麼總說爬蟲，找工作容易，工資還高，但是他們是什麼，能做什麼！你知道嗎？繼續往下看吧，我來告訴你答案。
Python爬蟲是什麼？Python爬蟲是什麼？
Python爬蟲是由Python程序開發的網絡爬蟲(webspider，webrobot)，是按照一定規則自動抓取全球資訊網信息的程序或腳本。
其實一般是通過程序在網頁上獲取你想要的數據，也就是自動抓取數據。
為什麼需要用爬蟲？
你可以想像一個場景:你在微博上崇拜一個名人，被他的微博迷住了。你要把他這十年微博裡的每一句話都摘抄下來。這個時候你會怎麼做？手動上Ctrl+C和Ctrl+V？這個方法是對的。在數據量很小的情況下我們還是可以這樣做的，但是在數據數千的情況下你還是要這樣做嗎？
爬蟲技術可以輕鬆解決問題。我們可以看到爬蟲技術主要可以幫助我們做兩種事情：一種是對數據採集的需求，主要針對特定規則下的大量數據的信息採集；另一個是自動化需求，主要用於信息聚合和搜索。
大大提高工作效率和工作質量！
零基礎學Python通用網絡爬蟲(UniversalWebcrawler)，又叫ScalableWebCrawler，從一些種子URL抓取到整個Web，主要是為搜尋引擎和大型Web服務提供商收集數據。這類網絡爬蟲的抓取範圍和數量巨大，對抓取速度和存儲空間要求較高，抓取頁面的順序相對較低。比如我們常見的百度和谷歌搜索。當我們輸入關鍵詞時，他們會從整個網絡中尋找與關鍵詞相關的網頁，並按照一定的順序呈現給我們。
聚焦爬蟲是指選擇性地抓取與預定義主題相關的頁面的爬蟲。相比一般的web爬蟲，聚焦爬蟲只需要抓取特定的網頁，抓取的廣度會小很多。
一般來說，通用爬蟲類似蜘蛛，需要尋找特定的食物，但是不知道蜘蛛網的哪個節點有，所以只能從一個節點開始，遇到一個節點就看一下，有食物就得到食物，如果這個節點表示某個節點有食物，就會按照指示找到下一個節點。聚焦的網絡爬蟲意味著這隻蜘蛛知道哪個節點有食物，它只需要計劃一條到達那個節點的路線就可以獲得食物。
python爬蟲工程師工資：
2019年9月，北京招聘程式設計師26430人。2019年9月，北京程式設計師平均工資17224元，工資中位數15000元，其中95%的工資在3750-45000元之間。
北京Python工程師平均工資22K，其中23.4%工資在30K-50K，38%工資在20K-30K。這個工資比2018年增長了11.9%。
2019年11月，Python工程師崗位10637個，可見Python工程師的受歡迎程度。
除了北京，上海、深圳等一線城市Python工資都超過21K:
上海Python工程師平均工資21k；
深圳Python工程師平均工資21k；
廣州和杭州也不遠了；
廣州Python工程師平均工資17k；
杭州Python工程師平均工資17k；
我們來看看Python在二線城市的薪資情況:
武漢Python工程師平均工資14k；
成都Python工程師平均工資16k；
重慶Python工程師平均工資13k；
長沙Python工程師平均工資14k；
福州Python工程師平均工資11K；
Xi安Python工程師平均工資12k；
昆明Python工程師平均工資10k；
鄭州Python工程師平均工資10k；
除了北上廣深等一線城市，成都、武漢、長沙等二線城市的平均工資也超過了14K，比去年的11K多了3k。
根據智聯招聘網、職友集等招聘網站的數據。可以看出隨著Python語言的不斷普及，對Python技術人才的需求也在不斷增加——日均需求甚至達到15000+，在北上廣深等一線城市的需求更是巨大。
有對Python感興趣的同學就趕快學習起來吧，時不等人，抓緊時間開始學習之旅吧。學習沒有捷徑，希望大家都能少走一些彎路，在學習Python的道路上一往無前，學有所成！