有朋友在群裡和大家討論，問的最多的問題就是，python 爬蟲學到什麼程度可以去找工作了，關於這點，和大家分享下我的理解。
確立目標、了解需求
首先我們要先定位自己的目標，當然我們先以爬蟲工程師來做個說明。
去招聘網上看看需求都有哪些,直接做個拉勾網爬蟲（有需要的私信）出結果了：
仔細看看，我們可以得出以下幾點：
1、 python 不是唯一可以做爬蟲的，很多語言都可以，尤其是 java,同時掌握它們和擁有相關開發經驗是很重要的加分項
2、 大部分的公司都要求爬蟲技術有一定的深度和廣度，深度就是類似反反爬、加密破解、驗證登錄等等技術；廣度就是分布式、雲計算等等，這都是加分項
3、 爬蟲，不是抓取到數據就完事了，如果有數據抽取、清洗、消重等方面經驗，也是加分項
4、 一般公司都會有自己的爬蟲系統，而新進員工除了跟著學習以外最常做的工作就是維護爬蟲系統，這點要有了解
5、 最後一個加分項就是前端知識，尤其是常用的 js、ajax、html/xhtml、css 等相關技術為最佳，其中 js 代碼的熟悉是很重要的
6、 補充一條，隨著手持設備的市場佔比越來越高，app 的數據採集、抓包工具的熟練使用會越來越重要
以上內容，不要求全部掌握，但是掌握的越多，那麼你的重要性就越高
如何提高自己
網上教程很多，就 python 而言，只會 requests 明顯是不夠的，起碼 scrapy 和pyspider 這倆框架要掌握，scrapy_redis 原理要理解
多做全站爬蟲，比如抓取一個小說網站， 能抓一本小說是基本功，你要想辦法分類別把整站小說全部抓取下來，存到資料庫，甚至自己建站，完全用你的方式將對方的網站 copy 下來！這個過程需要注意的是如何去重，Mongo 可以、redis 也可以。
實戰項目經驗
這個是在面試中經常會問到
1、 你抓過哪些網站？
2、 日均採集量有多少？
3、 遇到哪些問題，怎麼解決的？
那麼，怎麼找項目呢？Github 你需要多去看看，項目多到超出你的想像！
如何判斷能力是否足夠
很簡單，去網上找一個爬蟲的外包方案，自己去嘗試做一下！當然你要能賣出去，那是最好了。實踐是硬道理！
以上僅為個人看法，若有不足之處請指教，希望可以幫助到大家！