一、什麼是網絡爬蟲
在隨著大數據時代的到來，網絡爬蟲在網際網路中的地位也越來越重要。而網際網路中的數據是海量存在的，那麼我們如何自動高效地獲取網際網路中我們感興趣的信息並為我們所用就成了一個重要的問題，而爬蟲技術就是為了解決這些問題而產生的。
網絡爬蟲：
網絡爬蟲是一種按照一定規則，自動抓取全球資訊網信息的程序或腳本。
簡單的說，就是用實現寫好的程序去抓取網絡上所需的數據，這樣的程序就叫網絡爬蟲。
二、爬蟲分類
網絡爬蟲根據使用的場景分為通用爬蟲和聚焦爬蟲。
1、通用爬蟲
通用爬蟲是搜尋引擎抓取系統的重要組成部分。主要是將網際網路上的網頁下載到本地，形成一個網際網路內容的鏡像備份。
2、聚焦爬蟲
聚焦爬蟲是面向特定主題需求的一種網絡爬蟲程序。它與通用搜尋引擎爬蟲的區別在於：聚焦爬蟲在實施網頁抓取時會對內容進行處理篩選，儘量保證只抓取與需求相關的網頁信息。
三、為什麼學習網絡爬蟲
1、學習爬蟲，我們可以私人訂製一個搜尋引擎，並且可以更好的對搜尋引擎的數據採集工作原理進行更深層次地理解。
其實，在我們學會了爬蟲代碼的編寫之後，就可以利用爬蟲自動地採集網際網路中的信息，採集回來後對數據進行相應的存儲或處理，在需要檢索某些信息的時候，只需在採集回來的數據中進行檢索，當然，信息怎麼爬取、怎麼存儲、都是需要我們進行設計的，爬蟲技術主要解決信息爬取的問題。
2、隨著大數據時代到來，需要進行數據分析，而學習網絡爬蟲，可以讓我們獲取更多的數據，並且這些數據可以按我們的目的進行篩選，去掉很多無關數據。
3、從就業的角度來分析，爬蟲工程師目前來說屬於緊缺人才，並且薪資待遇普遍較高，所以，深層次地掌握這門技術，對於就業來說，也是非常有利的。
有些朋友學習爬蟲可能為了提升自己或者跳槽。其實從這個角度來說，因為目前爬蟲工程師的需求越來越大，而能夠勝任這方面崗位的人員較少，所以目前市場處在一個比較緊缺的職業方向，並且隨著大數據時代的來臨，爬蟲技術的應用也越來越廣泛，在未來的發展空間也會越來越大。
四、關於爬蟲的工作分析
1、初級爬蟲工程師
從事初級爬蟲工程師需要我們掌握以下幾點：
1）、web前端的知識：HTML，css，js，Ajax，jQuery等；
2）、正則表達式，能通過正則表達式提取在網頁中的信息，比如特殊的文字，連結信息等；
3）、會使用Xpath等獲取一些DOM結構中的節點信息；
4）、要知道什麼是深度優先和廣度優先的抓取算法及實踐中的使用規則；
5）、能分析簡單的網站結構，會使用urllib或requests庫進行簡單的數據抓取。
2、中級爬蟲工程師
從事中級爬蟲工程師需要掌握以下幾點：
1）、了解什麼是HASH，會簡單的使用MD5，SHA1等算法對數據進行HASH一遍存儲；
2）、熟悉HTTP和HTTPS協議的基礎知識，了解GET和POST方法，了解HTTP頭中的信息，包括返回的狀態碼，編碼，U-A，cookie，session等；
3）、能設置user-agent進行數據爬取，設置代理等；
4）、知道什麼是request，什麼是response，會使用fiddler等工具抓取及分析簡單的網絡數據包；對於動態網絡爬蟲，要學會分析ajax請求，模擬製造post數據包請求，抓取客戶端session等信息，對於一些簡單的網站，能夠通過模擬數據包進行自動登錄；
5）、對於一些難搞定的網站學會使用phantomjs+selenium抓取一些動態網頁信息；
6）、並發下載，通過並行下載加速數據爬取，多線程的使用。
3、高級爬蟲工程師
從事高級爬蟲工程師需要掌握以下幾點：
1）、能進行網頁驗證碼的破解；
2）、能破解網站的數據加密；
3）、會使用常用的資料庫進行數據存儲，查詢，以及如何通過緩存避免重複下載問題；
4）、能使用一些開源框架Scrapy,Scrapy-Redis等分布式爬蟲，能部署掌控分布式爬蟲進行大規模數據爬取。