爬蟲，被稱為網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者，是一種按照一定的規則，自動地抓取全球資訊網信息的程序或者腳本，主要用於搜尋引擎,它將一個網站的所有內容與連結進行閱讀，並建立相關的全文索引到資料庫中，然後跳到另一個網站。
傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，再不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。
我們自學一段時間Python後想要學習網絡爬蟲，需要做些什麼嗎？
想要做爬蟲，我們就需要做到以下幾點：
一、先了解html有關的知識
html是一種標記語言並不難學，它是超文本標記語言，標準通用標記語言下的一個應用。「超文本」就是指頁面內可以包含圖片、連結，甚至音樂、程序等非文字元素。超文本標記語言的結構包括「頭」部分（英語：Head）、和「主體」部分（英語：Body），其中「頭」部提供關於網頁的信息，「主體」部分提供網頁的具體內容。
Python網絡爬蟲學習，不需要你深入學習html，只要知道掌握它常用的簡單標籤跟知識點就行。
二、比起html，js建議多少懂一點
js比html難很多，但多少也要知道它的一些知識原理，有條件的推薦看下《JavaScript DOM編程藝術》和《Javascript高級程序設計》的前三章這兩本書，能讓你對js有一定的認識。
三、urllib、urllib2兩個庫很重要
urllib和urllib2個庫是我們在抓取頁面要用的。在python中，urllib和urllib2不可相互替代，雖然urllib2是urllib的增強，但是urllib中有urllib2中所沒有的函數。
urllib2可以用urllib2.openurl中設置Request參數，來修改Header頭。如果你訪問一個網站，想更改User Agent（可以偽裝你的瀏覽器），你就要用urllib2。
urllib支持設置編碼的函數，urllib.urlencode,在模擬登陸的時候，經常要post編碼之後的參數，所以要想不使用第三方庫完成模擬登錄，你就需要使用urllib。
記住！urllib一般和urllib2一起搭配使用，而且Cookielib這個庫配合urllib2可以封裝opener，在需要cookie時可以自動解決，建議了解一些，會封裝opener即可。re正則表達式庫可以幫助你高效的從頁面中分離要的內容，正則表達式要略知一二。
四、scrapy多去了解下
scrapy是應用最廣泛的爬蟲框架，沒有之一，而且是成熟度最高的框架，可利用成熟產品，避免重複「造輪子」，可以更快速的構建項目。
Scrap也是Python開發的一個快速、高層次的屏幕抓取和web抓取框架，用於抓取web站點並從頁面中提取結構化的數據。Scrapy用途廣泛，可以用於數據挖掘、監測和自動化測試。是你學習爬蟲絕對會用到的一個框架。
五、抓包知識與網絡防爬
學習一些抓包知識，有些網站防爬，需要人工瀏覽一些頁面，抓取數據包分析防爬機制，然後做出應對措施。比如解決cookie問題，或者模擬設備等。
我們要知道對方網站是怎麼防止爬蟲的，比如：
新建 內容User-agent: *Disallow: /
或者網頁頭部文件添加，添加如下語句：
<meta name="robots" content="noindex, nofollow">
當網站出現這樣類似的反爬機制時，你對抓包知識理解有多深就有多好的解決方式，這裡還有一點要提下，如果網站有API，寫爬蟲會更容易哦！
自學Python一般學的都是學些基本語法，或者字符串、字節串的解碼與編碼，對於網站開發、網絡爬蟲什麼的都是無法理解的，所以小編今天就為你們指出一條網絡爬蟲的學習方向，上面五種學習爬蟲會用到的知識，你若是都弄懂了，爬蟲的學習也就成功了。
以上便是小編對「Python新手學習網絡爬蟲要做什麼？」的大致介紹，希望對您有所幫助！