爬蟲，即網絡爬蟲，大家可以理解為在網絡上爬行的一直蜘蛛，網際網路就比作一張大網，而爬蟲便是在這張網上爬來爬去的蜘蛛咯，如果它遇到資源，那麼它就會抓取下來。想抓取什麼？這個由你來控制它咯。
比如它在抓取一個網頁，在這個網中他發現了一條道路，其實就是指向網頁的超連結，那麼它就可以爬到另一張網上來獲取數據。這樣，整個連在一起的大網對這之蜘蛛來說觸手可及，分分鐘爬下來不是事兒。
2.瀏覽網頁的過程在用戶瀏覽網頁的過程中，我們可能會看到許多好看的圖片，比如 http://image.baidu.com/ ，我們會看到幾張的圖片以及百度搜索框，這個過程其實就是用戶輸入網址之後，經過DNS伺服器，找到伺服器主機，向伺服器發出一個請求，伺服器經過解析之後，發送給用戶的瀏覽器 HTML、JS、CSS 等文件，瀏覽器解析出來，用戶便可以看到形形色色的圖片了。
因此，用戶看到的網頁實質是由 HTML 代碼構成的，爬蟲爬來的便是這些內容，通過分析和過濾這些 HTML 代碼，實現對圖片、文字等資源的獲取。
3.URL的含義URL，即統一資源定位符，也就是我們說的網址，統一資源定位符是對可以從網際網路上得到的資源的位置和訪問方法的一種簡潔的表示，是網際網路上標準資源的地址。網際網路上的每個文件都有一個唯一的URL，它包含的信息指出文件的位置以及瀏覽器應該怎麼處理它。
URL的格式由三部分組成：
①第一部分是協議(或稱為服務方式)。
②第二部分是存有該資源的主機IP位址(有時也包括埠號)。
③第三部分是主機資源的具體地址，如目錄和文件名等。
爬蟲爬取數據時必須要有一個目標的URL才可以獲取數據，因此，它是爬蟲獲取數據的基本依據，準確理解它的含義對爬蟲學習有很大幫助。
4. 環境的配置學習Python，當然少不了環境的配置，最初我用的是Notepad++，不過發現它的提示功能實在是太弱了，於是，在Windows下我用了PyCharm，在Linux下我用了Eclipse for Python，另外還有幾款比較優秀的IDE，大家可以參考這篇文章 學習Python推薦的IDE 。好的開發工具是前進的推進器，希望大家可以找到適合自己的IDE
urllib的使用
1.分分鐘扒一個網頁下來怎樣扒網頁呢？其實就是根據URL來獲取它的網頁信息，雖然我們在瀏覽器中看到的是一幅幅優美的畫面，但是其實是由瀏覽器解釋才呈現出來的，實質它是一段HTML代碼，加 JS、CSS，如果把網頁比作一個人，那麼HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在於HTML中的，下面我們就寫個例子來扒一個網頁下來。
1
2
3
4
import urllib2
response = urllib2.urlopen("http://www.baidu.com")
print response.read()
是的你沒看錯，真正的程序就兩行，把它保存成 demo.py，進入該文件的目錄，執行如下命令查看運行結果，感受一下。
看，這個網頁的源碼已經被我們扒下來了，是不是很酸爽？
2.分析扒網頁的方法那麼我們來分析這兩行代碼，第一行
1
response = urllib2.urlopen("http://www.baidu.com")
首先我們調用的是urllib2庫裡面的urlopen方法，傳入一個URL，這個網址是百度首頁，協議是HTTP協議，當然你也可以把HTTP換做FTP,FILE,HTTPS 等等，只是代表了一種訪問控制協議，urlopen一般接受三個參數，它的參數如下：
1
urlopen(url, data, timeout)
第一個參數url即為URL，第二個參數data是訪問URL時要傳送的數據，第三個timeout是設置超時時間。
第二三個參數是可以不傳送的，data默認為空None，timeout默認為 socket._GLOBAL_DEFAULT_TIMEOUT
第一個參數URL是必須要傳送的，在這個例子裡面我們傳送了百度的URL，執行urlopen方法之後，返回一個response對象，返回信息便保存在這裡面。
response對象有一個read方法，可以返回獲取到的網頁內容。
如果不加read直接列印會是什麼？答案如下：
1
<addinfourl at 139728495260376 whose fp = <socket._fileobject object at 0x7f1513fb3ad0>>
直接列印出了該對象的描述，所以記得一定要加read方法，否則它不出來內容可就不怪我咯！
3.構造Requset其實上面的urlopen參數可以傳入一個request請求,它其實就是一個Request類的實例，構造時需要傳入Url,Data等等的內容。比如上面的兩行代碼，我們可以這麼改寫
1
2
3
4
5
import urllib2
request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()
運行結果是完全一樣的，只不過中間多了一個request對象，推薦大家這麼寫，因為在構建請求時還需要加入好多內容，通過構建一個request，伺服器響應請求得到應答，這樣顯得邏輯上清晰明確。
4.POST和GET數據傳送上面的程序演示了最基本的網頁抓取，不過，現在大多數網站都是動態網頁，需要你動態地傳遞參數給它，它做出對應的響應。所以，在訪問時，我們需要傳遞數據給它。最常見的情況是什麼？對了，就是登錄註冊的時候呀。
把數據用戶名和密碼傳送到一個URL，然後你得到伺服器處理之後的響應，這個該怎麼辦？下面讓我來為小夥伴們揭曉吧！
數據傳送分為POST和GET兩種方式，兩種方式有什麼區別呢？
最重要的區別是GET方式是直接以連結形式訪問，連結中包含了所有的參數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什麼內容。POST則不會在網址上顯示所有的參數，不過如果你想直接查看提交了什麼就不太方便了，大家可以酌情選擇。
POST方式：上面我們說了data參數是幹嘛的？對了，它就是用在這裡的，我們傳送的數據就是這個參數data，下面演示一下POST方式。
1
2
3
4
5
6
7
8
9
import urllib
import urllib2
values = {"username":"1016903103@qq.com","password":"XXXX"}
data = urllib.urlencode(values)
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
我們引入了urllib庫，現在我們模擬登陸CSDN，當然上述代碼可能登陸不進去，因為還要做一些設置頭部header的工作，或者還有一些參數沒有設置全，還沒有提及到在此就不寫上去了，在此只是說明登錄的原理。我們需要定義一個字典，名字為values，參數我設置了username和password，下面利用urllib的urlencode方法將字典編碼，命名為data，構建request時傳入兩個參數，url和data，運行程序，即可實現登陸，返回的便是登陸後呈現的頁面內容。當然你可以自己搭建一個伺服器來測試一下。
注意上面字典的定義方式還有一種，下面的寫法是等價的
1
2
3
4
5
6
7
8
9
10
import urllib
import urllib2
values = {}
values['username'] = "1016903103@qq.com"
values['password'] = "XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
以上方法便實現了POST方式的傳送
GET方式：至於GET方式我們可以直接把參數寫到網址上面，直接構建一個帶參數的URL出來即可。
1
2
3
4
5
6
7
8
9
10
1
import urllib
import urllib2
values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()
你可以print geturl，列印輸出一下url，發現其實就是原來的url加？然後加編碼後的參數
1
http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX
和我們平常GET訪問方式一模一樣，這樣就實現了數據的GET方式傳送。
本節講解了一些基本使用，可以抓取到一些基本的網頁信息，小夥伴們加油！
謝謝您的關注與支持
歡迎轉載
還沒上大學的時候，高三暑假，跑到家那邊的圖書城想買傳說中的C++的書，然後看到一本C#，我一看，嘿，這個++還寫得挺藝術的，重疊起來了，於是把C#買了回來……