Scrapy爬蟲框架新手入門教程

​Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

---

目錄

安裝

測試

新建工程

創建spider文件（以豆瓣電影為例）

架構(綠線是數據流向)

運作流程（個人理解）

製作步驟

在item中指明爬取欄位

編寫spider/movie.py

數據存至資料庫

其他

最後

---

安裝

pip安裝，可能會報錯：

pip install Scrapy

anaconda安裝，推薦：

conda install -c conda-forge scrapy

測試

scrapy

新建工程

scrapy startproject <工程名>

如

scrapy startproject douban

創建的目錄結構

• scrapy.cfg: 項目配置文件
• douban/: 項目python模塊, 代碼將從這裡導入
• douban/items.py: 項目items文件，存要爬取的欄位信息，可以插入資料庫、寫入txt等
• douban/pipelines.py: 項目管道文件，將爬取的數據進行持久化存儲
• douban/settings.py: 項目配置文件，可以配置資料庫等
• douban/spiders/: 放置spider的目錄，也就是你要寫邏輯代碼的地方
• douban/middlewares：中間件，請求和響應都將經過他，可以配置請求頭、代理、cookie、會話維持等

創建spider文件（以豆瓣電影為例）

scrapy genspider <項目名> <爬取域>

如

cd doubanscrapy genspider movie movie.douban.com

將在spiders文件夾下自動創建movie.py，並自動生成內容：

可以看出，要建立一個Spider， 你必須用scrapy.Spider類創建一個子類，並確定了三個強制的屬性 和 一個方法。

• name = "" ：爬蟲的識別名稱，必須是唯一的，在不同的爬蟲必須定義不同的名字。
• allow_domains = [] ：是搜索的域名範圍，也就是爬蟲的約束區域，規定爬蟲只爬取這個域名下的網頁，不存在的URL會被忽略。
• start_urls = () ：爬取的URL元祖/列表。爬蟲從這裡開始抓取數據，所以，第一次下載的數據將會從這些urls開始。其他子URL將會從這些起始URL中繼承性生成。
• parse(self, response) ：解析的方法，每個初始URL完成下載後將被調用，調用的時候傳入從每一個URL傳回的Response對象來作為唯一參數，主要作用如下：負責解析返回的網頁數據(response.body)，提取結構化數據(生成item)；生成需要下一頁的URL請求。

架構(綠線是數據流向)

• Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。
• Scheduler(調度器): 它負責接受引擎發送過來的Request請求，並按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。
• Downloader（下載器）：負責下載Scrapy Engine(引擎)發送的所有Requests請求，並將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理，
• Spider（爬蟲）：它負責處理所有Responses,從中分析提取數據，獲取Item欄位需要的數據，並將需要跟進的URL提交給引擎，再次進入Scheduler(調度器).
• Item Pipeline(管道)：它負責處理Spider中獲取到的Item，並進行進行後期處理（詳細分析、過濾、存儲等）的地方。
• Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件。
• Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）

運作流程（個人理解）

• 用戶編寫spider並運行
• 將第一個URL傳給引擎
• 引擎將URL對應的request傳給調度器
• 調度器將request排序入隊
• 調度器將處理好的request返回到引擎
• 引擎將request按照下載中間件的設置傳給下載器
• 下載器執行request並獲得response（如果下載失敗，然後引擎告訴調度器，這個request下載失敗了，你記錄一下，待會兒再下載）
• 下載器將response返回到引擎
• 引擎將request返回到spider用戶這（默認交到def parse()這個函數處理）
• spider處理完數據後，將需要跟進的URL和要保存的item傳給引擎
• 引擎將item傳給管道進行處理保存，並將URL進入下一輪循環
• 只有當調度器中不存在任何request了，整個程序才會停止，（也就是說，對於下載失敗的URL，Scrapy也會重新下載。）

製作步驟

1. 新建項目 (scrapy startproject xxx)：新建一個新的爬蟲項目
2. 明確目標 （編寫items.py）：明確你想要抓取的目標
3. 製作爬蟲 （spiders/xxspider.py）：製作爬蟲開始爬取網頁
4. 存儲內容 （pipelines.py）：設計管道存儲爬取內容

在item中指明爬取欄位

如「名稱」、「評分」、「簡介」

• Item 定義結構化數據欄位，用來保存爬取到的數據，有點像 Python 中的 dict，但是提供了一些額外的保護減少錯誤。
• 可以通過創建一個 scrapy.Item 類， 並且定義類型為 scrapy.Field 的類屬性來定義一個 Item（可以理解成類似於 ORM 的映射關係）。

在item.py中修改為：

class DoubanItem(scrapy.Item): name = scrapy.Field() rating_num = scrapy.Field() quote = scrapy.Field()

編寫spider/movie.py

1、選擇目標的xpath（也可以css等其他選擇器）

2、提取出公共部分

3、由於豆瓣有反爬驗證，因此需要加上header

def start_requests(self): url = 'http://movie.douban.com/top250/' yield scrapy.Request(url, headers=self.headers)

通過start_requests函數，對於運行後第一次訪問請求，就加上了請求頭。因此，start_urls其實也可以不加。

4、為了方便調試，新建spider/main.py，並寫入

from scrapy.cmdline import executeexecute(["scrapy", "crawl", "movie", "-o", "item.json"])

5、測試一下效果

class MovieSpider(scrapy.Spider): name = 'movie' allowed_domains = ['movie.douban.com/top250'] start_urls = ['http://movie.douban.com/top250/'] headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'} def start_requests(self): url = 'http://movie.douban.com/top250/' yield scrapy.Request(url, headers=self.headers) def parse(self, response): for each in response.xpath('//*[@id="content"]/div/div[1]/ol/li'): print(each.xpath('./div/div[2]/div[1]/a/span[1]').extract())

運行main.py

要提取中間的文字，則在xpath後面再添加「/text()」

6、類似地，完善parse()函數

from ..items import DoubanItem

def parse(self, response): # 將得到的數據封裝到一個DoubanItem對象，就是在items.py裡的 item = DoubanItem() for each in response.xpath('//*[@id="content"]/div/div[1]/ol/li'): name = each.xpath('./div/div[2]/div[1]/a/span[1]/text()').extract_first() rating_num = each.xpath('./div/div[2]/div[2]/div/span[2]/text()').extract_first() quote = each.xpath('./div/div[2]/div[2]/p[2]/span/text()').extract_first() item['name'] = name item['rating_num'] = rating_num item['quote'] = quote yield item

7、運行main.py後，在spider/item.json裡將看到爬取的數據，以Unicode字符形式。

8、還可以保存為其他形式，如csv、xml，只需將item.json改為item.csv等。

數據存至資料庫

1、建庫建表

mysql -uroot -p Enter password:create database scrapy;use scrapy;create table movie(id int auto_increment primary key, name varchar(255),rating varchar(10), quote varchar(255))default charset=utf8;

2、在setting.py中配置資料庫連接

mysql_movie = { 'host': "127.0.0.1", "port": 3306, "user": "root", "password": "pwd", "db": "scrapy"}

3、在setting.py中將以下內容取消注釋

4、在pipelines.py中連接資料庫存儲數據

pip install pymysql

# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.htmlfrom .settings import mysql_movieimport pymysqlclass DoubanPipeline: def __init__(self): self.host = mysql_movie["host"] self.port = mysql_movie["port"] self.user = mysql_movie["user"] self.password = mysql_movie["password"] self.db = mysql_movie["db"] self.conn = pymysql.connect(host=self.host, port=self.port, user=self.user, password=self.password, db=self.db, charset='utf8') self.cursor = self.conn.cursor() def process_item(self, item, spider): sql ='''insert into movie(name, rating, quote)values('%s','%s','%s')''' % (item["name"], item["rating_num"], item["quote"]) try: self.cursor.execute(sql) self.conn.commit() except: self.conn.rollback() return item

5、運行main.py後，查詢資料庫

select * from movie;

其他

URL跟進（翻頁）；在parse函數最後，跟新以下URL，scrapy框架會自動發起下一次請求

def parse(self, response): # 將得到的數據封裝到一個DoubanItem對象 item = DoubanItem() for each in response.xpath('//*[@id="content"]/div/div[1]/ol/li'): name = each.xpath('./div/div[2]/div[1]/a/span[1]/text()').extract_first() rating_num = each.xpath('./div/div[2]/div[2]/div/span[2]/text()').extract_first() quote = each.xpath('./div/div[2]/div[2]/p[2]/span/text()').extract_first() item['name'] = name item['rating_num'] = rating_num item['quote'] = quote yield item next_url = response.xpath('//*[@id="content"]/div/div[1]/div[2]/span[3]/link/@href').extract() if next_url: next_url = 'https://movie.douban.com/top250' + next_url[0] print(next_url) yield scrapy.Request(next_url, headers=self.headers)

為了做一個乖爬蟲，且避免面向監獄編程，建議在setting.py至少開啟以下兩項：

最後

相信你跟我一樣，過完本文，對scrapy已經有了一個大致的了解。