Python採集CSDN博客排行榜數據

文章目錄

• 前言
• 網絡爬蟲搜尋引擎爬蟲應用謹防違法
• 爬蟲實戰網頁分析編寫代碼運行效果
• 反爬技術

私信小編01即可獲取Python學習資料

前言

開始接觸 CTF 網絡安全比賽發現不會寫 Python 腳本的話簡直寸步難行……故丟棄 Java 學習下 Python 語言，但單純學習語法又覺得枯燥……所以從 Python 爬蟲應用實戰入手進行學習 Python。本文將簡述爬蟲定義、爬蟲基礎、反爬技術 和 CSDN博客排行榜數據爬取實戰。

網絡爬蟲

網絡爬蟲又稱網絡蜘蛛、網絡螞蟻、網絡機器人等，可以代替人們自動地在網際網路中進行數據信息的採集與整理。在大數據時代，信息的採集是一項重要的工作，如果單純靠人力進行信息採集，不僅低效繁瑣，搜集的成本也會提高。

網絡爬蟲自動化瀏覽網絡中的信息的時候需要按照我們制定的規則進行，這些規則我們稱之為網絡爬蟲算法。使用Python可以很方便地編寫出爬蟲程序，進行網際網路信息的自動化檢索。

搜尋引擎

搜尋引擎離不開爬蟲，比如百度搜尋引擎的爬蟲叫作百度蜘蛛（Baiduspider）。百度蜘蛛每天會在海量的網際網路信息中進行爬取，爬取優質信息並收錄，當用戶在百度搜尋引擎上檢索對應關鍵詞時，百度將對關鍵詞進行分析處理，從收錄的網頁中找出相關網頁，按照一定的排名規則進行排序並將結果展現給用戶。（除了百度搜尋引擎離不開爬蟲以外，其他搜尋引擎也離不開爬蟲，它們也擁有自己的爬蟲。比如360的爬蟲叫360Spider，搜狗的爬蟲叫Sogouspider，必應的爬蟲叫Bingbot。）

在這個過程中，百度蜘蛛起到了至關重要的作用。那麼，如何覆蓋網際網路中更多的優質網頁？又如何篩選這些重複的頁面？這些都是由百度蜘蛛爬蟲的算法決定的。採用不同的算法，爬蟲的運行效率會不同，爬取結果也會有所差異。所以，我們在研究爬蟲的時候，不僅要了解爬蟲如何實現，還需要知道一些常見爬蟲的算法，如果有必要，我們還需要自己去制定相應的算法，在此，我們僅需要對爬蟲的概念有一個基本的了解。

爬蟲應用

​

在上面的圖中可以看到，網絡爬蟲可以代替手工做很多事情，比如可以用於做搜尋引擎，也可以爬取網站上面的圖片，比如有些朋友將某些網站上的圖片全部爬取下來，集中進行瀏覽，同時，網絡爬蟲也可以用於金融投資領域，比如可以自動爬取一些金融信息，並進行投資分析等。

由於網際網路中的用戶數據信息，相對來說是比較敏感的數據信息，所以，用戶爬蟲的利用價值也相對較高。利用用戶爬蟲可以做大量的事情，比如在2015年，有網友爬取了3000萬QQ空間的用戶信息，並同樣從中獲得了大量潛在數據：

• QQ空間用戶發說說的時間規律：晚上22點左右，平均發說說的數量是一天中最多的時候；
• QQ空間用戶的年齡階段分布：出生於1990年到1995年的用戶相對來說較多；
• QQ空間用戶的性別分布：男生佔比多於50%，女生佔比多於30%，未填性別的佔10%左右。

用戶爬蟲還可以做很多事情，比如爬取淘寶的用戶信息，可以分析淘寶用戶喜歡什麼商品，從而更有利於我們對商品的定位等。由此可見，利用用戶爬蟲可以獲得很多有趣的潛在信息。

謹防違法

網絡爬蟲在大多數情況中都不違法，我們生活中幾乎每天都在爬蟲應用（如百度），從目前的情況來看，如果抓取的數據屬於個人使用或科研範疇，基本不存在問題；而如果數據屬於商業盈利範疇，就有可能屬於違法行為。

Robots協議

Robots協議（爬蟲協議）的全稱是「網絡爬蟲排除標準」（Robots Exclusion Protocol），網站通過Robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。該協議是國際網際網路界通行的道德規範，雖然沒有寫入法律，但是每一個爬蟲都應該遵守這項協議。

淘寶網對用戶代理為百度爬蟲引擎進行了規定，我們可以查看淘寶網的 robots.txt：

1. User-agent: *表示允許所有搜尋引擎蜘蛛來爬行抓取，也可以把*去掉，改為特定某一個或者某些搜尋引擎蜘蛛來爬行抓取，如百度是Baiduspider，谷歌是Googlebot；
2. 以 Allow 項的值開頭的URL是允許robot訪問的。例如，Allow：/article允許百度爬蟲引擎訪問 /article.htm、/article/12345.com等。
3. 以 Disallow 項為開頭的連結是不允許百度爬蟲引擎訪問的。例如，Disallow：/product/ 不允許百度爬蟲引擎訪問 /product/12345.com 等。

​最後一行，Disallow：/ 表示禁止百度爬蟲訪問除了Allow規定頁面外的其他所有頁面。百度作為一個搜尋引擎，良好地遵守了淘寶網的 robot.txt 協議。

網絡爬蟲的約束

除了上述Robots協議之外，我們使用網絡爬蟲的時候還要對自己進行約束：過於快速或者頻密的網絡爬蟲都會對伺服器產生巨大的壓力，網站可能封鎖你的IP，甚至採取進一步的法律行動。因此，你需要約束自己的網絡爬蟲行為，將請求的速度限定在一個合理的範圍之內。簡而言之，如果你因為爬取數據導致人家伺服器宕機，你就惹禍上身了……

爬蟲實戰

進入正題之前通過一張圖來簡要了解下爬蟲的工作過程：

​
下面將演示如何藉助 Python 爬蟲爬取CSDN排行榜Top 100的大佬們的數據信息，保存到本地 Excel 文件進行膜拜。

網頁分析

訪問本次爬取目標——CSDN博客排行榜：https://blog.csdn.net/rank/writing_rank：

​
抓包分析：

​
發現返回排行榜用戶信息（每次返回一頁10位）的API：

/api/WritingRank/weekList?username=weixin_39190897&page=1&size=10

• 1

具體數據包如下：

​
分析一下參數：

url： 從返回的json數據看，顯然該請求便是需要爬取的url，而不是最開始給的網址username: 這個表示你自己的用戶id，不帶的話就表示沒登入 （不帶也可以）page: 表示當前頁數，測試發現這個只能顯示Top100，也就最大10頁size: 表示每次每頁顯示的數據量，每次json包裡面只包括 10 個大佬的數據這裡面只有page會發生變化，所以我們只要一個循環，不斷的去構造這個網址就行了。

編寫代碼

1、初始化參數：

def __init__(self): self.ua = UserAgent().chrome self.url = &39; 39;Referer&39;https://blog.csdn.net/weixin_39190897&34;Upgrade-Insecure-Requests&34;1&39;User-Agent& 配置保存表格的基本 self.workbook = Workbook() self.sheet = self.workbook.active self.sheet.title = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; def __params(self, offset): self.offset = offset &34;&34;&34; self.params = { &34;: &34;, &34;: str(self.offset), &34;: &34; }

2、爬取網址：

def spider(self): &34;&34;&34; for i in range(1, 11): self.__params(i) url = self.url + urlencode(self.params) r = requests.get(url, headers=self.header) if r.status_code == 200: r.encoding = r.apparent_encoding yield r.json() else: print(&39; + r.status_code) time.sleep(0.5)

3、分析json包：

def parse_json(self, r_json): &34;&34;&34; 39;data& 第二層 list_data = first_data.get(&39;) if list_data: 34;ranking&39;avatar&39;user_nickname& 用戶名 username = i.get(&39;) 39;fans_num& 粉絲 fav_num = i.get(&39;) 39;last_ranking& 上周排名 leave = i.get(&39;).get(&39;) 這裡保存數據 只是為了方便轉換其他保存格式 僅僅是保存excel中用到列表 yield { &39;: rank, &39;: user_nickname, &39;: head_image, &39;: &39; + username, &39;: fans_num, &39;: fav_num, &39;: last_rank, &39;: leave }

4、下載保存excel表格

def down(self, item): &34;&34;&34; now_time = time.strftime(&39;, time.localtime()) -*- coding : utf-8 -*-import requestsfrom urllib.parse import urlencodefrom fake_useragent import UserAgentimport timefrom openpyxl import Workbookclass CSDNSpider(object): &34;&39;https://blog.csdn.net/rank/writing_rank&34;&34; def __init__(self): self.ua = UserAgent().chrome self.url = &39; 39;Referer&39;https://blog.csdn.net/weixin_39190897&34;Upgrade-Insecure-Requests&34;1&39;User-Agent& 配置保存表格的基本 self.workbook = Workbook() self.sheet = self.workbook.active self.sheet.title = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; self.sheet[&39;] = &39; def __params(self, offset): self.offset = offset &34;&34;&34; self.params = { &34;: &34;, &34;: str(self.offset), &34;: &34; } def spider(self): &34;&34;&34; for i in range(1, 11): self.__params(i) url = self.url + urlencode(self.params) r = requests.get(url, headers=self.header) if r.status_code == 200: r.encoding = r.apparent_encoding yield r.json() else: print(&39; + r.status_code) time.sleep(0.5) def parse_json(self, r_json): &34;&34;&34; 39;data& 第二層 list_data = first_data.get(&39;) if list_data: 34;ranking&39;avatar&39;user_nickname& 用戶名 username = i.get(&39;) 39;fans_num& 粉絲 fav_num = i.get(&39;) 39;last_ranking& 上周排名 leave = i.get(&39;).get(&39;) 這裡保存數據 只是為了方便轉換其他保存格式 僅僅是保存excel中用到列表 yield { &39;: rank, &39;: user_nickname, &39;: head_image, &39;: &39; + username, &39;: fans_num, &39;: fav_num, &39;: last_rank, &39;: leave } def down(self, item): &34;&34;&34; now_time = time.strftime(&39;, time.localtime()) leave_list = [] for value in item.values(): leave_list.append(value) leave_list.append(now_time) self.sheet.append(leave_list) def main(self): &34;&34;&34; print(&39;) for content in self.spider(): for item in self.parse_json(content): self.down(item) self.workbook.save(filename=&39;) self.workbook.close() print(&39;)a = CSDNSpider()a.main()

此處代碼中出現使用了 yield 的函數，屬於Python生成器（generator），跟普通函數不同的是，生成器是一個返回迭代器的函數，只能用於迭代操作，更簡單點理解生成器就是一個迭代器。

在調用生成器運行的過程中，每次遇到 yield 時函數會暫停並保存當前所有的運行信息，返回 yield 的值, 並在下一次執行 next() 方法時從當前位置繼續運行。調用一個生成器函數，返回的是一個迭代器對象。

更多 yield 關鍵詞的理解可參考：python中yield的用法詳解——最簡單，最清晰的解釋。

運行效果

在Pycharm中運行腳本：

​
腳本運行成功後在項目工程目錄下自動生成 CSDNTop100.xlsx 文件：

​
最後就是見證奇蹟的時刻，打開瞅瞅：

​

反爬技術

1、通過user-agent來控制訪問

user-agent 能夠使伺服器識別出用戶的作業系統及版本、cpu類型、瀏覽器類型和版本。很多網站會設置 user-agent 白名單，只有在白名單範圍內的請求才能正常訪問。所以在我們的爬蟲代碼中需要設置 user-agent 偽裝成一個瀏覽器請求。有時候伺服器還可能會校驗 Referer，所以還可能需要設置 Referer (用來表示此時的請求是從哪個頁面連結過來的)。

39;Host&39;https://blog.csdn.net&39;Referer&39;https://blog.csdn.net/weixin_43499626/article/details/85875090&39;User-Agent&39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36&34;http://www.baidu.com&34;http&34;http://119.101.125.56&34;https&34;http://119.101.125.1&34;http://www.baidu.com", proxies=random.choices(proxies))

3、通過前端參數加密

某些網站可能會將參數進行某些加密，或者對參數進行拼接發送給伺服器，以此來達到反爬蟲的目的。這個時候我們可以試圖通過js代碼，查看破解的辦法。這裡就要請出一個大殺器：」PhantomJS「。PhantomJS是一個Python包，他可以在沒有圖形界面的情況下，完全模擬一個」瀏覽器「，js腳本驗證什麼的再也不是問題了。

4、通過robots.txt來限制爬蟲

robots.txt是一個限制爬蟲的規範，該文件是用來聲明哪些東西不能被爬取。如果根目錄存在該文件，爬蟲就會按照文件的內容來爬取指定的範圍。但是這實際上只是一個」君子協議「，遵守與否，都在於爬蟲的編寫者。