python 接入 百度AI 人臉識別 爬蟲 獲取美女圖片 並打分（先放一波福利）
想學習Python可以看評論區。
1 數據源知乎 話題『美女』下所有問題中回答所出現的圖片
2 抓取工具Python
3，並使用第三方庫 Requests、lxml、AipFace，代碼共 100 + 行3 必要環境Mac / Linux / Windows （後兩個沒測，理論上可以，注意文件名的處理），無需登錄知乎（即無需提供知乎帳號密碼），人臉檢測服務需要一個百度雲帳號（即百度網盤帳號）
4 人臉檢測庫AipFace，由百度雲 AI 開放平臺提供，是一個可以進行人臉檢測的 Python SDK。可以直接通過 HTTP 訪問，
5 檢測過濾條件過濾所有未出現人臉圖片（比如風景圖、未露臉身材照等）過濾所有非女性（在抓取中，發現知乎男性圖片基本是明星，故不考慮；存在 AipFace 性別識別不準的情況）過濾所有非真實人物，比如動漫人物 （AipFace Human 置信度小於 0.6）過濾所有顏值評分較低圖片（AipFace beauty 屬性小於 45，為了節省存儲空間；再次聲明，AipFace 評分無任何客觀性）
6 實現邏輯通過 Requests 發起 HTTP 請求，獲取『美女』下的部分討論列表通過 lxml 解析抓取到的每個討論中 HTML，獲取其中所有的 img 標籤相應的 src 屬性通過 Requests 發起 HTTP 請求，下載 src 屬性指向圖片（不考慮動圖）通過 AipFace 請求對圖片進行人臉檢測判斷是否檢測到人臉，並使用 『4 檢測過濾條件』過濾將過濾後的圖片持久化到本地文件系統，文件名為 顏值 + 作者 + 問題名 + 序號返回第一步，繼續
7 抓取結果 直接存放在文件夾中
8 運行準備
安裝 Python 3，Download Python
安裝 requests、lxml、 baidu-aip 庫，都可以通過 pip 安裝，一行命令
申請百度雲檢測服務，免費。人臉識別-百度AI
核心代碼：
#
2
3 import re
4 import os
5 import requests
6 import time
7
8 global PhotoNum
9 PhotoNum = 0
10 PWD = "E:/Python/ai2018-3-12/huaban/"
11 head = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
12 TimeOut = 30
13
14 url =
15 url_image =
16 urlNext =
17
18
19 def downfile(file, url):
20 print("開始下載：", file, url)
21 try:
22 r = requests.get(url, stream=True)
23 with open(file, 'wb') as fd:
24 for chunk in r.iter_content():
25 fd.write(chunk)
26 except Exception as e:
27 print("下載失敗了", e)
28
29
30 def requestpageText(url):
31 try:
32 Page = requests.session().get(url, headers=head, timeout=TimeOut)
33 Page.encoding = "utf-8"
34 return Page.text
35 except Exception as e:
36 print("聯網失敗了...重試中", e)
37 time.sleep(5)
38 print("暫停結束")
39 requestpageText(url)
40
41
42 def requestUrl(url):
43 global PhotoNum
44 print("*******************************************************************")
45 print("請求網址：", url)
46 text = requestpageText(url)
47 pattern = re.compile('{"pin_id":(d*?),.*?"key":"(.*?)",.*?"like_count":(d*?),.*?"repin_count":(d*?),.*?}', re.S)
48 items = re.findall(pattern, text)
49 print(items)
50 max_pin_id = 0
51 for item in items:
52 max_pin_id = item[0]
53 x_key = item[1]
54 x_like_count = int(item[2])
55 x_repin_count = int(item[3])
56 if (x_repin_count > 10 and x_like_count > 10) or x_repin_count > 100 or x_like_count > 20:
57 print("開始下載第{0}張圖片".format(PhotoNum))
58 url_item = url_image + x_key
59 filename = PWD + str(max_pin_id) + ".jpg"
60 if os.path.isfile(filename):
61 print("文件存在：", filename)
62 continue
63
64 downfile(filename, url_item)
65 PhotoNum += 1
66 requestUrl(urlNext + max_pin_id)
67
68
69 if not os.path.exists(PWD):
70 os.makedirs(PWD)
71 requestUrl(url)