前言
隨著手app的發展逐漸強大，我們手機應用每天的生活也是非常的多。那我們怎麼用python編程知道他的數據是怎麼形成的，通過電腦端如何爬取。相信大家也有這樣的問題。下面我將講解這些操作流程。
一、操作流程
首先我們要有
fidder4
夜神模擬器
pycharm
python3.0或以上版本
二、fidder4抓包
1.fidder配置
首先我們先下載fidder，
打開Fiddler，點擊Tools => Options 打開配置選項，切換到第二個標籤頁HTTPS，先在這裡打勾
然後就是點下面如圖所示的單選框，點擊Actions，運行第一個Trust Root Certificate。後面會有一個框，記得點擊確定。
打開Fiddler，點擊Tools => Options… 打開配置選項，切換到第三個標籤頁Connections，修改如圖所示的地方，埠號可任意修改，這裡使用我自定的9999，請記住自己設置的埠號，後面有需要使用的地方。
2.模擬器配置
我們為什麼使用模擬器，因為由於Fidder抓包，要在區域網環境下，我們大部分電腦都是以寬帶連接，所以我這裡就以模擬器講解抓包，後續我會更新一期fidder手機抓包。
這裡們先打模擬器，設置模擬器的代理。我們先查看自己的本機IP，通過cmd命令輸入ipconfig即可查看本機的ip，我的本機IP是192.168.1.2
這裡打開模擬器的設置，找到我們WLAN用點擊，我們看到我們的wifi,用滑鼠點擊時間長一點，它會出現設置的，下面我用視頻給大家看一下
我們本機ip進行代理哦
3.模擬器證書安裝
我們用模擬器打開瀏覽器，輸入我們本機ip加埠，就是 192.168.1.2:9999
點擊這個下載證書，下載完成後安裝證書，命名隨便命名。密碼自己要記錄。
上述如果都做成功了，應該就沒什麼問題了。
三、fidder4解析視頻網站
這是我們模擬器裡的app，app名字我會在下面評論發出。
這裡的所和上面的正好相對應，這裡相信我們大家都找到了，
我們可以把fidder抓包到的數據在這裡，這個是我們的數據網址
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1
我們通過模擬器視頻往下滑，可以知道它是分頁的，那樣會有好多小姐姐視頻哦，
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2
這裡就是第二頁的數據，這個時候就可以通過pycharm進行解析了。
pycharm編寫app代碼
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import requests
import json
def Demo(page):
url='https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'.format(page)
header={
'User-Agent':'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
}
response = requests.get(url,headers=header,verify=False).json()
data=response['content']['list'] #由於網站是json數據我們可以通過json解析，然後在進行數據的爬取
for i in data:
title =i['title'] #這裡爬取的是視頻標題
playurl=i['playurl'] #這裡是爬取的視頻的url
Video(title,playurl)
def Video(title,playurl):
header = {
'User-Agent': 'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
}
response = requests.get(playurl,headers=header,verify=False)
# 文件寫入異常機制
try:
#由於寫入可以會有點出錯，我們要加一個異常處理機制，這樣可以提高我們的程序性能。
with open('VIdeo/{}.mp4'.format(title),'ab') as f:
f.write(response.content)
except Exception as e:
print(e)
for i in range(1,11):
Demo(i)
總結
以上就是今天要講的內容，本文簡單的對fidder配置與模擬器的證書安裝，通過fidder監視app傳輸的數據進行解析，我們知道此網址有分頁功能 ，最後我們通過pycharm編寫程序，這些操作看似繁瑣，其實看懂了，就很簡單。
到此這篇關於Python爬蟲之App爬蟲視頻下載的實現的文章就介紹到這了,更多相關Python App爬蟲視頻下載內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以後多多點 在看 支持
也許是最全python資料！（文檔+項目+資料）私信關鍵詞「python」 和努力的人一起學習Java！