Python 爬蟲進階必備 | 某體育網站登錄令牌加密分析(再送兩本!!)

2021-02-14 鹹魚學Python
某體育網站登錄令牌加密分析

aHR0cHMlM0EvL3d3dy55YWJvMjU5LmNvbS9sb2dpbg==

這個網站需要分析的是登錄時候的 sign令牌

抓包與加密定位

老規矩先用開發者工具抓包

這裡一般定位就是搜參數和xhr斷點會比較方便，但是使用這兩種都有他不方便的地方

搜參數這個方法直接搜加密的參數名會出現很多的結果，需要一個一個去分析，同樣也有局限性，比如參數是混淆的就搜不到了。

xhr斷點這個方法需要這個請求是xhr請求才行，而且斷上之後還需要一步步調試堆棧才能找到加密的位置，如果不小心漏了需要耐心重新分析。

這裡重提下在前面的文章，我提過一個思路，就是不要直接搜索加密的參數，可以搜索同一個請求提交的其他參數，一般參數提交的地方都是在一塊的

這裡實操一下，搜索nonce_str就只有一個結果，直接跟進即可

在定位出來的文件位置中再次檢索，直接就定位到加密的位置了

接下來打上斷點驗證看我們的分析是否準確

成功斷上，說明確實定位到了

分析加密

可以看到這裡的 sign 是由 d賦值的，而 d = o.a.hmac(t,u)

這裡需要知道的參數就是o 、t、u這三個

我們繼續分析這三個參數是怎麼出現的

s 的值是一串字符串

appKey=c97823e281c071c39e&domain=www.yabo259.com&name=xianyuplus&nonce_str=eovdlwvy4z&password=11111111111&timestamp=1596710251&uuid=web-Windows-45671c25c33d9e3ad2217c645cb1a48f&appSecurit=d77f7fcff637bc61bfb82fcbcd767bfa
這裡的參數都是請求提交上來的，之後做了一個 base64 的編碼
後面的t 也是傳入的d77f7fcff637bc61bfb82fcbcd767bfa
這裡就只剩一個o跟進去看就很明顯是一個hmacsha256
為了沿著我們可以網上找一個加密站測試下。
這是測試網站的加密結果
這是加密網站的加密結果
完全一樣，說明我們分析是沒有錯的，接下來直接使用 Python 複寫出來即可。
加密代碼：
import hmac
import hashlib

API_SECRET = 'd77f7fcff637bc61bfb82fcbcd767bfa'
message = 'YXBwS2V5PWM5NzgyM2UyODFjMDcxYzM5ZSZkb21haW49d3d3LnlhYm8yNTkuY29tJm5hbWU9eGlhbnl1cGx1cyZub25jZV9zdHI9aWpveHk0bjZ3OWMmcGFzc3dvcmQ9MTExMTExMTExMTEmdGltZXN0YW1wPTE1OTY3MTA5ODAmdXVpZD13ZWItV2luZG93cy00NTY3MWMyNWMzM2Q5ZTNhZDIyMTdjNjQ1Y2IxYTQ4ZiZhcHBTZWN1cml0PWQ3N2Y3ZmNmZjYzN2JjNjFiZmI4MmZjYmNkNzY3YmZh'

signature = hmac.new(bytes(API_SECRET, 'latin-1'), msg=bytes(message, 'latin-1'), digestmod=hashlib.sha256).hexdigest()
print(signature)

結果：d9106f11a865d57e31ae4a2250fc2bdc34bd4aea814585e0705f645c32be2e56
贈書
周一的贈書很多朋友說沒有抽中，所以這次又準備了兩本 Python 書籍，希望大家能夠喜歡。
現在可以參加京東活動，每滿 100 減 50
《Python 3.x網絡爬蟲從零基礎到項目實戰》介紹了如何使用Python來編寫網絡爬蟲程序，內容包括網絡爬蟲簡介、發送請求、提取數據、使用多個線程和進程進行並發抓取、抓取動態頁面中的內容、與表單進行交互、處理頁面中的驗證碼問題及使用Scrapy和分布式進行數據抓取，並在最後介紹了使用本書講解的數據抓取技術對幾個真實的網站進行抓取的實例，旨在幫助讀者活學活用書中介紹的技術。本書提供了與圖書內容全程同步的教學錄像。此外，還贈送了大量相關學習資料，以便讀者擴展學習。本書適合任何想學習Python爬蟲的讀者，無論您是否從事計算機相關專業，是否接觸過Python，均可以通過學習本書快速掌握Python爬蟲的開發方法和技巧。
《Python自動化測試實戰》本書的寫作初衷是為了幫助更多功能測試人員轉型自動化測試方向。在轉型過程中，主流自動化測試技術和應用場景的結合是非常重要的一環。本書從自動化測試理論入手，全面地闡述自動化測試的意義及實施過程。全文以Python語言驅動，結合真實案例分別對主流自動化測試工具Selenium、Robot Framework、Postman、Python+Requests、Appium等進行系統講解。通過學習本書，讀者可以快速掌握主流自動化測試技術，並幫助讀者豐富測試思維，提高Python編碼能力。
本書實用性強，不僅是轉型自動化測試方向的一本案頭書，也是一本特別好用、實用的操練手冊。
感謝贊助方：北京大學出版社
參與贈書：
好了，今天的內容到這裡就結束了，咱們下次再會~
Love & Share 
[ 完 ]

給個三連行不行？

相關焦點

  • Python網絡爬蟲
    Python網絡爬蟲第一篇（一）：為什麼要學習網絡爬蟲？大數據成為當今時代的熱門話題之一，在數據量爆發增長的網際網路時代，網站與用戶溝通實質為數據的交換。如果大量的數據得以分析，我們能夠對事件的看法，解決方案做出更好的決策。
  • 如何快速學會Python爬蟲(入門篇)
    Python爬蟲實戰二之爬取百度貼吧帖子3. Python爬蟲實戰三之實現山東大學無線網絡掉線自動重連4. Python爬蟲實戰四之抓取淘寶MM照片5. Python爬蟲實戰五之模擬登錄淘寶並獲取所有訂單6.
  • python爬蟲資源匯總 : 書單、網站博客、框架、工具、項目(附資源)
    代理ip檢測做爬蟲時，很多時候需要用到代理ip，此網站可以查看代理是否可用，代理ip的匿名程度，地點等信息。網址：https://distribute_crawler中國知網爬蟲，設置檢索條件後，執行src/CnkiSpider.py抓取數據，抓取數據存儲在/data目錄下，每個數據文件的第一行為欄位名稱。網址：https://CnkiSpider爬取北京地區鏈家歷年二手房成交記錄。涵蓋鏈家爬蟲一文的全部代碼，包括鏈家模擬登錄代碼。
  • 聊聊學python轉行、具體學習方法、自學python用於辦公、寫爬蟲等...
    一：關於轉行學python的情況之前有朋友看了我一篇關於用python爬蟲採集信息分析網際網路職位的文章，加我，然後問我說：學python數據分析能恰飯不？」然後我就問他說：「你說的恰飯是什麼意思呢？是找工作？還是自己做點東西？或者是接私活？」
  • Python破解反爬蟲:最新反爬蟲有道翻譯中英文互譯破解,附代碼
    由於爬蟲的出現，導致很多網頁都設置了反爬蟲機制：常見的反爬蟲機制就是在客戶端發出請求的時候，在請求的內容中新增一些內容，而這些內容都是經過「加密的」，每次請求都是不同的，這樣就導致了很多傳統的爬蟲失效。
  • Python爬蟲實戰 | 只需 「4步」 入門網絡爬蟲(有福利哦)
    根據上面的分析，我們可以把網絡爬蟲分為四步：獲取網頁數據解析網頁數據存儲網頁數據分析網頁數據第一步：獲取網頁數據獲取網頁數據，也就是通過網址（ URL：Uniform Resource Locator,統一資源 定位符），獲得網絡的數據，充當搜尋引擎。
  • 什麼是Python網絡爬蟲?看這篇清晰多了!
    根據上面的分析，我們可以把網絡爬蟲分為四步：獲取網頁數據解析網頁數據存儲網頁數據分析網頁數據第一步： 獲取網頁數據獲取網頁數據，也就是通過網址（ URL：Uniform Resource Locator,統一資源 定位符），獲得網絡的數據，充當搜尋引擎。
  • 簡單講解價值1K的Python爬蟲外包案例
    對於這個外包給予的網站信息，那麼我們就爬取選擇第一個吧獵聘網>，也就簡單實現，並不會進行打包處理，以及輸入關鍵字爬取，因為打包以及輸入關鍵詞爬取數據
  • Python實戰 | 只需 「4步」 入門網絡爬蟲
    網絡爬蟲也是獲取數據的一個途徑。對於大數據行業，數據的價值不言而喻，在這個信息爆炸的年代，網際網路上有太多的信息數據，對於中小微公司，合理利用爬蟲爬取有價值的數據，是彌補自身先天數據短板的不二選擇。根據上面的分析，我們可以把網絡爬蟲分為四步：獲取網頁數據解析網頁數據存儲網頁數據分析網頁數據第一步：獲取網頁數據獲取網頁數據，也就是通過網址（ URL：Uniform Resource Locator,統一資源 定位符），獲得網絡的數據，充當搜尋引擎。
  • 雲立方網科普:常用高效的Python爬蟲框架有哪些?
    Python是現在非常流行的程式語言，而爬蟲則是Python語言中最典型的應用，下面是總結的高效Python爬蟲框架，大家看看是否都用過呢。
  • 5分鐘快速學習掌握python爬蟲Beautifulsoup解析網頁
    python爬蟲用Beatifulsoup庫解析網頁提取所需元素新手看懂個人觀點：之前我們有講過爬蟲和網頁的一些聯繫，網頁的一些組成部分，爬蟲就是對網頁裡面的數據進行提取然後對其進行數據處理，篩選出所需部分，供需要者使用。
  • 乾貨|為大家總結了12個Python網絡爬蟲實戰項目,喜歡記得收藏!
    學習Python主要是爬取各種數據，進行數據分析，獲得各種有意思的東西。
  • 網絡營銷專員表示網絡營銷中設置不當會影響蜘蛛爬蟲對網站抓取
    在日常網站優化中如果想要網站擁有良好的網站排名，就要針對搜尋引擎的抓取習慣培養友好度和信任度，網站在運營優化中難免會發生因為一些細節問題影響蜘蛛爬蟲對網站正常抓取，那麼究竟哪些操作設置會影響蜘蛛爬蟲對網站的抓取呢？下面就針對該問題進行詳細分析，希望可以幫助到大家。
  • python戰反爬蟲:爬取貓眼電影數據 (二)
    CSDN博客：Suidaxia 微信名：世界上的霸主本文主要介紹破解反爬，可以先去上一篇觀看爬取無反爬內容python戰反爬蟲：爬取貓眼電影數據 (一）（https://blog.csdn.net/Sui_da_xia/article/details/105716242）前言：前一篇文章介紹了貓眼無反爬的內容，我就接著前一篇，接著為您爬取貓眼電影排行榜
  • Python爬蟲推薦用什麼框架呢?
    實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲，但最熱門的依然是Python，這是為什麼呢？因為Python有著非常豐富的第三方庫，確實很適合做爬蟲，簡單的幾行代碼便可實現你想要的功能，同時Python也是數據挖掘和分析的好能手。
  • 推薦四個網絡爬蟲抓包神器
    目前市面上比較不錯的網絡爬蟲抓包工具有Fiddler、charles、Anyproxy和mitmproxy等。有人可能會問，何為網絡爬蟲？首先，網絡爬蟲它是一種程序，它的樣子如同一個大蜘蛛.它將網絡上全部的連結和內容進行查索，建立相關的資料庫並引入。往往較好的爬蟲將會決定搜尋引擎的質量。CharlesCharles是一款macOS上的一款抓包分析工具之一。當然他也支持windows和linux。
  • 使用Scrapy網絡爬蟲框架小試牛刀
    前言這次咱們來玩一個在Python中很牛叉的爬蟲框架——Scrapy。scrapy 介紹標準介紹Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架，非常出名，非常強悍。所謂的框架就是一個已經被集成了各種功能（高性能異步下載，隊列，分布式，解析，持久化等）的具有很強通用性的項目模板。
  • Web登錄其實沒那麼簡單
    本文轉載自【微信公眾號：java進階架構師，ID:java_jiagoushi】經微信公眾號授權轉載，如需轉載與原文作者聯繫來源：cnblogs.com/letcafe/p/loginSecurity.html1.
  • Python程式設計師用文字加密方式,給女程式設計師寫情書,一周後牽手回家
    在某公司，有這樣一位Python程式設計師，我們叫他小福，由於性格比較內向，一直沒有女朋友，直到今年6月來了一位女程式設計師，莫名心動的小福，突發奇想，用文字加密的方式嘗試寫情書給那位女程式設計師，這樣即使情書被別人看到，或被拒絕了也不會丟面子。
  • 數據分析:R與Python怎麼選?
    更重要的是，Python不僅運用於後端計算服務和前端網頁開發，也同樣能處理數據分析、機器學習的問題，具有很強的擴展性和兼容性，你能想到的它幾乎都能做到，十分神奇。    R和Python 都是高級分析工具，各自都有眾多的簇擁者和強大的社區支持，在網絡爬蟲、數據加工、數據可視化、統計分析、機器學習、深度學習等領域都有豐富第三方包提供調用。