在抓取對方網站、APP 應用的相關數據時，經常會遇到一系列的方法阻止爬蟲。網站APP們這麼做的原因，一是為了保證服務的質量，降低伺服器負載，二是為了保護數據不被獲取。爬蟲與反爬蟲的鬥爭經久不衰，這裡神龍IP給大家分享一些常見的反爬蟲手段。
Python爬蟲和反爬蟲的dou'z
一、IP 限制
IP 限制是很常見的一種反爬蟲的方式。服務端在一定時間內統計 IP 地址的訪問次數，當次數、頻率達到一定閾值時返回錯誤碼或者拒絕服務。代理伺服器是爬蟲工具的基本武器，比像神龍IP這類優質的代理IP，既可以隱藏真實的訪問來源，又可以繞過大部分網站都會有的 IP 地址的訪問頻度的限制。
二、驗證碼
服務提供方在 IP 地址訪問次數達到一定數量後，通過返回驗證碼讓用戶進行驗證。驗證碼的存在形式非常多，有簡單的數字驗證碼、字母數字驗證碼、字符圖形驗證碼，網站也有用極驗驗證碼等基於用戶行為的驗證碼。
三、登錄限制
登錄限制是一種更加有效地保護數據的方式。網站或者 APP 展示一些基礎的數據，當需要訪問比較重要或者更多的數據時則要求用戶必須登錄。