爬蟲技術近幾年被炒得很火爆,爬蟲技術並不是什麼比較難的技術範疇。網絡中也存在很多的爬蟲教程和各種的爬蟲技術,今天給大家分享一個不一樣的爬蟲技術。我給他起一個名字:無感爬取(無感爬蟲)。我們做的爬蟲的時候很多都是能被對方感知到或者記錄到,但是無感爬蟲就不同。可以在對方沒有感知的情況下抓取對方的信息,這個不知道算不算黑科技?但是最起碼算是高科技吧!
我們正常的爬蟲都是通過:
訪問的一條連接,然後對連接上所有的內容獲取,不管是動態還是靜態的獲取方式。然後請求獲取各種的JS或者是css,然後將自己爬取的內容儲存起來。整個過程就是網絡爬蟲的過程。
那麼在這個過程中每次的請求都會有記錄或者說被記錄下來,這個時候對方如果不想讓你抓取這些內容你是不是就會因為記錄被拒絕訪問了。但是你可能聽過很多黑客或者是一些殺毒系統以及其他的機構自主研發的系統都會有在網絡中尋找東西的說法。還有就是我們可能聽過掃描器等等。
在網絡攻防中最為難以攻克的就是無症狀感染病毒,不留任何痕跡的訪問和爬取數據。對於現在來說網絡安全也是一直在解決和更深層次的預防病毒入侵,現在很多殺毒軟體都開始預防各種的偽裝爬蟲或者是爬蟲。但是對於爬蟲來說更加的隱蔽和更加的無感知成為熱捧。並且爬蟲的技術升級的速度遠比安防的要快很多。
以上一堆廢話講述了爬蟲的無感進化的內容和前因後果,現在正式分析下無感爬蟲。所謂的無感爬蟲可以分為4中情況:
1、低字節廣播式爬蟲
通過廣播式的傳輸去獲取內容,為了不讓服務端有感知採用的都是低字節傳輸。
2、無主訪問
通過網卡等硬體技術對對方進行無主訪問,發送的請求都是空請求。從而達到無感爬取。
3、動靜分離式
通過單數據組合字節返回值進行對無感爬取。
4、無署名協議訪問
通過底層協議修改的方式進行對數據訪問。
還有一些就不列舉了,這都不知道能不能給過了!思路比實際更重要,為了防止利用技術做壞事就不把詳細的做說明了!後續有需要會有測試版成品為大家分享!記得關注我以免走丟!