從搜尋引擎的角度來看，網際網路上的網頁主要分為四類，即被抓取的網頁、被抓取的內容、可抓取的網頁和暗網。
四類網頁，熟悉網頁分類
顧名思義，爬網網頁是蜘蛛已經爬網的網頁內容。要爬網的網頁尚未爬網，但已進入等待列表。爬行是一個尚未被發現但已經存在的網頁。暗網是一個網頁，搜尋引擎無法通過自爬網找到一個連結，需要手動提交。
平時我們分析的頁面抓取主要是非黑網絡中的頁面抓取。每個搜尋引擎在黑暗的網絡抓取都有自己獨特的算法。我們不做太多分析。
搜尋引擎收錄有兩種主要策略，即廣度優先策略和深度優先策略。
大多數網頁除了有自己的連接外，還會有很多連結，如相關新聞、相關案例和其他詳細信息頁面的連結。當一個搜尋引擎訪問一個頁面時，頁面上的所有連結都將被存儲並按順序排列，然後遍歷並抓取發現的頁面，然後將新發現的URL放入存儲並按此邏輯排列等待抓取，抓取是廣度優先的策略。讓我們用圖片和文字來了解自己。
從搜尋引擎角度分析網頁蜘蛛抓取內容的類別與過程
根據頁面的一個連結，我們可以逐層抓取它，直到到達連結的末尾，然後返回到初始位置，以同樣的方式抓取其餘的連結，這是深度優先的策略。
無論是廣度優先還是深度優先，搜尋引擎只要有足夠的時間就可以捕獲所有的頁面，但搜尋引擎的抓取能量是優先的，這不能保證抓取頁面的全面性。由於搜尋引擎受到自身資源的限制，它們不能忽視獲取頁面優先級的問題。還有另外兩種搶奪策略。
判斷網頁的重要性，搜尋引擎主要從自身的質量和權重來判斷。另一個重要因素是導入連結的數量。例如，主頁的導入連結必須從頁數開始，因此主頁的優先級相對較高。
很明顯，大網站的優先權是一組搜索者對大網站有偏好，並且他們自己的權重相對較高。這裡的不僅在於PR，還在於信任。並不是說人的力量很大，而且權重也很高，搜尋引擎很喜歡。很多B2B網站的內容量很大，但是搜尋引擎不擅長抓取頁面內容，相對來說，一些比較好的網站可以有很好的主動性，所以新聞可以增加主動性，而且在發送到大戰的主頁時也可以實現二次接收。
總之，搜尋引擎的資源是有限的。在搜尋引擎資源有限的情況下，我們應該儘可能依靠外部連結來引導蜘蛛，提高網站的權重，這是seo搜尋引擎優化長期運行中很重要的事情。