回復「書籍」即可獲贈Python從入門到進階共10本電子書
今
日
雞
湯
沉舟側畔千帆過，病樹前頭萬木春。
有圖有真相，請上面三位獲獎的幸運者及時加我微信，在公眾號裡回復「學習」二字即可獲取加我微信的方式，時間截止到11月7日晚8點之前，逾期不候，非常感謝大家的積極參與。
言歸正傳，回到我們今天要學習的內容，主要是給大家普及一下深度優先算法的基本概念，詳情內容如下。
學過網站設計的小夥伴們都知道網站通常都是分層進行設計的，最上層的是頂級域名，之後是子域名，子域名下又有子域名等等，同時，每個子域名可能還會擁有多個同級域名，而且URL之間可能還有相互連結，千姿百態，由此構成一個複雜的網絡。
當一個網站的URL非常多的時候，我們務必要設計好URL，否則在後期的理解、維護或者開發過程中就會非常的混亂。理解以上的網頁結構設計之後，現在正式的引入網絡爬蟲中的深度優先算法。
上圖是一個二叉樹結構，通過對這個二叉樹的遍歷，來類比抓取網頁，加深對爬蟲策略的理解。深度優先算法的主要思想是首先從頂級域名A開始，之後從中提取出兩個連結B和C，待連結B抓取完成之後，下一個要抓取的連結則是D或者E，而不是說抓取完成連結B之後，立馬去抓取連結C。抓取完連結D之後，發現連結D中所有的URL已經被訪問過了，在這之前我們已經建立了一個被訪問過的URL列表，專門用於存儲被訪問過的URL。當連結D完全被抓取完成之後，接下來就會去抓取連結E。待連結E爬取完成之後，不會去爬取連結C，而是會繼續往下深入的去爬取連結I。原則就是連結會一步一步的往下爬，只要連結下還有子連結，且該子連結尚未被訪問過，這就是深度優先算法的主要思想。深度優先算法是讓爬蟲一步一步往下進行抓取完成之後，再一步一步退回來，優先考慮深度。理解好深度優先算法之後，再來看上圖，可以得到該二叉樹呈現的爬蟲抓取連結的順序依次為：A、B、D、E、I、C、F、G、H（這裡假設左邊的連結先會被爬取）。實際上，我們在做網絡爬蟲過程中，很多時候都是在用這種算法進行實現的，其實我們常用的Scrapy爬蟲框架默認也是用該算法來進行實現的。通過上面的理解，我們可以認為深度優先算法本質上是通過遞歸的方式來進行實現的。
下圖展示的是深度優先算法的代碼實現過程。
深度優先過程實際上是通過一種遞歸的方式來進行實現的。看上圖的代碼，首先定義一個函數，用於實現深度優先過程，然後傳入節點參數，如果該節點非空的話，則將其列印出來，可以類比一下二叉樹中的頂級點A。將節點列印完成之後，看看其是否存在左節點（連結B）和右節點（連結C），如果左節點非空的話，則將其進行返回，再次調用深度優先函數本身進行遞歸，得到新的左節點（連結D）和右節點（連結E），以此類推，直到所有的節點都被遍歷或者達到既定的條件才會停止。右節點的實現過程亦是如此，不再贅述。
深度優先過程通過遞歸的方式來進行實現，當遞歸不斷進行，沒有跳出遞歸或者遞歸太深的話，很容易出現棧溢出的情況，所以在實際應用的過程中要有這個意識。
深度優先算法和廣度優先算法是數據結構裡邊非常重要的一種算法結構，也是非常常用的一種算法，而且在面試過程中也是非常常見的一道面試題，所以建議大家都需要掌握它，下一篇文章我們將介紹廣度優先算法，敬請期待。
關於網絡爬蟲中深度優先算法的簡單介紹就到這裡了，小夥伴們get到木有咧？
--------- End ---------
看完本文有收穫？請轉發分享給更多的人
Python爬蟲與數據挖掘
Python、網絡爬蟲 、書籍、數據分析、機器學習、數據結構、
大數據、伺服器、Spark、Redis、C++、C、php、
mysql、java、Android、面試題、課堂、其他
老表說
歡迎大家點讚，留言，轉發，轉載，感謝大家的相伴與支持。
文末的廣告點一下也是小編先生的莫大支持噢~~~
做知識的傳播者，隨手轉發，Python進階者與您同行。