你是如何用python寫下第一個爬蟲的？

大家好，我是鳥哥，今天不聊技術，主要想給大家分享一下我在第一次python爬蟲之前的學習經歷，因為最近總是有朋友在問我到底怎麼才能快速入門python爬蟲，希望我的經歷能給初學者點啟發。

從接觸python到現在，也有三四年了，雖然算不上大牛，但也大大小小完成了數百個小項目，中間曾走過一些彎路，也曾有過迷茫，不過我感覺這些都是初學者的必經之路，畢竟學習總是痛苦的。

在我看來，python爬蟲入門少不了以下4個階段：

你要記住，沒有哪一門程式語言是輕輕鬆鬆就能學會的，雖然python相對簡單，但是也要下點功夫。

下面根據上圖詳細介紹一下我學習過程的4個階段：

1.初識python基礎

初次聽說python，是在大學的某次講座上，1位學長在講臺上侃侃而談，說他怎麼用python完成微信跳一跳的自動化測試腳本逗女朋友開心。說實話當時我心裡羨慕極了，暗暗下定決心要學習python。

我的第一本學習資料是《python編程：從入門到實踐》：

感覺這本書很適合小白學習，它的第一部分從淺入深講解了python的基礎知識，從python的安裝到最終代碼的測試，非常簡單易懂，而且容易上手

作為小白中的小白，我連編輯器是什麼都不知道，就靠python自帶的IDLE敲完了整本書的代碼（真的是一行一行的敲的），耗時1個月，硬啃下python的基礎知識部分

（ps：現在覺得邊學邊敲代碼是很有用的，因為單看書的效果是不太好的，最重要的是動手實踐，只有實踐了，才會發現自己哪裡容易出錯，才會讓自己越學越有底氣）

學完後，已經能夠用python做1些簡單的題目，例如做個猜數字的小遊戲啊、計算少量的數據啊，但是整體還處於迷茫的狀態，不知道下一步還能幹些什麼。

2.鞏固基礎知識

學python的人對下面這張圖都不陌生，這就是經典的python遊戲《飛機大戰》

這是我第一個完成的python項目，也是對著書本一點一點敲的，雖然過程比較懵逼，但是當最後遊戲動起來的時候，內心還是非常興奮的，到處炫耀，開心的像個200斤的胖子。

其實寫這種遊戲項目對鞏固基礎知識是很有用的，雖然你敲代碼的時候很難受，因為有很多不懂的地方，但是這在無形之中提高了你的編程能力，能幫助你系統地鞏固之前學習的基礎知識。

建議剛入門python的朋友可以試一下，當然也可以採取其他方式練手。

3.學習爬蟲的基礎知識

上面3方面知識是你在學習爬蟲之前必須要了解掌握的，並不需要學的很深，如果僅僅為了入門爬蟲，只需了解個大概就行，後續真正搞懂爬蟲原理之後可以再深入學習一下。

學HTTP和HTML5是很有意思的，我當時學著學著差點想轉行。

4.開始第一個爬蟲

學完基礎知識後，我特意在網上找了一個簡單的爬蟲教學視頻，是爬貼吧美女圖片的，老師講的很詳細，主要用到requests和Beatifulsoup庫，然後再加上之前學的爬蟲基礎知識，按照以下步驟，很容易就搞定了：

這是我總結的入門爬蟲基本流程，看起來還是很簡單的，但是裡面還要很多知識要學，不過邁出第一步後面就好辦了。

我覺得爬蟲的精髓在於分析數據接口，這也是爬蟲最難的地方。簡單的爬蟲，例如靜態網頁，只需1個固定的url就可以獲取數據；但是難的爬蟲，它的url由各種加密的參數組成，爬這種網站不僅要學python，還要學習JavaScript逆向分析，因為這些參數都是通過它來加密的，後面更難的還有APP逆向分析，不過這些都是後話了。

好了，今天就先聊到這了，都是個人學習過程中的一些感悟，感覺對你有幫助的，請點個「在看」；若有不當之處，請在後臺留言或者加我溝通交流。​