Python爬取豆瓣電影——Top250，威力之大

前言：

科技在不斷進步，人們需求也追求多樣化，尤其網際網路給我們的生活帶來了翻天覆地的變化，尤其Python，能讓我們的生活中的做事效率大幅提高。下面看看它的威力有多大？

爬取豆瓣電影Top250,在家看熱門電影而且不用會員充值

1. 解析數據
2. 我們需要使用BeautifulSoup這個功能模塊來把充滿尖括號的html數據變為更好用的格式。
3. from bs4 import BeautifulSoup這個是說從(from)bs4這個功能模塊中導入BeautifulSoup，是的，因為bs4中包含了多個模塊，BeautifulSoup只是其中一個。
4. soup = BeautifulSoup(html.text, 'html.parser')這句代碼就是說用html解析器(parser)來分析我們requests得到的html文字內容，soup就是我們解析出來的結果。
5. For循環
6. 豆瓣頁面上有25部電影，而我們需要抓取每部電影的標題、導演、年份等等信息。就是說我們要循環25次，操作每一部電影。for item in soup.find_all('div',"info"):就是這個意思。
7. 首先我們在豆瓣電影頁面任意電影標題【右鍵-檢查】（比如「肖申克的救贖」），打開Elements元素查看器。

有對Python感興趣的小夥伴？小編整理【一套Python電子文檔及源碼】，感興趣者可以關注小編後私信「Python」（是關注後私信哦）反正閒著也是閒著呢，不如學點東西啦

1. 獲取電影標題
2. title=item.div.a.span.string中item代表的是上面圖片中的整個div元素(class='info')，那麼它下一層（子層）div再下一層a再下一層span(class='title'的)裡面的文字「肖申克的救贖」就是我們需要的電影標題，所以是.div.a.span然後取內容.string

1. 獲取年份數字
2. 經過上面的處理，我們得到了乾淨的1994 / 美國 / 犯罪 劇情，我們只要截取前面4個數字就可以了，也就是從第0個字符截取到第4個字符之前（0，1，2，3），我們使用year=yearline[0:4]就可以實現。
3. 輸出和複製到excel
4. print(title,'\t',year)，中間的'\t'是制表符，我們可以直接滑鼠選擇output輸出的內容，右鍵複製，然後打開excel新建空白文件，然後選擇合適的表格區域範圍，【右鍵-選擇性粘貼】彈窗中選擇Unicode文本，就可以把數據粘貼到excel表格中。

3. 採集更多電影

上面代碼只是幫我們輸出第一頁25部電影信息，要採集第二頁可以把requests請求的連結地址更換一下html=requests.get('https://movie.douban.com/top250?start=25')，每頁25個遞增，第三頁就是start=50，以此類推。

最後把全部250個電影數據反覆10遍粘貼到Excel表格就可以了。

當然我們有更好的方法，比如利用for循環自動採集10個頁面的數據

4.生成統計數據

我們把採集到的數據粘貼到Excel文件中，最頂上插入一行【影片名、年份】

Excel數據

接下來我們利用這些數據研究一下哪些年盛產好電影。

如上圖，點擊B欄全選這一列。然後選擇【插入-數據透視表】

插入數據透視表

然後彈窗中選擇【新工作表】，其他保留默認，點確定。

拖拽到行

同樣再拖拽到值裡面。

拖拽到值

然後點擊表格裡面的【求和項：年份】，再點擊【欄位設置】，彈窗中選擇【計數】，然後確認，就能統計出每個年份上映的電影數量。

很多年份都是1或2，但表格滾動到下面就會看到1994、1995哪些年上映的電影比較多。

最終統計圖如下，可以清楚的看到全球最佳電影的年份分布情況，可以得到一些結論，比如上個世紀90年代初開始電影製作水平有了明顯的提升，至90年代中期以後，雖然一直處於較高水平，但沒有太大幅度的提高了；2010年貢獻了最多數量的好電影，此後至今的8年雖然佳片不斷（12年除外），但整體走低，2017年觀眾認可度達到最低點。

利用Python獲取了熱門電影可以觀看，自己也了解了網際網路知識辦公技能，做到了高效辦公，提高了工作效率。