Python現在非常火，語法簡單而且功能強大，很多同學都想學Python！所以小的給各位看官們準備了高價值Python學習視頻教程及相關電子版書籍，歡迎前來領取！
實現思路：
抓取一個電影網站中的所有電影的思路如下：
根據一個URL得到電影網站的所有分類
得到每個分類中的電影的頁數
根據其電影分類的URL規律構造每個分類中每個頁面的URL
分析每個頁面中的html，並用正則把電影信息過濾出來
準備工作：
安裝python（我用的是mac系統，默認的版本是Python 2.7.1 ）
安裝mongodb，從官網下載最新版本，然後啟動即可，注意如放在外網的話，要設定驗證密碼或綁定地址為127.0.0.1，否則黑客輕易就進去了
安裝BeautifulSoup和pymongo模塊
安裝一個python編輯器，我個人喜歡用sublime text2
編寫部分：
這次以騰訊視頻為例，其他視頻網站只是換一下正則表達式。
根據視頻所有分類的URL獲取網站中所有視頻分類
騰訊的所有視頻的URL為：http://v.qq.com/list/1_-1_-1_-1_1_0_0_20_0_-1_0.html
首先我們import urllib2包，封裝一個讀取url中html的方法，詳細代碼如下：
導入需要的模塊並定義全局變量：
# -*- coding: utf-8 -*-
import re
import urllib2
from bs4 import BeautifulSoup
import string
import pymongo
NUM = 0 #全局變量,電影數量
m_type = u'' #全局變量,電影類型
m_site = u'qq' #全局變量,電影網站
gethtml方法，傳入一個url，返回這個url的html內容：
#根據指定的URL獲取網頁內容
def gethtml(url):
req = urllib2.Request(url)
response = urllib2.urlopen(req)
html = response.read()
return html
然後查看這個URL的源碼文件，得知其電影分類的信息在<ul class="clearfix _group" gname="mi_type" gtype="1">標籤內部，每條電信分類的格式為：
<a _hot="tag.sub" href="http://v.qq.com/list/1_0_-1_-1_1_0_0_20_0_-1_0.html" title="動作" tvalue="0">動作</a>
ok，我們再寫一個gettags方法，將所有的電影分類及url存放於一個字典中，代碼如下：#從電影分類列表頁面獲取電影分類
def gettags(html):
global m_type
soup = BeautifulSoup(html) #過濾出分類內容
#print soup
#<ul gname="mi_type" gtype="1">
tags_all = soup.find_all('ul', {'class' : 'clearfix _group' , 'gname' : 'mi_type'})
#分離出包含電影分類信息的html，接下來用正則表達式過濾出來，只用(.+?)匹配我們興趣的欄位即可
#<a _hot="tag.sub" href="http://v.qq.com/list/1_0_-1_-1_1_0_0_20_0_-1_0.html" title="動作" tvalue="0">動作</a>
re_tags = r'<a _hot=\"tag\.sub\" class=\"_gtag _hotkey\" href=\"(.+?)\" title=\"(.+?)\" tvalue=\"(.+?)\">.+?</a>'
p = re.compile(re_tags, re.DOTALL)
tags = p.findall(str(tags_all[0]))
if tags:
tags_url = {}
#print tags
for tag in tags:
tag_url = tag[0].decode('utf-8')
#print tag_url
m_type = tag[1].decode('utf-8')
tags_url[m_type] = tag_url
else:
print "Not Find"
return tags_url
接下來用一個循環分類獲取每個分類下電影的頁數，代碼如下：
for url in tag_urls.items():
print str(url[1]).encode('utf-8') #,url[0]
maxpage = int(get_pages(str(url[1]).encode('utf-8')))
print maxpage
獲取每個分類中有多少頁電影的代碼如下：
#獲取每個分類的頁數
def get_pages(tag_url):
tag_html = gethtml(tag_url)
#divmod_pagenav" id="pager">
div_page = soup.find_all('div', {'class' : 'mod_pagenav', 'id' : 'pager'})
#print div_page #len(div_page), div_page[0]
#<a href="http://v.qq.com/list/1_2_-1_-1_1_0_24_20_0_-1_0.html" title="25"><span>25</span></a>
re_pages = r'<a class=.+?><span>(.+?)</span></a>'
p = re.compile(re_pages, re.DOTALL)
pages = p.findall(str(div_page[0]))
#print pages
if len(pages) > 1:
return pages[-2]
else:
return 1
然後在每個分類中，根據其URL的規律生成具體的每頁的URL，詳細代碼如下：
for url in tag_urls.items():
print str(url[1]).encode('utf-8') #,url[0]
maxpage = int(get_pages(str(url[1]).encode('utf-8')))
print maxpage
for x in range(0, maxpage):
#http://v.qq.com/list/1_0_-1_-1_1_0_0_20_0_-1_0.html
m_url = str(url[1]).replace('0_20_0_-1_0.html', '')
movie_url = "%s%d_20_0_-1_0.html" % (m_url, x)
print movie_url
movie_html = gethtml(movie_url.encode('utf-8'))
#print movie_html
getmovielist(movie_html)
getmovielist函數的作用是將每頁地址返回的html傳入，然後從中過濾出電影信息所在的html塊，詳細代碼如下：
def getmovielist(html):
soup = BeautifulSoup(html)
#<ul>
divs = soup.find_all('ul', {'class' : 'mod_list_pic_130'})
#print divs
for div_html in divs:
div_html = str(div_html).replace('\n', '')
#print div_html
getmovie(div_html)
將過濾出來的包含電影信息的html代碼塊傳入getmovie函數來分離出具體的電影信息併入庫，詳細代碼如下：
def getmovie(html):
global NUM #電影數量
global m_type #電影類型
global m_site #電影所在網站
#<h6> <a href="http://www.tudou.com/albumcover/Z7eF_40EL4I.html" target="_blank" title="徒步旅行隊">徒步旅行隊</a> </h6> <ul> <li>法國賣座喜劇片</li> <li> </li> </ul> </div> <div> <div> <h3>徒步旅行隊</h3> <div> <span>地區: 法國</span> <span>導演: </span> <span>年代: 2009</span> <span>類型: 喜劇</span> </div> <p>理察·達奇擁有一家小的旅遊公司，主要經營法國遊客到非洲大草原的旅遊服務。六個法國遊客決定參加理察·達奇組織的到非洲的一...</p>
re_movie = r'<li><a class=\"mod_poster_130\" href=\"(.+?)\" target=\"_blank\" title=\"(.+?)\"><img.+?</li>'
p = re.compile(re_movie, re.DOTALL)
movies = p.findall(html)
if movies:
conn = pymongo.Connection('localhost', 27017)
movie_db = conn.dianying
playlinks = movie_db.playlinks
#print movies
for movie in movies:
#print movie
NUM += 1
print "%s : %d" % ("=" * 70, NUM)
values = dict(
movie_title = movie[1],
movie_url = movie[0],
movie_site = m_site,
movie_type = m_type
)
print values
playlinks.insert(values)
print "_" * 70
NUM += 1
print "%s : %d" % ("=" * 70, NUM)
總結一下：爬蟲實現的原理就是通過對其網頁內容規律的觀察，然後分離出包含我們感興趣的html代碼塊，然後用正則表達式從將這些代碼塊中將想要的信息分離出來。
對Python開發技術感興趣的同學，歡迎加下方的交流群一起學習，相互討論。
學習python過程中有不懂的可以加入我的python零基礎系統學習交流秋秋qun：934109170，與你分享Python企業當下人才需求及怎麼從零基礎學習Python，和學習什麼內容。相關學習視頻資料、開發工具都有分享
好啦！文章就給看官們分享到這兒
最後，如果覺得有幫助，記得關注、轉發、收藏喲