Python爬取某個18禁網站的電影資源

2021-02-14 Python學習交流

最近在想著爬一些有趣的網站，豆瓣淘寶京東，這些網站大多都被爬爛了，然後就想著爬點簡單點的，例如某色網站啥的是吧，男生一般都會有幾個自己知道的網站，不過這裡就不討論細節問題了，直接擼代碼。

開發環境： python3.6.1+window64+idea14使用到的第三方庫：pymysql xlrd xlwt xlutils beautifulsoup requests

聲明一個爬蟲類Crawer，requests負責抓取目標網頁信息

獲取到目標信息後，使用beautifulsoup解析

判斷添加到資料庫，這裡我們只添加到xls，最終文件想要的私聊

現在寫requests爬取數據：

我們把保存數據的操作寫了，最後再把涉及到html解析的部分補上來。。

最後就到獲取到的html解析過程了：
使用谷歌瀏覽器F12-右鍵目標html代碼-copy-選擇copy selector，會得到目標代碼的html相對位置信息
body > div:nth-child(10) > div > ul > li:nth-child(1) > li
根據這些數據來進行beautifulsoup定位


okay，寫完，我是不會告訴你們網址的。。。23333333


作者：MarcoHorse 

源自：http://www.jianshu.com/p/b39e58dbde46

聲明：文章著作權歸作者所有，如有侵權，請聯繫小編刪除

相關焦點

  • python爬蟲實戰:爬取全站小說排行榜
    新筆趣閣是廣大書友最值得收藏的網絡小說閱讀網,網站收錄了當前.我就不打廣告了（其他滿足下文條件的網站也行，之前已經有做過簡單爬取章節的先例了，但效果不太理想，有很多不需要的成分被留下了，來連結：http://python.jobbole.com
  • python爬蟲教程,爬取貓眼電影 ,一網打盡好電影
    點擊藍字「python
  • python爬取44130條用戶觀影數據,分析挖掘用戶與電影之間的隱藏信息!
    明天就是大年初一，很多電影也上映，看電影前很多人都喜歡去『豆瓣』看影評，所以我爬取44130條『豆瓣』的用戶觀影數據，分析用戶之間的關係，電影之間的聯繫，以及用戶和電影之間爬取用戶的觀影記錄上一步爬取到『用戶名稱』，接著爬取用戶觀影記錄需要用到『用戶名稱』。
  • 手把手教你用Python爬中國電影票房數據
    DataFrame：DataFrame可以簡單理解為Excel裡的表格格式。list的方式順序排列，所以，迭代出的結果順序很可能不是每次都一樣。如果要迭代value，可以用for value in d.values()，如果要同時#迭代key和value，可以用for k, v in d.items()可以看到，字典裡的人名被一一列印出來了。for 函數的作用就是用於遍歷數據。掌握for函數，可以說是真正入門了Python函數。
  • Python爬取視頻之日本愛情電影(嘿嘿嘿)
    環境 & 依賴Win10 64bit IDE: PyCharm Python 3.6 python-site-packegs: requests + BeautifulSoup + lxml + re + m3u8在已經安裝pip的環境下均可直接命令行安裝網站解析
  • python為什麼叫爬蟲?為啥那麼多人通過python兼職都能掙不少錢?
    Python能做什麼之前有很多文章介紹python能做什麼。今天介紹python爬蟲的學習。網絡爬蟲 網絡爬蟲，也叫網絡蜘蛛(Web Spider)。爬蟲是根據網頁地址(URL)爬取網頁上的內容，這裡說的網頁地址(URL)就是我們在瀏覽器中輸入的網站連結。例如：https://www.baidu.com/，這就是一個URL。
  • Python爬取視頻之愛情電影及解密TS文件和兩種合併ts
    so結合興趣的學習才能事半功倍，更加努力專心，apparently本次任務是在視頻網站爬取一些好看的小電影，地址不放（狗頭保命）只記錄過程。實現功能：從網站上爬取採用m3u8分段方式的視頻文件，對加密的 "ts"文件解密，實現兩種方式合併"ts"文件，為防止IP被封，使用代理，最後刪除臨時文件。
  • Python爬取冰冰B站評論
    Python爬取 ==冰冰== 第一條B站視頻的千條評論，繪製詞雲圖，看看大家說了什麼吧醬醬醬，那就開始吧==B站當日彈幕獲取== 冰冰B站視頻彈幕爬取原理解析在這裡插入圖片描述解析數據大家可以將獲取的json 接下來就是正式的爬取工作了，和爬取百度圖片原理一樣，自己試試吧。
  • 人生苦短,我用Python
    響應請求返回數據使用java來做，而爬取數據存入資料庫使用python來做，這樣分別使用不同語言來做是因為這兩種語言各有優勢，java效率比python高些，適合做web端，而爬取數據並不是太追求性能且python語言和大量的庫適合做爬蟲。
  • 我用Python爬取美食網站3032個菜譜並分析,真香!
    於是，J哥默默打開了各大美食網站，如豆果美食、下廚房、美食天下等。經過甄選，最終爬取了豆果網最新發布的中國菜系共3032個菜譜，然後清洗數據並做可視化分析，試圖走上美食博主的康莊大道。豆果美食網的數據爬取比較簡單，如果您對爬蟲感興趣，可查看J哥往期原創文章「實戰|手把手教你用Python爬蟲(附詳細源碼)」，思路一致。
  • 手把手教你打造屬於自己的電影網站
    俗話說，巧婦難為無米之炊，再牛逼的爬蟲程序如果沒有好的數據來源，也爬不到有價值的數據。因此選擇一個好的資源網站至關重要。這裡我們選擇的是電影天堂和陽光電影兩個特別良心的網站。這兩個網站上有大量的高清視頻資源，每部電影都配有詳細的信息，包括演員，導演，年代，類型，豆瓣評分，視頻截圖等，最重要的是附有迅雷下載連結，可以說是非常良心了。但是這個網站經常會有一些廣告（廣告是主要的主要的收入來源），當你在點擊某個連結的時候，會首先給你彈出一個新頁面，裡面嵌入的就是廣告資源，然後你再次點擊，才能進入到下一個頁面。
  • Python爬蟲學習:抓取電影網站內容的爬蟲
    實現思路：抓取一個電影網站中的所有電影的思路如下：根據一個URL得到電影網站的所有分類得到每個分類中的電影的頁數根據其電影分類的URL規律構造每個分類中每個頁面的URL分析每個頁面中的html，並用正則把電影信息過濾出來準備工作：
  • 用python實現一個豆瓣通用爬蟲(登陸、爬取、可視化分析)
    然而我所在的組剛好遇到的是python爬蟲的小課題。心想這不是很簡單嘛，搞啥呢？想著去搞新的時間精力可能不太夠，索性自己就把豆瓣電影的評論(短評)搞一搞吧。之前有寫過哪吒那篇類似的，但今天這篇要寫的像姨母般詳細。本篇主要實現的是對任意一部電影短評(熱門)的抓取以及可視化分析。
  • python爬蟲—豆瓣電影top250及數據可視化!
    豆瓣電影top250榜單想必大家都不陌生，上榜的電影都是經過時間的沉澱留下來比較經典。本次教程就是利用requests庫實現對於top250榜單電影數據爬取，並對爬取的數據繪製圖表進行可視化，做簡單的數據分析。文章將分為兩個部分：top250數據爬蟲和數據可視化。
  • 用Python爬取糗事百科段子,可視化後結果發現
    selenium爬取段子信息這次我們利用selenium來實現翻頁爬取段子信息！openpyxl.Workbook()sheet = wb.activesheet.append(['段子內容', '好笑數', '評論數'])logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')chrome_driver = r'D:\python
  • 付費的知識星球要過期了,python 教你怎麼辦
    python 爬蟲的常用技巧總結，帶你輕鬆入門，今天補上一篇實戰指南，爬取知識星球裡某個星球的所有數據當然，本篇文章需要你有一點 python 基礎，如果沒有的話，建議你先收藏，去找一些教程學習一下這門工具人語言。好了，廢話不多說，馬上開始。首先，導入所需要的包：
  • 多種方法爬取貓眼電影並分析(附代碼)
    想深入了解一些比較有意思的信息，比如：哪部電影的評分最高？哪位演員的作品數量最多？哪個國家/地區上榜的電影數量最多？哪一年上榜的電影作品最多等。，gropup()則返回所有結果2013-12-18(，group(1)返回'（'。接下來，修改main()函數來輸出爬取的內容： 1def main(): 2    url = 'http://maoyan.com/board/4?
  • python能做什麼
    python能做什麼?書聲琅琅Python培訓老師介紹，最近許多的朋友諮詢，聽說python很火，甚至可以超越JAVA，因此很想學這個python，但是不知道python能做什麼，能完成一些什麼項目呢?針對這個問題，今天徐老師跟大家來聊一聊python能做什麼的話題。
  • 2017年Python中文社區公眾號十大熱門文章
    去年上映的《羞羞的鐵拳》可謂是票房大豐收啊，作者通過豆瓣爬蟲數據對電影評論做了情感分析。文章介紹如何不利用第三方庫，僅用python自帶的標準庫來構造一個決策樹。用 Python分析胡歌的《獵場》到底值不值得看？