風鈴蟲 1.2.0 發布了,新增腳本提取功能

2020-12-27 開源中國

風鈴蟲是一款輕量級的高效爬蟲工具，配置簡單，方便二次開發，能抓取js渲染的網頁，可以抓取任何數據，支持保存網頁快照，智能防封殺，天然適合分布式。

作為疫情之後第一次更新的版本，風鈴蟲本次更新功能較多，新增了通過腳本自定義數據提取功能，使得提取功能更加強大。

同時，為了普通用戶更好的進行內容頁判斷，本次優化了內容頁確認機制，可以更加方便的決定哪些頁面的數據需要抓取，進一步提升抓取效率。

本次更新內容如下：

1 增加腳本提取策略，支持通過js腳本從下載的網頁中個提取出符合要求的數據信息
2 增加內容頁匹配規則和內容頁過濾器，內容頁選擇方式更靈活
3 優化代碼風格，規範代碼，使之更符合阿里開發規約
4 優化模擬測試接口，增加內容提取測試、連結提取、網頁下載、內容頁規則測試接口
5 優化內容頁處理策略，提升內容頁處理性能
6 優化事件監聽接口，對處理細節更加瞭然入心
7 其他一些優化

源碼地址： https://gitee.com/zhiyubujian/wind-bell
API文檔： https://apidoc.gitee.com/zhiyubujian/wind-bell/

相關焦點

  • 新增系統監控功能,JumpServer堡壘機v2.6.0發布
    12月21日，JumpServer開源堡壘機正式發布v2.6.0版本。該版本的新增功能包括：新增系統監控功能，方便監控各個組件健康狀態；支持通過Excel文件對資源進行導入/導出；支持手動修改資產信息配置；支持對指定資產進行批量推送系統用戶；以及統一社區版和企業版Release包。
  • 若依後臺管理系統 1.1.2 發布,新增多項功能
    若依管理系統 v1.1.2 已發布，更新日誌：1、新增個人信息修改2、菜單存在子菜單不允許刪除3、菜單分配角色不允許刪除4、角色分配人員不允許刪除
  • 新增12項功能 理想ONE發布2.0版本OTA
    [愛卡汽車國內新車原創] 我們從官方獲悉，理想汽車將從12月26日起按照提車順序推送OTA 2.0版。本次OTA 2.0版是理想車主參與內測人數最多的一個版本，超過300位車主進行重度內測。本次升級將增加12項新功能，並對12項功能進行優化升級。
  • clever-nashorn 第一個版本(0.0.1-SNAPSHOT)發布
    2019-11-11 0.0.1-SNAPSHOT[發布第一個版本] WEB IDE 功能 腳本文件管理(新刪查改) 腳本內容編輯(代碼高亮、只能提示、快捷鍵支持
  • zuihou-admin-cloud 2.1 發布,租戶模式支持動態新增數據源 - OS...
    今日更新日誌:新增：1. 新增認證服務（zuihou-oauth-server：負責登錄、獲取用戶所有權限、資源、菜單等功能）2.
  • 華為AR地圖1.1.0.300更新 新增熱門地點評論功能
    原標題：華為 AR 地圖 1.1.0.300 更新：新增支持 Mate30 系列，開放測試陸家嘴小區域 　　9月22日消息 華為 AR 地圖現已更新至 1.1.0.300 版本，新增熱門地點評論功能，優化主頁圖標視覺設計與熱點介紹頁面，並開放測試陸家嘴小區域。
  • 小說精品屋 v2.1.0 發布,小說閱讀彈幕網站
    小說精品屋-小說閱讀彈幕網站 v2.1.0版本發布了，主要改進包括：更新 集成爬蟲運行腳本，簡化安裝過程。
  • QQ for Mac 6.7.0正式版發布 新增了息設為已讀/未讀功能
    9月初，QQ for Mac 6.6.9發布，新增了消息設為已讀/未讀的能力，截圖過程中支持複製RGB色值。 　　時隔一個多月，QQ for Mac又迎來了小版本更新，官方發布了QQ for Mac 6.7.0版。
  • PyTorch 1.0 穩定版正式發布!
    昨天，在 NeurIPS 大會上，Facebook 正式發布 PyTorch 1.0 穩定版！這距離 PyTorch 1.0 預覽版發布僅僅過去了兩個月。PyTorch 1.0 預覽版首次發布是在 10 月份的 PyTorch 開發者大會，新增了面向生產的特徵和主要雲平臺的支持等功能，被認為 90% 的功能能經受住業界的考驗。
  • 美樂威發布Capture Express V3.2,新增SRT推流功能
    Capture Express最初旨在幫助用戶輕鬆檢測輸入信號和採集設備狀態，現已發展成為一個簡單且功能強大的採集應用程式，支持錄製解析度高達4K60。 　　美樂威 今天發布了其免費的Capture Express 錄製軟體的新版本，擴展了該軟體的推流直播功能。3.2版本新增了對多種流媒體技術的支持，包括由Haivision開發的SRT開源協議。
  • zuihou-admin-cloud 1.8 發布,支持 Cloud Alibaba 2.2.0
    今日更新日誌:1. 升級 Alibaba Cloud 2.2.0.RELEASE2. 修復 數據自動注入器 注入遠程調用的數據類型擦除的bug3.
  • Cocos Creator 1.0 正式版發布 讓高效開發觸手可及
    閒話少說，咱們快來一起看看新版本中的新增功能和重要功能變化！Cocos Creator 1.0版在我們設定的開發計劃中，主要的目標包括：  ● 更友好的代碼開發環境  ● 可靠的原生開發和發布工作流程  ● 新 UI 控制項：文本框和網格式布局  ● 骨骼動畫和瓦片地圖支持
  • 新增12項功能 理想汽車將OTA 2.0版系統
    新增12項功能 理想汽車將OTA 2.0版系統 　　[汽車之家 新能源]  日前，我們從官方獲悉，理想汽車將於2020年12月26日起按照提車順序推送OTA 2.0
  • 百度網盤PC版7.0.6發布:新增文檔大圖視圖模式
    日前，百度網盤PC版迎來了最新的7.0.6版本，在這個版本中，百度網盤帶來了一個很實用的新功能，新增了文檔的大圖視圖模式。文檔大圖視圖模式可以方便用戶快速找到文檔，尤其是文檔很多的時候，該功能會讓人省心很多。於此同時，百度網盤Android版也迎來了11.2.4更新，不過沒有新功能，只是修復了一些已知問題。
  • NUKE12.1和12.0最全的新功能匯總大集合來啦!本周直播繼續!
    Hiero Player新實例的啟動速度在Windows和MacOs系統上已獲得了1.2倍的提升，在內部測試的Linux系統上更是獲得了1.5倍的提升。在Nuke 12.1系列中，Nuke及Nuke X都新增了將Hiero Player用作手翻書工具的選項，從而讓藝術家在比較不同版本的作品時擁有了更多控制。
  • 若依後臺管理系統 3.1 發布,新增多項功能
    若依管理系統 v3.1 已發布，更新日誌：1、新增內網不獲取IP位址2、新增cron表達式有效校驗3、定時任務新增詳細信息4、定時任務默認策略修改（不觸發立即執行
  • Pear Admin Boot 1.2.0.Release 正式發布,新增頭像上傳,環境監控
    Pear Admin Boot 1.2.0.Release 版本演示地址： 前往官網地址： 前往更新內容[新增] 新增個人資料頁面，用戶頭像上傳功能
  • Google Web Design 10.0發布:新增4項功能
    Google Web Design 10.0 今天正式發布。它是適用於 Windows、Mac 和 Linux 的 HTML5 內容生成工具，憑藉著用戶友好性和豐富的輔助功能，而成為各種 Web 內容的首選。 Google Web Design 10.0.0.1123 版本新增了 4 個方面的功能，並修正了 12 個問題。
  • Cocos Creator v2.1.2 正式發布
    自 Cocos Creator 2.1.0 發布之後，經過半年的更新迭代，版本已經趨於穩定，目前 2.1 的新增用戶已經佔據主流。
  • 推薦幾款超級實用的腳本,實現很多瀏覽器無法實現的功能
    但凡玩過Chrome的小夥伴，大多聽說過油猴腳本，除了能夠帶給我們更好的瀏覽體驗外，它也可以實現很多瀏覽器無法實現的功能。今天小編就給大家推薦幾款超級實用的油猴腳本，試過後，相信你一定會喜歡上它的!