非法爬取簡歷、網貸、淘寶……還有啥信息不扒不賣

2020-12-13 網易科技

(原標題:非法爬取簡歷、網貸、 淘寶記錄……還有啥信息他們不扒不賣?)

名詞解釋:「爬蟲」

一種常見的數據捕獲技術,又被稱為網頁蜘蛛、網絡機器人,其按照一定的規則,自動從網際網路上提取網絡信息的程序或腳本。

二手交易平臺上不少商家出售所謂「大數據」信息採集服務,號稱「專業爬蟲」。

二手交易平臺上一賣家自稱「專業老手」,可代寫各類爬蟲軟體。

簡歷採集器設有城市、兼職崗位、性別、年齡和發布時間等篩選條件。 網站截圖

「全國各省市三百多行業數據信息採集」、「python爬蟲程序數據採集代寫軟體,專業老手,定製化服務」……在某二手交易平臺上,有不少提供所謂「大數據」採集信息定製業務的商家,聲稱可進行「專業爬蟲」、「各大網站數據採集、數據處理、數據分析」。還有不少商家在QQ群裡出售招聘網站簡歷採集器,可「無限量」導數據還幫忙介紹「客戶」。

南都記者調查發現,所謂大數據採集定製業務「火爆」的背後,隱藏著一條非法爬取用戶數據信息的黑色產業鏈——「專業老手」編寫爬蟲軟體、提供軟體定製服務、黑產團夥購買軟體批量生成「大數據」信息再轉手出售。業內專家指出,爬取數據信息存在法律風險,未經平臺授權的非法爬取行為可能構成侵權、違法甚至犯罪行為。

A

網貸、培訓信息、淘寶記錄……各行業數據定製可查

以「大數據信息採集」、「數據爬取」、「數據爬蟲」等為關鍵詞在某二手交易平臺上進行搜索,有很多提供所謂「大數據」採集信息服務的賣家。他們通常打著「數據爬蟲」、「數據採集」、「數據分析」的招牌,聲稱可進行「專業爬蟲」、爬取各大網站的數據信息,「只有你想要的,沒有我們做不到的」。

「全國各省市三百多行業數據信息採集」,二手平臺上一名賣家稱,可以爬取的數據信息範圍覆蓋美容美髮、餐飲美食、娛樂休閒、教育培訓、親子護理、各類學校、醫療保健、物流快遞、建材裝修、汽車數碼等多個行業,「49元/市/行業」,「拍下後留下郵箱,採集數據當晚11點前發」。

那麼,這些被爬取的「大數據」信息都包括哪些內容?該二手平臺上一位賣家告訴南都記者,爬取的信息包括各類網頁數據、公眾號網站、趕集58、鏈家、餓了麼等網站平臺的用戶個人信息,還有賣家稱可爬取淘寶買家、商家信息、個人網貸最新一手實時申請數據等。

南都記者了解到,根據採集數據的難易程度,售價也不盡相同。前述商家稱數據採集「基本版的100,普通版的200,高級版的300,如需製作客戶端軟體,費用另加」。交易平臺數據顯示,該商品近期已被瀏覽超過3000次,有多名網友在該商品下方留言,詢問是否有唯品會、拼多多買家、58同城應聘者電話、小區業主等信息數據,賣家則回復可以提供,還特別提到「簡歷420萬份,主要是中高端用戶」,並稱具體業務「私聊」。

南都記者發現,這些所謂提供「大數據」信息採集服務的賣家有的是個人、有的則是團隊化操作的工作室,有賣家稱這類數據採集在行業內業務需求量大,是「微商線上微信社群營銷必備數據資料」,可用於精準推廣、拓展客戶和商品營銷。

B

招聘網站上萬份簡歷被打包出售, 每份僅1.5元

不久前,智聯招聘「內鬼」私賣16萬份簡歷信息一案引發關注,南都記者近日調查發現,被洩露的個人簡歷被多層轉手出售,「黑市」上海量簡歷被打包出售,每份僅1.5元。以「簡歷售賣」、「簡歷下載」為關鍵詞在QQ群中搜索,就能找到多個出售58同城、智聯招聘等知名招聘網站的簡歷信息的QQ群,最大的群人數有上千人。而在貼吧、二手交易平臺上,有不少公開出售智聯招聘、58同城、BOSS直聘等招聘網站上個人簡歷的帖子。

「全國58簡曆日產5000+,可以篩選年齡篩選重複,還有純二手簡歷,可出視頻驗證,二手0.3元/條」,在一個名叫「58簡歷全國交流群」中,南都記者看到,群內不斷有人發布出售知名招聘網站簡歷實時一手、二手信息的帖子,有的賣家還在群內交流互換資源。群內信息顯示,該群群成員總計超過2000人,高峰期的在線人數超過700人。

南都記者隨機添加一名賣家為QQ好友,對方稱他有全國各行業各地區的簡歷信息,「所有簡歷信息都是當天實時更新」,還可以指定求職者年齡、性別、地區,售價2.2元/條,而二手的則更便宜,僅售0.3元/條。某二手交易平臺上一賣家稱他手上有上萬份簡歷,「58同城、智聯招聘、趕集網的都有」,每份簡歷售價1.5元,「全國隨機,不指定地區」,購買量大價格還可以再優惠。

南都記者了解到,這些公開售賣、明碼標價的個人信息,根據地域、行業類別的不同,簡歷的價格標準也不一樣。二手平臺上一名出售智聯招聘簡歷的賣家告訴南都記者,「北上廣都比較貴」、「北京地區每份簡歷要賣六七塊」。而除出售簡歷信息外,企業帳號也可以被當成商品出售或轉賣,有賣家告訴記者,購買企業帳號可以直接下載招聘網站求職者投遞的簡歷信息,「地區行業你說了算」。

當記者詢問購買簡歷的人拿這些個人信息去做什麼,賣家提高了警惕,回復稱「不管你拿去幹什麼」,還不耐煩地表示「不用跟我說這個」,隨後便把記者拉進了黑名單。

C

裁判文書網、知網數據也被爬 最低0.1元/條

南都記者注意到,除爬取各行業網站等用戶消費、瀏覽數據外,中國裁判文書網判決文書也被當成商品出現在二手交易平臺,有賣家稱可通過數據爬蟲技術,導出幾百萬甚至上千萬條裁判文書網判決文書。

「裁判文書爬取,可長期提供更新全量數據,需要的私聊」,「裁判文書網6500萬數據,0.1元/條,低於100萬的數據,0.2元/條,低於1萬的數據,0.5元/條,低於10條的數據,查詢成本太高,不提供,有需要可以詳聊」……某二手交易平臺上,不少賣家稱有海量裁判文書網判決書出售。

有賣家告訴南都記者,此類判決書可以根據客戶需要的條件檢索爬取,只要給出案件類型、審判程序、案由等關鍵詞,就可以按類別進行海量數據導出,最終交付形式是Word或者Excel格式,提供SQL文件(資料庫腳本文件)。

此前,有不少用戶反映裁判文書網網站運行速度慢,故障頻繁,經常出現頁面無法顯示的問題,今年2月,最高人民法院在其官網答覆稱,出現此問題的原因在於有大量技術公司通過爬蟲系統無限制並發訪問非法獲取裁判文書數據,造成網站負荷過大。針對此問題,最高法表示自2018年7月起以驗證碼的方式上線系統軟體防爬功能。

而除了裁判文書網,南都記者發現,一些付費網站的數據也同樣能被爬取,二手平臺上有不少賣家出售知網、萬方、知識庫;維普等文獻期刊數據,「全庫數據爬蟲抓取,2元起」。

背景

非法爬取「大數據」已呈公司化運營

去年8月,南都聯合阿里安全部發布的《2018網絡黑灰產治理研究報告》顯示,2017年我國網絡安全產業規模為450多億元,而黑灰產已達近千億元規模。在網絡黑灰產的整條產業鏈中,利用各種手段爬取、竊取或者通過買賣的方式獲得個人信息,成為黑灰產獲利的主要方式,由此滋生出的電信詐騙、敲詐勒索等下遊違法犯罪行為,對公民個人信息安全、財產安全造成嚴重威脅,成為侵蝕網際網路經濟正常運轉的毒瘤。

今年4月,北京警方破獲的巧達科技非法獲取計算機信息系統數據案引發關注。這個號稱中國最大的簡歷大數據公司,專業提供招聘工具軟體和大數據分析服務,擁有一系列的人力資源類大數據產品,包括喬大招、妙招網及愛夥伴等,還曾獲得天使輪、A輪和B輪融資,資方包括李開復的創新工場、中信產業基金等。

據警方披露,2018年10月,某網際網路公司報案稱,其公司員工發現有人在網際網路上兜售疑似為該公司用戶信息的數據。通過對該公司伺服器日誌進行調取、梳理、分析,初步還原了數據被竊取的全過程。巧達科技公司在未經授權的情況下,通過利用大量代理IP位址、偽造設備標識等技術手段,繞過該公司伺服器防護策略,大量惡意竊取存放在伺服器上的用戶數據。且在竊取過程中,由於傳輸數據量過大,導致伺服器數十次中斷服務,影響上千萬用戶正常訪問,給該公司帶來了嚴重的經濟損失。

律師說法

未經平臺授權爬取數據信息或構成侵權、違法甚至犯罪

在對上述所謂「大數據」軟體提供信息採集服務的現象進行調查中,南都記者注意到,有賣家在其業務介紹中自證清白稱「違法亂紀的不做」,所提供的軟體外包和數據爬取等業務只爬取各種網頁、App公開的「看得見」的數據。

那麼,按照大數據採集商的觀點,如果爬取的是網頁等公開數據,這種行為就真的合理合規?

事實上,非法獲取數據存在諸多法律風險,雖然利用爬蟲軟體等各種技術手段爬取網際網路數據的行為廣泛存在,但為保護自身數據不被爬取,很多企業也都設置了反爬蟲策略。當網絡爬蟲非法抓取數據信息時,可能構成的侵權、違法甚至犯罪行為主要包括危害計算機信息系統安全類、非法獲取公民個人信息類和侵犯智慧財產權類等。

近年來,企業之間通過數據爬取引發的對於數據權益爭奪的各種案件層出不窮。比如,新浪訴脈脈抓取新浪微博用戶信息案、淘寶訴美景不正當競爭案等,對於非法爬取企業數據的行為,法律也更傾向於保護企業經營者的權利。

《網絡安全法》第27條規定,任何個人和組織不得從事「竊取網絡數據」等危害網絡安全的活動,不得提供專門用於從事侵入網絡、幹擾網絡正常功能及防護措施、竊取網絡數據等危害網絡安全活動的程序、工具。

述紹興警方破獲的這起大規模數據竊取案件中,上市黑產公司在運營商伺服器內放置惡意程序清洗流量,導致30億條用戶數據被竊取。近日,公司法定代表人周某某等7人因涉嫌非法獲取計算機信息系統數據罪,被檢察機關提起公訴。

針對裁判文書網數據被爬蟲售賣一事,北京市社會組織法律調解中心副理事長張新年律師認為,裁判文書網站上的內容基於司法公開目的,是免費的公共資源,未經最高人民法院授權,商家售賣裁判文書網數據則會構成侵權。

大數據爬蟲背後誰在提供技術支持?

網售大數據採集定製業務如此「火爆」,這些所謂的「大數據」信息從何而來?又是如何被洩露出去的?南都記者調查發現,這背後隱藏著一條非法爬取用戶數據的黑色產業鏈——「專業老手」編寫爬蟲軟體、提供軟體訂製服務、黑產團夥購買軟體批量生成「大數據」信息再轉手出售。

「專業老手」代寫爬蟲軟體

所謂爬蟲,是一種常見的數據捕獲技術,又被稱為網頁蜘蛛,網絡機器人,其按照一定的規則,自動從網際網路上提取網絡信息的程序或腳本。雖然利用爬蟲軟體等各種技術手段爬取網際網路數據的行為廣泛存在,但為保護自身數據不被爬取,很多企業也都設置了反爬蟲策略。

「python爬蟲程序數據採集代寫軟體,專業老手,定製化服務」,二手平臺上一位賣家介紹,其提供各類大數據採集軟體代寫訂製服務,可進行「各種加密網站破解登錄」,採集數據範圍包括攜程春秋航空等旅遊網、美團天貓京東拼多多、微博知乎豆瓣等電商社交平臺。該賣家稱,他們是「一批精通軟體開發的編程高手組成」的軟體開發團隊。平臺信息顯示,該賣家近期已完成多筆交易,用戶反饋「好評如潮」。

「網絡數據訂製雲端代採集京東淘寶車主金融等所有行業信息採集,拍下發軟體」,二手平臺上另一名賣家向南都記者介紹了一款名叫「智能雲」的軟體,售價980元,稱該可採集的數據信息覆蓋地圖商家、搜尋引擎、企業信息、車主信息等全網大數據,軟體有導入微信通訊錄、QQ群成員提取、微信群發、微信營銷、QQ營銷、論壇營銷等多個功能界面。賣家介紹稱,該軟體可用來為各行業進行大數據引流、精準營銷。

簡歷採集器700元/套「無限」導

除提供信息定製服務外,南都記者調查發現,網上還有商家出售所謂簡歷信息採集器,可自動爬取知名招聘網站上的海量個人簡歷信息。在QQ群「58趕集簡歷採集」中,QQ網友「無名」稱簡歷採集器可「無限量」導出58同城求職者的個人簡歷信息,「全網實時同步」,「名字、電話、需要的工作、家庭地址都有,兼職全職都有」。

該賣家告訴南都記者,他用這個軟體從招聘網站導出個人簡歷信息,然後在網上售賣,「一手1.5元,二手0.3元」,還向記者打包票軟體「能賺錢」、「好用」,並表示如果買了這個軟體,他還可幫忙介紹「客戶」。

南都記者注意到,商家出售的上述簡歷信息採集器主要是針對58同城,「趕集網和智聯招聘比較少」。那麼,這類簡歷信息採集器是如何批量爬取招聘網站的用戶個人簡歷呢?有業內專家就此分析過58簡歷信息採集器的「盜取手法」:

黑產團夥利用58同城在移動端的一個接口批量獲取用戶的簡歷ID以及加密不嚴謹的用戶ID信息,再通過另一個接口導致用戶包括姓名等真實信息洩漏,最後通過58的微店程序能夠通過用戶ID最終獲取用戶的電話號碼。

一名出售58簡歷信息採集器的QQ網友「大神-售58簡歷採集器」向南都記者表示,他的軟體可實時導出58同城、趕集網簡歷數據,採用的是「雙接口」和爬蟲技術,軟體安裝在PC端後,設置好條件便可進行實時數據導出,「上手快好操作」,售價為700元/月。根據賣家發來的視頻截圖,這種簡歷採集器設有城市、兼職崗位、性別、年齡和發布時間等篩選條件,採集到的數據包括姓名、手機號碼、學歷信息、工作年限、期待月薪等個人信息。

採寫:南都記者 王琦

本文來源:南方都市報 責任編輯:王鳳枝_NT2541

相關焦點

  • 個人信息買賣 淘寶和京東數據僅需1元
    被爬取的淘寶帳戶信息裡,有關聯的支付寶信息,記錄了帳戶和餘額寶金額,和花唄總額度、可消費額度等。你的通話記錄裡,最常用的30個聯繫人是誰,你家住何處,經常在哪兒活動,餘額寶裡還有多少錢,在什麼時候買過幾件內衣……這些你以為的私密信息,其實都可以被輕易查到。南都調查發現,一個隱藏在現金貸平臺背後的數據產業鏈正在悄然活動,其危害較之於一些開房記錄查詢服務更甚。
  • 個人信息洩露防不勝防 大數據公司爬取簡歷現象頻發
    個人信息洩露防不勝防 大數據公司爬取簡歷現象頻發 原標題:   洩露用戶個人信息防不勝防  大數據公司爬取簡歷打小報告推送廣告等侵權現象頻發
  • 危險的求職簡歷:遭數據公司爬取,更新或投遞都被推給現單位
    在其產品中,比如名為「簡歷時光機」的產品,根據一本黑的介紹,它能夠拼命發掘簡歷上所有的秘密,讓HR看到簡歷上所有修改歷史,無論你是新增、修改,亦或刪除,統統都逃不掉。另一款產品「愛夥伴」則是一款可以監測員工離職動向的工具軟體,它可以監測到員工更新、投遞簡歷等動作,以及員工簡歷被HR、獵頭查看次數等信息。
  • 網貸領域爬蟲,既非原罪者也非無辜者|金融法苑
    如通過天眼查、 企查查、 啟信寶等企業信息查詢網站, 獲取一個公司的資信情況; 也可通過網貸之家、 零壹數據、 網貸天眼和 76676 網際網路金融門戶等獲得各大網貸平臺不同時間段的放貸數據。在非公開的數據方面, 爬蟲是獲取公開數據的手段, 因此往往需要獲得相關數據源或數據主體的授權, 爬蟲方可大搖大擺地進入資料庫進行爬取, 如經過用戶同意後獲得其用戶名和密碼, 進入電商網站進行數據的爬取等。
  • 網貸領域爬蟲,既非原罪者也非無辜者
    一個網站如果禁止網絡爬蟲對自己的信息進行獲取通常會採取多種方式。一方面,網站會設置形式上的「禁止進入聲明」——robots協議,即一段指明網站中哪些信息禁止爬取的代碼。不過robots的性質還有爭議,目前普遍認為其並非是民法上的合同,而是一種道德規則,[2]類似屬於公交車上的「老弱病殘專座」告示。
  • 偷窺|58簡歷洩露,兩毛錢你就被賣了
    3月23日,《21世紀經濟報導》記者將該軟體以及信息洩露情況提供給多家安全機構,包括獵豹移動、安華金和等安全公司表示:「這個採集軟體,是一個惡意爬蟲工具。」爬蟲軟體是一種收集大量信息時的常用軟體,而利用漏洞爬取信息則被稱為惡意爬蟲。招聘網站允許企業、個人帳號搜索簡歷,是爬蟲軟體可以採集簡歷信息的入口。
  • 是誰在倒賣你的求職簡歷?什麼人在購買簡歷信息?
    上述人力資源專員坦言,這種方式如果被不法分子利用,很可能造成求職者簡歷信息洩露。該人士稱,她就曾經被陌生人加QQ後詢問是否有簡歷賣。  還有知情人士表示,簡歷信息洩露也可能是招聘網站出現了「內鬼」。中新經緯在採訪過程中,就遇到一位自稱是某招聘平臺內部員工郭江,他表示可以通過內部方式開通後臺帳號,下載全國任意城市的求職人員簡歷。
  • 獵頭公司非法獲取公民信息2億多條 說不定就有你的簡歷
    ,如「淨網2號」專案破獲全國首例打擊交易式蘋果代充庫存系統案,「淨網6號」專案破獲全國首例打擊跑分平臺幫助信息網絡犯罪活動案,「淨網7號」專案破獲全國最大的打擊非法提供內部通訊錄和個人簡歷侵犯公民個人信息案,有力震懾犯罪分子,切實維護人民群眾生命財產安全。
  • 簡歷2元一份,慌不慌?
    文|孫小婷「對方一開口就叫我真名,對我的信息一清二楚,甚至還知道我曾經實習的單位,肯定是簡歷洩露了。」復旦大學大四學生小羅日前在招聘網站上投遞簡歷後頻頻接到騷擾電話。個人信息洩露已經不是新鮮事。但畢業生簡歷以每份2元錢的價格被公開出售的新聞依然讓人感到震驚。
  • 簡歷販賣已形成產業鏈:2元一條 買家為無證網貸等灰黑產
    主要的簡歷買家是刷單、微商、博彩、無證網貸等灰色和黑色行業。2元一條 大學生簡歷遭販賣復旦大學大四學生小羅日前在招聘網站上投遞簡歷時選擇「不公開」自己的簡歷,根據網站規定,「不公開」的情況下信息只能被投遞對象企業看到。但自從投遞後,她收到陌生來電,稱讓她做「兼職」。「對方一開口就叫我真名,對我的信息一清二楚,甚至還知道我曾經實習的單位,肯定是簡歷洩露了。」
  • 數據爬取的合理邊界在哪
    網頁爬蟲是根據網頁上的超連結進行遍歷,扒取網頁的數據信息,最常用於搜尋引擎,這是早期的一類爬蟲。在大數據時代,新型的接口爬蟲則是通過精準構造特定 API 接口的請求,來獲得所需數據信息。目前引起問題的爬蟲公司往往是在網站或App上獲得用戶在註冊協議、隱私協議中自覺或無意的授權後,就利用授權信息登錄網站或接入API,獲取用戶個人數據以及網站數據。
  • 圓通內鬼洩露40萬條個人信息背後:不僅快遞,你的簡歷也被賣了
    新京報貝殼財經記者注意到,在隱秘的網絡上,宣稱有快遞數據兜售的賣家不在少數。某匿名聊天軟體上,記者在「出實時快遞」、「快遞網購行業數據交流」等多個群中發現了信息販子發布的廣告信息。這些信息販子通常以一些字母來逃避平臺的監管。例如,以「wg」來代表「網購」,「wd」代表「網貸」,以「sfz」來代表「身份證」。
  • 智聯招聘員工參與倒賣個人信息:5元一份出售16萬份簡歷
    無業人員鄭某為了獲得公民簡歷信息,偽造假的企業營業執照並提供給北京網聘諮詢有限公司上海分公司(簡稱「智聯招聘」)工作人員盧某和王某,獲得企業會員帳號,獲取大量公民簡歷,然後在淘寶上銷售。該案涉及公民個人信息達16萬餘份。  記者了解到,被告人盧某和王某在案發前是「智聯招聘」的員工,被告人鄭某是一家淘寶店店主,專門在網上賣個人信息。
  • 支付寶「借唄」那麼好,為什麼還有人去選擇非法網貸?
    支付寶借唄利息低,為什麼有些人不用借唄,而選擇非法網貸平臺呢?相信很多朋友都聽說過校園貸、裸貸等新型貸款,它們讓不少人深陷其中無法自拔,其實借錢本身沒有多大問題,畢竟人難免會遇到一些資金困難,只要是正規平臺且自已有償還能力,那就能嘗試一下,不然還是要謹慎行事,有很多非法機構就利用這一點逼迫做一些骯髒的交易。為什麼有很多人都不使用像「借唄」這樣的正規平臺?
  • python爬蟲之selenium抓取淘寶商品信息
    selenium有優點也有缺點,模擬用戶實際操作,必須等待網頁的必要信息加載完畢,如靜態頁面、css等,所以效率比較低,所以具體看用戶如何取捨,如果注重效率,可以用requests模塊進行分析爬取,後續有空也會採用requests、urllib庫進行爬蟲訓練,使用正則表達式分析爬取到的內容。
  • 廣州嚴打侵犯個人信息犯罪 校園網貸中介已納入監管
    個信漏洞  機構管理缺位 內鬼竊取數據  個人信息洩露存在哪些主要渠道?蔡巍說,近年來,侵犯(包括出售、非法提供和獲取)公民個人信息的犯罪行為迅速蔓延,不僅嚴重危害公民信息安全,而且引發電信詐騙、非法拘禁、敲詐勒索、暴力追債等多種犯罪,嚴重危及人民群眾的生命財產安全。
  • 阿里巴巴招聘淘寶體驗師:大爺大媽瘋投簡歷 最高83歲
    ­  1月16日,阿里巴巴發布招聘信息,以35萬-40萬年薪,招聘兩名淘寶資深用研專員,工作地點為杭州,崗位要求60歲以上,學歷不限,工作背景不限;與子女關係融洽。­  消息曝光後,迅速刷爆了大家的社交圈。大量網友看到招聘後,紛紛選擇「at」了自己的父母輩。
  • 為什麼有些人不用借唄,反而去非法網貸平臺借貸呢?
    很明顯的一個原因 ,就是申請門檻高;還有一個重要的原因就是平臺給的額度不夠用。所以才去非法網貸平臺借款 ,實屬無奈。 然而這只是幻想,現實是有多少人有這個消費能力;其實不多,特別是年輕人和中年人,很多人每個月賺的錢還不夠補貼家用,甚至還要倒貼;因此不敢消費。
  • 「Python爬蟲實戰系列(4)」——爬取百度新聞信息
    歡迎大家關注公眾號【哈希大數據】前面我們已經介紹了scrapy的安裝、入門教程,以及MongoDB的安裝與配置,本篇將分享如何利用scrapy爬取百度新聞信息,並將爬取到的數據存儲到MongoDB資料庫中。
  • 2元一條,還能訂製:誰賣了我的簡歷?
    據新華社「全民拍」線索,不少畢業生在招聘網站上投遞求職簡歷後個人信息遭洩露,頻頻接到騷擾電話。記者調查發現,簡歷販賣已形成產業鏈,不法中介通過招聘網站的管理漏洞獲取求職者信息,並以每條2元至8元的價格出售。主要的簡歷買家是刷單、微商、博彩、無證網貸等灰色和黑色行業。