前言：
幾日前，一篇《只因寫了一段爬蟲，公司200多人被抓！》文章引起各界關注。在這篇文章出來之前，已經有多家做「數據」的公司被調查處理：其中包括：
1、該文章所涉的公司「巧達科技」，該公司號稱是中國最大的用戶畫像關鍵數據服務提供商，專注於大數據及人工智慧領域前瞻性產品研發，客戶覆蓋網際網路行業及泛金融領域。
2、中國電信控股的子公司「天翼徵信」，其總經理、副總經理以及市場人員被警察帶走，原因是與其合作的大數據公司被警方調查。
3、新顏科技CEO黃向前被警方帶走。
4、魔蠍科技公司CEO周江翔涉事被查。
5、公信寶公司門口被貼了封條。
6、知名第三方數據服務公司聚信立宣布將暫停對外提供用戶授權的運營商爬蟲服務。
7、國內大數據風控平臺龍頭同盾科技也被曝爬虫部門已解散。
……
《只因寫了一段爬蟲，公司200多人被抓！》，網址：https://smile.blog.csdn.net/article/details/102597598，2019年10月24日瀏覽。
近日，51信用卡也被警方調查，傳言可能涉及委託外包催收公司尋釁滋事犯罪（警方披露的信息已證實）、非法獲取公民個人信息犯罪（未經警方證實，但警方通報中「等犯罪行為」是否包括此種行為暫不可知），其中「非法獲取公民個人信息犯罪」，也涉及「爬蟲」問題，再一次把「爬蟲」問題推至風口浪尖。
一位當地互金企業高管告訴記者，調查或與近期對爬蟲業務的整治行動有關，這一消息目前尚未得到進一步證實。
——51信用卡遭調查 業內人士:或與爬蟲業務整治行動有關，新浪科技：https://tech.sina.com.cn/i/2019-10-21/doc-iicezuev3673711.shtml
一、何為爬蟲？
網絡爬蟲，又稱為網頁蜘蛛，網絡機器人，是一種按照一定的規則，自動地抓取網絡信息的程序或者腳本。「在大數據風控行業中，以網絡爬蟲獲取信息數據的做法最為盛行」。
從本質上看，「爬蟲」就是一種「技術工具」。一般而言，技術工具本身並無是非對錯，是否違法犯罪，要看使用人利用該「爬蟲」技術做什麼事。
有人認為，「爬蟲技術」主要分為公開爬蟲和授權爬蟲，但從《只因寫了一段爬蟲，公司200多人被抓！》這篇文章來看，受害公司因遭爬蟲爬取，導致被害公司的客戶信息被抓取，這就既不屬於公開爬蟲，也不屬於授權爬蟲了。因此，此種分類沒有必要或不夠全面。從其所抓取的「信息」作為對象來看，爬蟲所爬取的信息，可以分為以下幾類：
1、公開信息，如公開發布的法律文件、司法判例、工商信息、用戶評論信息等；
2、非公開信息，如某人在某網站註冊的個人電話號碼、郵箱、身份證號碼等信息，該網站不應也不能公開，如果爬蟲非法抓取了該類信息，便屬於爬取非公開信息，如《只因寫了一段爬蟲，公司200多人被抓！》文中所涉及的爬蟲公司。
據筆者的研究，不論是爬取公開信息，還是爬取非公開信息，都有可能構成違法犯罪行為。因此，「技術中立」的抗辯，往往因實際上使用人非法使用爬蟲而變得無效。不然，就會像孟子所諷刺的那樣：「是何異於刺人而殺之，曰：『非我也，兵也。』」
二、爬蟲所涉違法犯罪問題
不論是爬取公開信息，還是爬取非公開信息，都有可能構成違法犯罪。爬蟲主要涉及的違法犯罪問題如下：
爬蟲非法侵入國家事務、國防建設、尖端科學技術領域的計算機信息系統的，可能構成「非法侵入計算機信息系統罪」；爬蟲規避網站經營者設置的反爬蟲措施非法獲取信息的，可能涉嫌「非法獲取計算機信息系統數據罪」；如幹擾被爬網站正常運營的，可能構成「破壞計算機信息系統罪」；如果是提供專門用於侵入、非法控制計算機信息系統的爬蟲，或者明知他人實施侵入、非法控制計算機信息系統的違法犯罪行為而為其提供爬蟲，可構成「提供侵入、非法控制計算機信息系統程序、工具罪」。
此外，雖然是爬取公開信息，但利用爬蟲程序非法從同類企業網站獲取公開信息（如評論信息），並用於自己網站進行宣傳的，可能構成不正當競爭、虛假宣傳、虛假廣告等違法犯罪行為。
對於爬取非公開信息的（如公民的姓名、身份證件號碼、通信通訊聯繫方式、住址、帳號密碼、財產狀況、行蹤軌跡等個人信息），有可能構成非法獲取公民個人信息的違法、犯罪；如將該非法獲取的公民信息無償提供或出售給他人，又可能構成非法提供公民個人信息犯罪。