早在一年前,美國國防部先進研究項目局(DARPA)曾透漏過一個秘密項目——一款新型搜尋引擎,通過深度挖掘暗網(Dark Web),獲取Google搜索和其他商業搜尋引擎未能涉及到的所有隱秘信息。現在,它已經悄然問世。
FreeBuf科普:什麼是暗網
暗網並非十分龐大,甚至沒有想像中那樣特別的神秘。事實上,所謂「暗網」都是公共可見的網站,但卻將真實的伺服器IP隱藏了而已。這意為著,任何人都可以訪問暗網,但「暗」就暗在這些網站隱藏極深,難以調查的幕後。
【FreeBuf視頻】走近科學:如何訪問暗網(the Dark Web)(請點擊文章最下方閱讀原文)
神秘的「暗網搜尋引擎」
暗網搜尋引擎項目被命名為「Memex」,測試顯示項目運營效果良好。
上周日晚,Memex首度亮相於公眾,我們有幸搶先一睹這款特別的搜尋引擎的風採——這是一款以打擊犯罪為目的搜尋引擎,美國國防部五角大樓的研究機構批准Scientific American新聞網預睹其真容,然後讓60分鐘節目組獨家對這款新技術的結晶進行了視頻報導。
Memex這個單詞來自於記憶(memory)與索引(index)的組合,它基於開源的數字可視化搜索分析程序,通過與後端伺服器軟體交互,完成複雜的計算和數據分析。
通過用戶搜索的信息,Memex搜尋引擎會對相關內容進行抓取。經過爬蟲對頁面內容的遞歸獲取,有效地識別不同數據塊之間的關係。研究人員能夠利用搜索到的空間和時間的數據構建數據圖,進行可視化分析。
視頻介紹
下面附上的視頻能給各位FreeBuf讀者更直觀的感受和理解。
【請點擊文章最下方的閱讀原文】
暗網是一個遍布婦女兒童綁架、色情信息、毒品交易、網絡犯罪和人口販賣的邪惡聚集地,但是由於暗網的隱秘性極高,所以它能輕易躲避主流引擎的搜索。
當然,隨著暗網搜尋引擎的誕生,相信它們的好運也就到此為止了。
設計理念
暗網搜尋引擎Memex用於保護網絡免受黑客、人販子或者其他類型罪犯的的侵害。它的設計理念即:擴展搜尋引擎的能力,根據特定人物的興趣迅速進行信息的全面整合。
Memex搜尋引擎的研究發起者Chris White等人詳談了整個暗網搜尋引擎的工作原理,以及它是如何幫助執法機構進行調查的。
White表示:「網際網路比人們想得要複雜得多。據統計分析,Google、微軟bing以及雅虎搜索,只收錄了網絡上大約5%的web內容。」很明顯,這給網絡犯罪留下了很大的潛在發展空間。
在上述有關Memex搜尋引擎的視頻片段裡,大家還能看到美國國防部先進研究項目局的Dan Kaufman。這位主管在視頻裡表示:「Memex的理念簡化來說就是——如何挖掘不易被發現的東西。」
White嚴肅地說:「大多數網民都是守法公民,但是也肯定會存在一些網絡寄生蟲。我們會剝奪其利用網絡侵害我們的能力,創造一個更加美好的網絡環境。」
項目進度
Memex如今還處於beta階段,現有一個政府機構和一個非政府組織負責測試。當然,在幾周後的下一測試階段,Memex還會擴大內測範圍。
「這一輪的測試,其中一個主要目標就是分析照片。比如對於毒販面部的匹配,或者是根據圖片背景中電視屏幕映出圖像,進行模糊搜索匹配。另一個目標,則是嘗試用不同用戶界面,嘗試使用流媒體結構來評估時間敏感的數據。」
這意味著在暗網搜尋引擎Memex的幫助下,美國國防部先進研究項目局(DARPA)有可能會根據圖片中電視屏幕的上的倒影圖像,通過圖像模糊匹配技術進行分析定位,在使用一定手段確認後對罪犯實施抓捕。
這聽起來似乎如好萊塢電影一般富有奇幻色彩,不過Memex團隊強調,這一切「黑科技」本意只是降低犯罪率,而不是侵犯大多數人的隱私。