什麼是OSINT?以及如何使用開源網絡情報工具?

2020-12-15 福韻商業情報調查中心

有針對性的挖掘目標情報,儘管有多種方法可以秘密進行,但情報收集通常始於從網際網路公開資源中抓取信息,這些信息統稱為開源網絡情報或OSINT。由於社交媒體和在線活動的盛行,現在有大量合法可收集的OSINT開源網絡情報可用,這可以為情報收集者提供成功描述組織或個人所需的一切信息。

在本文中,我們將帶您快速了解OSINT開源網絡情報的全部內容,以及學習如何使用OSINT開源網絡情報工具。

什麼是OSINT開源網絡情報?

你可能聽說過這個名稱,但不知道它的具體含義,OSINT代表開源網絡情報,它是指可以合法地從有關個人或組織的免費公共來源中收集的任何信息。在實踐中,這往往意味著可以在網際網路上找到信息,但是從技術上講,任何公共信息都屬於OSINT開源情報網絡類別,無論是在公共圖書館中的書籍或報告,報紙上的文章還是新聞稿中的聲明。

OSINT開源網絡情報還包括可以在不同類型的媒體中找到的信息。儘管我們通常認為它是基於文本的,但是圖像,視頻,網絡研討會,公開演講和會議中的信息都屬於該術語。

OSINT開源網絡情報用於什麼?

通過網際網路收集特定目標的公開信息源,以便於更好地了解其特徵並縮小搜索範圍以尋找可能的關鍵信息。收集過程中無需主動與目標接觸,就可以利用產生的情報來構建威脅模型和制定情報計劃。

在您自己或您的企業上,收集OSINT開源網絡情報信息,也是了解您為潛在情報收集者,提供了哪些信息的一種好方法。一旦您知道可以從公共來源收集到什麼樣的情報,就可以使用它來幫助您或您的安全團隊制定更好的防禦策略。您的公共信息暴露哪些漏洞?情報收集者可以從中得到什麼,他們可以利用其進行社會工程或網絡釣魚攻擊?

什麼是OSINT開源網絡情報框架?

從網際網路各種各樣的來源收集信息是一項耗時的工作,但是有許多工具可以使情報收集更加簡單。你可能聽說過Shodan之類的工具以及Nmap和Zenmap之類的埠掃描儀,但所有工具種類繁多。

Justin Nordine提出的OSINT開源網絡情報框架是一個很好的起點。該框架提供了指向大量資源的連結,這些資源用於完成各種各樣的任務,從收集電子郵件地址到搜索社交媒體或黑網。

在許多有關OSINT開源網絡情報工具的文章中,您會看到對Kali Linux滲透測試發行版中包含的一個或兩個軟體包的引用,例如The Harvester或Maltego,但是要獲得可用於Kali的可用OSINT開源網絡情報工具的完整概述,請查看Kali Tools 列表。 page,其中提供了一些工具的精簡版以及如何使用每個工具的示例。

在這裡,您可以找到許多用於開源情報收集的有用工具,其中包括Nmap和Recon-ng等受研究人員青睞的工具。Nmap工具允許您指定IP位址,例如,確定哪些主機可用,這些主機提供哪些服務,它們運行的作業系統,正在使用哪些防火牆以及許多其他詳細信息。

Recon-Ng是Tim Tomes用Python編寫的用於Web偵察的工具。您可以使用它來執行諸如枚舉給定域的子域之類的操作。

其他OSINT工具,技術和資源

當然,用於情報收集的最明顯的工具之一是Web搜尋引擎,例如Google,Bing,百度等。實際上有數十種搜尋引擎,對於特定類型的查詢,某些搜尋引擎可能會比其他搜尋引擎返回更好的結果。

Searx是元搜尋引擎,它使您可以匿名並同時從70多個搜索服務中收集結果。Searx是免費的,您甚至可以託管自己的實例以獲取最終的隱私。既不跟蹤也不對用戶進行概要分析,並且默認情況下禁用cookie。Searx也可以在Tor上用於在線匿名。

Searx的許多公共實例也可供那些不想或不需要託管自己的實例的人使用。有關列表,請參見Searx Wiki。

一直有很多人在為OSINT開源網絡情報開發新工具,而在網絡安全領域,與他們保持緊密聯繫的絕妙地方當然就是在Twitter上關注他們。但是,在Twitter上跟蹤事情可能很困難。幸運的是,還有一個OSINT開源網絡情報工具,稱為Twint。

Twint是用Python編寫的Twitter抓取工具,可輕鬆匿名收集和搜尋Twitter上的信息,而無需註冊Twitter服務本身或使用API密鑰,就像使用Recon-ng這樣的工具一樣。使用Twint,完全不需要身份驗證或API。只需安裝該工具並開始搜尋即可。您可以按用戶,地理位置和時間範圍等進行搜索。這只是Twint的一些選項,但也有許多其他選項可用。

那麼,如何使用Twint幫助您跟上OSINT開源網絡情報的發展呢?其實,這很容易,由於Twint允許您指定--since僅從特定日期開始提取推文的選項,因此您可以將其與Twint的search動詞結合使用,以每天抓取標有的新推文#OSINT開源網絡情報。您可以使用--database保存為SQLite格式的Twint 選項自動執行該腳本,並將結果輸入資料庫以方便查看。

到目前為止,看來已經有58條#OSINT開源網絡情報信息了!

twint -s '#osint' --since 2019-07-17

可以用來收集網際網路公共信息的另一個很棒的工具是Metagoofil。該工具使用Google搜尋引擎從給定域中檢索公共PDF,Word文檔,Powerpoint和Excel文件。然後,它可以從這些文檔中自動提取元數據,以生成一份報告,列出諸如用戶名,軟體版本,伺服器和機器名稱之類的信息。

結論

在本文中,我們介紹了OSINT開源網絡情報的基本概念以及如何使用。我們已經在幾個不錯的地方找到了很多OSINT開源網絡情報工具,它們可以幫助您收集需要做的幾乎所有類型的信息,並且還向您介紹了一些單獨的工具,並展示了它們如何可以投入工作。

對於任何參與網絡安全的人來說,了解如何收集開源情報都是一項至關重要的技能。無論您是捍衛企業網絡還是對其進行弱點測試,您對它的數字足跡的了解越多,從攻擊者的角度就越能看到它。有了這些知識,您就可以繼續制定更好的防禦策略。

相關焦點

  • 【開源情報】社交媒體情報收集指南
    社交媒體情報(SOCMINT)是開源情報(OSINT)的一個子分支,它是指從社交媒體網站收集的信息。社交媒體網站上可用的數據可以向公眾開放(例如,Facebook、LinkedIn、twitter上的公共帖子)或不公開,未經創建者的適當許可,不得訪問私人信息(例如:朋友圈共享的內容或者微信群、電報群、QQ群、釘釘群內的信息)。
  • 60款流行網絡工具的開源替代選擇
    開源網絡工具能派得上用處。無論你是在管理大型企業數據中心中成千上萬的系統,還是僅僅把你家裡的幾臺電腦連接起來,開源網絡工具都能幫助你搭建和維護一個低成本的網絡。本文整理出了讓這項任務變得更容易一點的60款開源網絡工具。
  • 【技巧】人員、電話、地址、域名開源情報查詢流程
    根據搜索的複雜程度以及使用以前的方法獲得的成功程度,你可能希望生成單詞列表。當你需要很多選項時,這很有用,因為你不清楚用戶名應該是什麼,但是猜測很多。可以使用Python腳本生成以下單詞表:  七、SOCMINT(社交情報)SOCMINT是OSINT的子集,它專注於社交媒體平臺上的數據收集和監視。編輯已經描述了一些社交媒體情報技術。在這裡,將通過列出更多工具來完成操作。
  • 【論文】基於事件偵測方法的自動化開源情報分析研究
    在開源情報研究上,早期研究大多局限於情報管理與操作規範,例如,北大西洋公約組織(North Atlantic Treaty Organization,NATO)出版的開源情報操作手冊[6]。隨著網際網路發展,北約針對網絡開源情報處理也發表了相關著作[7],為該領域研究奠定了基礎,然而,以上著作對開源情報自動化處理模式幾無著墨。
  • 15個開源的頂級人工智慧工具
    在本文中,我們將聚焦於開源的人工智慧工具,詳細的了解下最著名的 15 個開源人工智慧項目。 以下這些開源人工智慧應用都處於人工智慧研究的最前沿。 1. Caffe 它是計算網絡工具包Computational Network Toolkit的縮寫,CNTK 是一個微軟的開源人工智慧工具。
  • 物超所值:八大網絡安全開源框架
    能幫助構建、操作安全系統的開源項目多到數不清,尤其是隨著對工具的安全監控和事件反應的要求不斷加強的情況下,開源安全軟體不得不提高自己的性能。下面為你介紹10款開源的安全軟體。1. BroBro 是一款很強大的框架,用於網絡分析和安全監控,它和常見的IDS有所不同。
  • 不可不知的10款開源雲安全工具!
    AWS、微軟和谷歌等雲供應商提供一整套原生安全工具。這些工具固然有用,但並不適合所有人。隨著雲計算深入發展,IT團隊常常發現安全地開發和管理這些平臺上的工作負載的能力存在不足。最終,填補這些不足是用戶的責任。這時候,開源雲安全工具常常派得上用場。
  • 機器學習的五大頂級開源工具
    我們期望AI技術在短期內會有巨大的影響,且影響力將超過第一代AGI的影響力;  OpenAI擁有超過60名全職研究人員,發表了數篇有關AI和開源軟體工具進展的論文。  TensorFlow  這是谷歌開源的機器學習庫,它在整個機器學習領域目前地位還是排在首位。
  • 探尋中國首家網絡情報服務商福韻數據的秘密
    當然很多時候我們也不能唯數據論,因為在很多場景下光有數據是遠遠不夠的,如何處理和加工好數據並為我所用才是核心。在商業領域,情報的及時性、準確性和權威性尤為重要,因為每項決策背後都可能涉及到成千上萬的資金流轉,稍有不慎就有可能出現資金虧損。因此在一大堆紛亂複雜的數據中篩選並整理出有價值的情報,成為很多公司努力的方向,在這方面福韻數據公司可謂擁有獨門的武器。
  • Google 開源網絡流量安全測試工具 nogotofail
    例如Facebook最近開源了Osquery,一個方便開發者了解和分析作業系統的安全框架。Netflix則發布了偵測針對性攻擊的內部開發工具。近日,Google也宣布將網絡安全測試工具nogotofail開源。
  • 開放網絡安全聯盟推出新的開源語言來連接安全工具
    開放網絡安全聯盟(Open Cybersecurity Alliance,OCA)宣布提供 OpenDXL Ontology,這是用於通過通用消息傳遞框架連接網絡安全工具的第一種開源語言。OCA 在帖子中解釋稱:「通過安全社區免費使用的開放原始碼,OpenDXL Ontology 使任何工具都可以自動獲得使用該語言與所有其他技術進行通信和互操作的能力。通過消除單個產品之間的自定義集成的需要,此版本標誌著 OCA 在整個安全行業推動更大互操作性的使命中的一個重要裡程碑。
  • 10 個頂尖的 Linux 開源人工智慧工具
    在這篇文章中,我們將介紹幾個頂級的開源 Linux 生態系統的人工智慧(AI)工具。
  • 安全七八談 | 美國網絡安全態勢感知(4):威脅情報發展現狀
    「網絡天氣地圖」的威脅情報管理體系運行過程以及每個過程中的關鍵信息如下所述:通過國家網絡安全保護系統與網際網路中相關的探測器關聯,收集相關的威脅情報信息;利用大數據分析技術,並結合外部的其他威脅情報來源,提取形成有價值的威脅情報;
  • Top 7大開源數據可視化分析工具!
    Top 7大開源數據可視化分析工具! Top 7大開源數據可視化分析工具!關鍵詞: 開源 數據   目前,我們可以在市場上找到很多用於網絡分析和數據可視化的開源工具,例如NetworkX,R和Gephi中的iGraph包等。
  • 這10個開源安全工具你知道幾個?
    【IT168 評論】開源工具可以為IT安全人士實施安全措施和學習培訓奠定堅實的基礎。以下是人們應該知道的10個IT安全工具:  (1)Nessus(可見性)對於幾代IT安全專業人士來說,了解他們網絡的脆弱性是Tenable公司的Nessus開始的。根據sectools.org的調查,Nessus是最受歡迎的漏洞掃描器,也是目前使用的第三大流行安全程序。  Nessus具有免費和商業版本。而目前最新的版本是Nessus 7.1.0,這是一個商業版本,但也免費提供給個人和家庭使用。
  • 文獻情報領域圖分析與可視化工具-VOSviewer介紹
    其實除了Gephi在文獻情報領域也有一些經典的開源網絡可視化軟體,這裡再通過Jeanine的這篇文章跟大家分享下VOSviewer。
  • 面向Linux的十大開源人工智慧工具
    我們在本文中將介紹幾款面向Linux生態系統的頂尖開源人工智慧工具。本文引用地址:http://www.eepw.com.cn/article/201807/383857.htm下面列出了為支持人工智慧設計和開發的諸多平臺,你可以在Linux及其他許多作業系統上使用。切記:介紹順序不分先後。
  • 重磅|谷歌開源最精確自然語言解析器SyntaxNet的深度解讀:一次關鍵進步以及一個重要工具
    多虧深度神經網絡,這方面的技術正變得越來越好。谷歌、臉書和微軟以及其他公司,已經使用深度神經網絡來識別圖片中的物體,也用於識別人們對虛擬助手說的單個單詞。人們希望這類人工智慧可以顯著提升機器理解語詞意義的能力,讓機器懂得語、詞是如何互動、構成有意義的句子。
  • 截屏、文字提取一氣呵成,超實用OCR開源小工具
    機器之心報導機器之心編輯部這個文本 OCR 小工具,能讓你「所截即所得」。在我們辦公時,是不是經常遇到圖片內容轉文字的需求?你是用什麼工具解決的呢?是手機自帶拍照轉文字功能?還是使用 QQ 裡面的工具?
  • 威脅情報體系實戰案例解析
    威脅情報庫會根據機讀情報、高級報告和月報、第三方機讀情報、用戶手工導入的私有情報以及全球多個開源情報的統一存儲、檢索和對比自動補充輔助信息,並使用統一的生命周期管理情報從產生、使用、靜默與消亡的完整過程。3.