大數據安全分析:學習Facebook的ThreatData框架

2020-12-13 中國大數據網

  自成立以來,Facebook一直是網絡攻擊的目標。他們積極抵禦惡意軟體和防止欺詐,並且他們在這方面的努力經常見諸報端。然而,可以很公平地說,Facebook面臨的實際威脅更加嚴峻。

  當面對威脅時,知識就是力量。很多企業都認識到威脅分析和安全分析的重要性,它們不僅可以幫助阻止當前威脅,還可以提高事件響應。最近,Facebook宣布通過其ThreatData框架進軍大數據安全分析領域。

  在本文中,我們將討論什麼是ThreatData框架,它是如何工作的以及為什麼企業應該知道它的存在,還有信息安全專業人員可以從中學到什麼來更好地管理企業面臨的威脅。

ThreatData框架內部

  對於ThreatData,Facebook聲稱它能夠快速收集、處理和分析大量數據,以及時對出現的威脅作出反應。

  這個大數據安全分析框架包括三個主要部分:

  數據收集:這是從Facebook內部和外部的各種來源收集的各種格式的數據(被稱為ThreatDatum),這些來源包括VirusTotal、Web瀏覽器擴展和專門從事這種數據收集的安全供應商。

  數據存儲:這些是存儲數據和提取威脅情報的庫,被稱為「Hive」或者「Scuba」。

   實時響應:這是Facebook對威脅的響應,其中包括URL阻止和安全信息及事件管理(SIEM)集成。

  從本質上講,ThreatData對網際網路正在發生的惡意活動提供了更全面和更大的可視性。這些發現和檢測功能正是大多數企業的信息安全計劃中缺乏的功能。與SIEM的優勢類似,這種詳細程度允許信息安全專業人員能夠看到更大的視圖,而不是更為典型的對產品或功能孤島的安全管理。

ThreatData框架對一般企業意味著什麼

  那麼,為什麼這會有用呢,特別是對於與Facebook不怎麼相關的企業?

  ThreatData框架是創新框架類型的模型,高風險企業正在部署這種框架來解決已知和新出現的安全威脅,並且,這可能為一般企業提供很多經驗教訓。

  雖然大多數企業沒有Facebook那樣的安全資源,但該框架的很多威脅情報「功能」並不需要大量資源,企業可以利用最新釣魚網站上的信息、網際網路中的惡意軟體以及應對這些威脅的相關趨勢。

  另外,企業可以外包部分(如果不是全部)這些功能到很多第三方供應商(例如Dell SecureWorks和Alert Logic),包括對企圖攻擊、已知網絡惡意軟體感染以及需要注意的行為和籤名發出警報,包括實時修復Web應用防火牆等技術。

  在很多企業,特別是中小企業,負責安全的人員通常不知道在特定時間事物所處的位置。即使企業選擇外包這些服務,他們通常沒有足夠的人力或者利基安全專業技術來及時合理地管理這些威脅,更不用說響應威脅。但是,企業仍然有機會來獲得對企業環境的控制權

相關焦點

  • 社交狂魔Facebook用社交解決安全問題,發布ThreatExchange平臺
    Facebook發布了ThreatExchange平臺,該平臺是基於API的信息交換所,能分享安全威脅信息。由於Facebook是一個社交網站,此平臺也頗具社交屬性,各公司可以在上面分享惡意軟體和釣魚攻擊的細節。
  • 大數據學習資源之DataCamp
    」 ——託尼老師《Nature》雜誌早在2008年第一次提出「Big Data」的概念,到2015年國務院正式印發《促進大數據發展行動綱要》,標誌著大數據正式上升至國家戰略,再到2017年的大數據市場全面打開,各省市積極響應中央號召,大數據行業出現井噴之勢。
  • 史上最全的大數據學習資源(Awesome Big Data)
    很多人在學習大數據的時候比較迷茫,不知從何學起,也不能夠比較系統、全面的了解大數據框架。為此,過往記憶花了一個周末的時間把 Awesome Big Data 近 600 個大數據相關的調度、存儲、計算、資料庫以及可視化等介紹全部翻譯了一遍,供大家查漏補缺,全面學習,強烈建議收藏。更多大數據技術知識學習,請持續關注【過往記憶大數據】微信公眾號。
  • 用PyTorch做深度學習實驗!Facebook新框架Ax和BoTorch雙雙開源
    這兩個框架旨在簡化PyTorch應用中的自適應實驗流程。在現代機器學習應用中,對實驗到生產的流程進行簡化是最難實現的任務之一。在已經市場化深度學習框架中,Facebook的PyTorch因其高度靈活性成為數據科學界的最愛,PyTorch能夠實現快速建模和實驗。但是,深度學習應用中的許多實驗面臨的挑戰已經超出了特定框架的能力範圍。
  • Google收購Cask Data 強化大數據分析能力
    為了改變這一情況,谷歌最近收購了一家名為Cask Data的初創公司,該公司專門為基於Hadoop的大型數據分析服務提供解決方案。  Cask Data該公司的聯合創始人Jonathan Gray和Nitin Motgi於5月14日在一篇博文中悄然公布了這次收購的消息,二人在文中稱將繼續開發其開源的Cask數據應用平臺(CDAP),向企業提供便捷的大數據分析解決方案,同時保證繼續為現有的客戶和產品提供支持。
  • Pytext簡介:facebook的基於PyTorch的NLP框架
    自然語言處理(NLP)在現代深度學習生態中越來越常見。從流行的深度學習框架到雲端API的支持,例如Google雲、Azure、AWS或Bluemix,NLP是深度學習平臺不可或缺的部分。儘管已經取得了令人難以置信的進步,但構建大規模的NLP應用依然還有極大的挑戰,在學習研究和生產部署之間還存在很多摩擦。
  • Big data 大數據 | 地道英語
    Neil 認為自己很懂 "big data",並且可以借 "big data" 幫自己創辦一家公司。菲菲對 "big data" 有自己的想法。加入我們來學習一個非常 "big" 的短語吧!      Nov 27, 2019Feifei:Neil, what are you doing?
  • 深度學習10大框架對比分析
    BEEVA Labs 數據分析師 Ricardo Guerrero Gomez-Ol 在 Medium 上發表了一篇文章,盤點了目前最流行的深度學習框架
  • 想知道Facebook怎樣做推薦?FB開源深度學習推薦模型
    DLRM 通過結合協同過濾算法和預測分析方法,提供了推薦系統當前最優效果。隨著深度學習的發展,基於神經網絡的個性化和推薦模型成為在生產環境中構建推薦系統的重要工具。但是,這些模型與其他深度學習模型有顯著區別,它們必須能夠處理類別數據(categorical data),該數據類型用於描述高級屬性。
  • 掰開揉碎的Facebook數據工程師面試流程詳解
    因此,大多數企業都非常需要大數據工程師這一專業人才,你準備好迎接大數據挑戰了嗎?Facebook是每一位數據工程師夢寐以求的公司!人們經常會混淆數據工程師和大數據工程師這兩個概念。以下是你需要知道的:數據工程師負責收集數據,移動數據,並將數據轉換成供數據科學團隊使用的管道。大數據工程師是負責創建和管理公司大數據基礎設施的人。
  • 大數據下基於Tensorflow框架的深度學習示例教程
    近幾年,資訊時代的快速發展產生了海量數據,誕生了無數前沿的大數據技術與應用。在當今大數據時代的產業界,商業決策日益基於數據的分析作出。
  • 數據分析:三步搭建基礎分析框架
    數據分析作為運營人員必備的核心技能,對職業發展起著尤為重要的作用。本文將基於基於業務場景,分享幾種基礎的數據分析框架和方法,系統化的進行數據分析。無論是產品、還是運營,都需要具備良好的數據分析能力,對用戶行為數據和業務數據,進行分析、評估甚至預測。本文通過分享三種常見的數據分析框架,幫助我們更系統的進行數據分析,發現並解決產品暴露出的問題,從而更高效的完成工作。
  • 大數據如何改善社會治理:國外「大數據社會福祉」運動的案例分析和...
    通過對案例集的元數據進行統計,我們首先識別了目前國外大數據社會治理的主要關注領域,包括:(1)社會安全(31.7%),主要涉及治安、消防、食品安全、交通和災害等,主要關注點是通過大數據實現安全事件的早期發現和介入、減少損害;(2)開放數據接口(17.1%),主要涉及通過可編程接口獲取數據的方法,主要關注點是支持更多數據產品和數據服務的開發和應用;(3)城市建設(14.6%),主要涉及街道
  • Pandas 基本數據框架操作 第二篇
    現在關注▲領取書籍《吳恩達機器學習》《集體智慧編程》《對比Excel,輕鬆學習Python
  • 最全大數據工具盤點,Google Trends 揭示了你應該學習這些!
    (戳閱讀原文,閱讀演講文章)因為大數據令人驚訝的高速發展以及知識局限性,本文沒有(也不可能)列舉出這個生態圈裡的所有開源類型,比如機器學習、數據挖掘等等無法一一羅列,也無意涵蓋所有大數據牽涉的各個角落,比如OpenStack、Docker等相關大熱門。這裡推薦了一些比較流行的開源產品,希望能引起大家興趣和關注。
  • RichData大數據智能分析平臺
    RichData是一個跟具體行業業務無關的、通用性的大數據平臺工具產品,通過這個產品所具備的的高性能的實時和非實時大數據計算能力、豐富的統計、分析、挖掘模型,為行業全流程、全周期的生產運營活動提供商業智能支持。
  • 數據分析 Data Analyst
    第一維度:數據分析邏輯思維在分析前,邏輯思維很重要,會影響到分析結果的有效性。所以分析前我們要花點時間去想:分析可以做些什麼?我們現在業務問題是什麼?我們要從哪裡提取數據?數據的關鍵數據是什麼?這些數據是否可以了解先現狀態?是否可以從分析結果中進行具體原因分析和改善?
  • 課程分享第2期|呂本富:大數據及大數據分析
    「數據源等級」(data hierarchy)等級0:數據存在很多錯誤,需要進行認真的校驗和檢查!(大部分的毛數據都如此……)等級1:原生數據集……對明顯錯誤已經修正等級2:增值數據集合,那些已經標準化/編碼的,根據一些認可的框架或流程進行一致性矯正。
  • SBL 技術文章之-Technology and data analytics (E) 科技和數據分析
    2、        Gettingconnected to the Internet of Things 和網際網路相連3、        Applyingbig data and data analytics
  • R語言數據分析利器——data.table包
    ,用於數據框格式數據的處理,最大的特點快。包括兩個方面,一方面是寫的快,代碼簡潔,只要一行命令就可以完成諸多任務,另一方面是處理快,內部處理的步驟進行了程序上的優化,使用多線程,甚至很多函數是使用C寫的,大大加快數據運行速度。因此,在對大數據處理上,使用data.table無疑具有極高的效率。這裡我們主要講的是它對數據框結構的快捷處理。