大數據研究常用軟體工具與應用場景

2020-12-15 51CTO

如今，大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點，以及分析方法思路的擴展，傳統統計工具已經難以應對。

工欲善其事，必先利其器。眾多新的軟體分析工具作為深入大數據洞察研究的重要助力， 也成為數據科學家所必須掌握的知識技能。

然而，現實情況的複雜性決定了並不存在解決一切問題的終極工具。實際研究過程中，需要根據實際情況靈活選擇最合適的工具（甚至多種工具組合使用），才能更好的完成研究探索。

為此，本文針對研究人員（非技術人員）的實際情況，介紹當前大數據研究涉及的一些主要工具軟體（因為相關軟體眾多，只介紹常用的），並進一步闡述其應用特點和適合的場景，以便於研究人員能有的放矢的學習和使用。

【基礎篇】

傳統分析/商業統計

Excel、SPSS、SAS 這三者對於研究人員而言並不陌生。

◆ Excel 作為電子表格軟體，適合簡單統計（分組/求和等）需求，由於其方便好用，功能也能滿足很多場景需要，所以實際成為研究人員最常用的軟體工具。其缺點在於功能單一，且可處理數據規模小（這一點讓很多研究人員尤為頭疼）。這兩年Excel在大數據方面（如地理可視化和網絡關係分析）上也作出了一些增強，但應用能力有限。

SPSS（SPSS Statistics)和SAS作為商業統計軟體，提供研究常用的經典統計分析（如回歸、方差、因子、多變量分析等）處理。
◆ SPSS 輕量、易於使用，但功能相對較少，適合常規基本統計分析
◆ SAS 功能豐富而強大（包括繪圖能力），且支持編程擴展其分析能力，適合複雜與高要求的統計性分析。

上述三個軟體在面對大數據環境出現了各種不適，具體不再贅述。但這並不代表其沒有使用價值。如果使用傳統研究方法論分析大數據時，海量原始數據資源經過前期處理（如降維和統計匯總等）得到的中間研究結果，就很適合使用它們進行進一步研究。

數據挖掘

數據挖掘作為大數據應用的重要領域，在傳統統計分析基礎上，更強調提供機器學習的方法，關注高維空間下複雜數據關聯關係和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身為Clementine）

SPSS Modeler 的統計功能相對有限, 主要是提供面向商業挖掘的機器學習算法（決策樹、神經元網絡、分類、聚類和預測等）的實現。同時，其數據預處理和結果輔助分析方面也相當方便，這一點尤其適合商業環境下的快速挖掘。不過就處理能力而言，實際感覺難以應對億級以上的數據規模。

另一個商業軟體 Matlab 也能提供大量數據挖掘的算法，但其特性更關注科學與工程計算領域。而著名的開源數據挖掘軟體Weka，功能較少，且數據預處理和結果分析也比較麻煩，更適合學術界或有數據預處理能力的使用者。

【中級篇】

1、通用大數據可視化分析

近兩年來出現了許多面向大數據、具備可視化能力的分析工具，在商業研究領域，TableAU無疑是卓越代表。

TableAU 的優勢主要在於支持多種大數據源/格式，眾多的可視化圖表類型，加上拖拽式的使用方式，上手快，非常適合研究員使用，能夠涵蓋大部分分析研究的場景。不過要注意，其並不能提供經典統計和機器學習算法支持， 因此其可以替代Excel, 但不能代替統計和數據挖掘軟體。另外，就實際處理速度而言，感覺面對較大數據（實例超過3000萬記錄）時，並沒有官方介紹的那麼迅速。

2 、關係分析

關係分析是大數據環境下的一個新的分析熱點（比如信息傳播圖、社交關係網等），其本質計算的是點之間的關聯關係。相關工具中，適合數據研究人員的是一些可視化的輕量桌面型工具，最常用的是Gephi。

Gephi 是免費軟體，擅長解決圖網絡分析的很多需求，其插件眾多，功能強且易用。我們經常看到的各種社交關係/傳播譜圖, 很多都是基於其力導向圖（Force directed graph）功能生成。但由於其由java編寫，限制了處理性能（感覺處理超過10萬節點/邊時常陷入假死），如分析百萬級節點（如微博熱點傳播路徑）關係時，需先做平滑和剪枝處理。 而要處理更大規模（如億級以上）的關係網絡（如社交網絡關係）數據，則需要專門的圖關係資料庫（如GraphLab/GraphX）來支撐了，其技術要求較高，此處不再介紹。

3、時空數據分析

當前很多軟體（包括TableAU）都提供了時空數據的可視化分析功能。但就使用感受來看，其大都只適合較小規模（萬級）的可視化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千萬級以上的時空數據，比如新浪微博上億用戶發文的時間與地理分布（從省到街道多級粒度的探索）時，推薦使用 NanoCubes（http://www.nanocubes.net/）。該開源軟體可在日常的辦公電腦上提供對億級時空數據的快速展示和多級實時鑽取探索分析。下圖是對芝加哥犯罪時間地點的分析，網站有更多的實時分析的演示例子

4、文本/非結構化分析

基於自然語言處理（NLP）的文本分析，在非結構化內容（如網際網路/社交媒體/電商評論）大數據的分析方面（甚至調研開放題結果分析）有重要用途。其應用處理涉及分詞、特徵抽取、情感分析、多主題模型等眾多內容。

由於實現難度與領域差異，當前市面上只有一些開源函數包或者雲API（如BosonNLP）提供一些基礎處理功能，尚未看到適合商業研究分析中文文本的集成化工具軟體（如果有誰知道煩請通知我）。在這種情況下，各商業公司（如HCR）主要依靠內部技術實力自主研發適合業務所需的分析功能。

【高級篇】

前面介紹的各種大數據分析工具，可應對的數據都在億級以下，也以結構化數據為主。當實際面臨以下要求： 億級以上/半實時性處理/非標準化複雜需求 ，通常就需要藉助編程（甚至藉助於Hadoop/Spark等分布式計算框架）來完成相關的分析。 如果能掌握相關的程式語言能力，那研究員的分析能力將如虎添翼。

當前適合大數據處理的程式語言，包括：

R語言——最適合統計研究背景的人員學習，具有豐富的統計分析功能庫以及可視化繪圖函數可以直接調用。通過Hadoop-R更可支持處理百億級別的數據。 相比SAS，其計算能力更強，可解決更複雜更大數據規模的問題。

Python語言——最大的優勢是在文本處理以及大數據量處理場景，且易於開發。在相關分析領域，Python代替R的勢頭越來越明顯。

Java語言——通用性程式語言，能力最全面，擁有最多的開源大數據處理資源（統計、機器學習、NLP等等）直接使用。也得到所有分布式計算框架（Hadoop/Spark）的支持。

前面的內容介紹了面向大數據研究的不同工具軟體/語言的特點和適用場景。 這些工具能夠極大增強研究員在大數據環境下的分析能力，但更重要的是研究員要發揮自身對業務的深入理解，從數據結果中洞察發現有深度的結果，這才是最有價值的。

【編輯推薦】

【責任編輯：

李英傑

TEL：（010）68476606】

點讚 0

相關焦點

  • 大數據研究常用軟體工具與應用場景 - 大數據_CIO時代網 - CIO時代...
    如今，大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點，以及分析方法思路的擴展，傳統統計工具已經難以應對。　　工欲善其事，必先利其器。眾多新的軟體分析工具作為深入大數據洞察研究的重要助力， 也成為數據科學家所必須掌握的知識技能。
  • 大數據入門:Hive應用場景
    在大數據的發展當中，大數據技術生態的組件，也在不斷地拓展開來，而其中的Hive組件，作為Hadoop的數據倉庫工具，可以實現對Hadoop集群當中的大規模數據進行相應的數據處理。今天我們的大數據入門分享，就主要來講講，Hive應用場景。
  • 應用語言學研究必備實用工具
    應用語言學研究包括理論研究和實證研究。理論研究在於提出、發展與建立應用語言學的理論體系，包括術語體系、分類體系與概括性話語體系。實證研究是基於數據的探索過程，包括數據收集、數據檢索、數據加工、數據分析和數據解釋。數據可以是文字資料，也可以是數字資料。數據可以是來自於一個或者幾個案例的資料，也可以是來自大量案例的資料。
  • 常用的數據分析工具
    科學技術的發展帶動信息的不斷傳播，信息傳播過程中產生了大量的數據，這些數據對我們的生活產生了很大的影響，比如在某寶上購買產品，會比較店鋪的銷售量、好評等數據。除了這些直觀的數據之外，數據背後隱藏的秘密就需要分析所得。今天從定義、功能、應用領域介紹幾款常用的數據分析工具。
  • 大數據場景中語言虛擬機的應用和挑戰
    大數據場景中語言虛擬機的應用和挑戰吳明瑜1,2, 陳海波1,2, 臧斌宇1,21 領域作業系統教育部工程研究中心，上海 2002402 上海交通大學軟體學院並行與分布式系統研究所，上海 200240摘要：語言虛擬機為大數據應用提供了與平臺無關的執行環境，簡化了應用的開發和部署，因此在大數據場景中得到了較廣泛的應用。
  • 學術研究中常用到的輔助工具
    不僅支持常用的文獻格式，還可以將Word、PowerPoint、Excel等自動轉換為PDF文件閱讀，便於您統一管理和記錄筆記。（3） 便利的文獻閱讀和筆記管理平臺：您可以對多種格式的文獻進行深入研讀，直接在文獻全文上記錄筆記和標註。（4） 提供了各種寫作輔助工具。直接應用筆記內容，自動生成來源，提供數千種期刊模板，可直接編輯撰寫，支持各種期刊的在線投稿。
  • 大一新生應該學習哪些軟體工具的使用
    首先，對於大一新生來說，除了程式語言等知識之外，在學習軟體工具方面，可以重點關注三類軟體工具，其一是office系列，其中Word、Excel、PowerPoint等軟體就比較常用，其二是設計類軟體，比如
  • 大數據的分析軟體工具有哪些?都有什麼用?
    導讀 數據有各種各樣的分析軟體工具，本文要跟大家介紹的是在一些領域被高頻率使用，且不可缺少的大數據分析利器
  • 常用的軟體測試工具大全
    Mercury QuickTest Pro為每一個重要軟體應用和環境提供功能和回歸測試自動化的行業最佳解決方案4.TestDirector基於WEB的測試管理工具。他能夠讓你系統地控制整個測試過程，並創建整個測試工作流的框架和基礎，使整個測試管理過程變得更為簡單和有組織。
  • 大數據可視化分析工具常用的有哪些?
    大數據可視化分析工具常用的有哪些?企業基礎數據才能制定出正確的策略，常用的分析工具有、Tableau、ECharts、Highcharts、魔鏡、圖表秀等。在大數據時代有價值的商品則是數據，大數據技術為決策提供依據，在政府、企業、科研項目等決策中扮演著重要的角色。
  • 數據可視化的三個應用場景
    數據可視化是數據內在價值的最終呈現手段，它利用各類圖表將雜亂的數據有邏輯的展現出來，使用戶找到內在規律，發現問題，從而指導經營決策。數據可視化廣泛應用於政府、企業經營分析等。數據可視化工具將企業經營所產生的的所有有價值的數據集中在一個系統中去集中實現。
  • 數據分析工具怎麼選?10大諫言!
    數據分析有三大問：如何入門數據分析？數據分析有哪些工具？怎麼做數據分析？關於第一問，想必讀完我公眾號《10周入門系列文章》的同學，應該有大致的認識。今天開始講第二大問題——數據分析工具！為什麼小企業招數據分析師其實就是Excel做報表，大企業找數據分析是卻是把玩高大上的Python、R？這就要看企業的數據架構。
  • 高校數據科學教育未來趨勢:工具級打通教學、科研和生產場景
    也就是說，在傳統數據領域中一些常用工具方法的應用發展已經趨於飽和，例如R語言；甚至有一部分開始進入衰退階段，例如Hadoop；而像Python、深度神經網絡、還有一些交叉領域的數據科學例如公眾數據科學、高級異常檢測應用仍處於創新的高峰期，有著更多的發展潛力和創新方向。
  • [收藏] 值得關注的12大開源大數據分析應用軟體
    據New Vantage Partners公司對《財富》1000強公司的高層主管開展的調查顯示，如今62.5%的企業在生產環境中至少運行一種大數據工具或應用軟體。這比2013年給出同樣回復的企業數量高出近一倍，只有5.4%的受訪企業沒有大數據計劃。
  • 專業簡介||大數據技術與應用
    數據分析方法是理論，而數據分析工具就是實現數據分析方法理論的工具，面對越來越龐大的數據，必須依靠強大的數據分析工具幫我們完成數據分析工作。 本專業對接國家重點扶持的戰略性新興產業。目前市場上的大數據公司大體分為兩類：一類專注於細分領域，做大數據的垂直應用，比如金融大數據、營銷大數據、政務大數據、網際網路營銷大數據等；另一類則傾向於做覆蓋各行各業的全域大數據，這類廠商有些從垂直大數據開始不斷的擴展行業領域，有些則是一開始就定位於全域大數據平臺。大數據功能應用場景圖譜：
  • 大數據涉及的技術理論和資源工具
    這些其實都是模式識別（Pattern Recognition）技術的應用，核心問題是特徵（維度較高）的抽取和相似/匹配性比較。 3主要技術資源與工具 在前面了解的技術理論之上，我們進一步介紹大數據業務中可使用的技術資源和工具。
  • Java程式設計師常用的軟體
    java程式設計師常用的軟體一、常用的開發工具（1）Eclipse（2）JMeterApache JMeter是Apache組織開發的壓力測試工具，也是目前應用最廣泛的開源性能測試工具之一。它最初被設計用於Web應用測試，後來擴展到其他測試領域。像其他性能測試工具一樣，JMeter可以用於對伺服器、網絡或對象模擬巨大的負載，來測試不同壓力類別下應用系統的強度，分析應用系統的整體性能。
  • 高校教育創新如何應用大數據
    而部分發達國家已經將大數據提升到國家戰略層面，並投入巨資對大數據相關核心技術進行研究，尤其是在教育層面，2012年美國教育部發表《通過教育數據挖掘和學習分析促進教與學》報告及2014年美國政府發布的《大數據》白皮書，指出大數據將變革生活中的每一個領域，教育領域已經進入了一個「數據驅動學校，分析變革教育」的大數據時代，大數據必將改變傳統教育的面貌。
  • 大數據技術的方法與工具1-採集篇
    在現實生活中，數據產生的種類很多，並且不同種類的數據產生的方式不同，所以大數據採集的方法和所用的工具分為以下幾種：一採集方法通過系統日誌採集大數據：用於系統日誌採集的工具常見的有Hadoop Chukwa、Cloudera Flume、Facebook Scribe和LinkedIn Kafka
  • 大數據技術的方法與工具2-分析篇
    大數據可以概括為5個V， 數據量大(Volume)、速度快(Velocity)、類型多(Variety)、價值（Value）、真實性（Veracity）。大數據作為時下最火熱的IT行業的詞彙，隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大數據時代的來臨，大數據分析也應運而生。