大數據分析工具大匯總

2021-03-06 GitChat精品課

大數據分析Storm:Apache Storm是一種開源的分布式實時計算系統。Storm加速了流數據處理的過程,為Hadoop批處理提供實時數據處理。

Spark:Spark是一個兼容Hadoop數據源的內存數據處理平臺,運行速度相比於HadoopMapReduce更快。Spark適合機器學習以及交互式數據查詢工作,包含Scala、Python和JavaAPI,這更有利於開發人員使用。

Twitter流處理工具Summingbird:與Storm和Scalding相似,開發者可以使用非常接近原生的Scala或者Java在Summingbird上執行MapReduce作業。

AWSKinesis:AmazonKinesis是一種實時數據流處理管理服務。它可以收集和處理來自不同數據源的數據,允許開發者編寫可處理實時信息的應用程式,來源網站click-streams、營銷和財務信息、製造工具和社交媒體,和操作日誌和計量數據。

DataTorrent:DataTorrent是實時流媒體平臺,可使企業執行數據處理或轉換結構化與非結構化數據、實時數據流到數據中心。該產品主要利用Hadoop2.0和YARN技術。

SpringXD:通過任意數量的處理器,SpringXD架構支持事件驅動的數據流攝入。流是由Spring集成適配器支持。

SQLStream:SQLStream為流媒體分析、可視化和機器數據持續集成提供了一個分布式流處理平臺。大數據(Hadoop)即服務ElasticMapReduce:AmazonElasticMapReduce(亞馬遜EMR)是一個web服務,提供大量數據處理。通過一個大小可調整的AmazonEC2實例集群,EMR使用Hadoop來分配並處理數據。

Qubole:Qubote的大數據服務提供Hadoop集群內置數據連接器和大數據項目圖形編輯器。

Mortar:Mortar是一個通用的大規模科學數據平臺。它建立在AmazonWeb服務雲,使用彈性MapReduce(EMR)啟動Hadoop集群並處理大型數據集。Mortar可運行ApachePig,這是一個構建在Hadoop上的數據流語言。此外,Mortar還可運行Hadoop]、Pig、Java、Python和Luigi等,讓用戶專注於研究科學數據,無需擔心IT基礎設施。

Rackspace:RackspaceHadoop集群可運行HadoopRackspace託管專用伺服器,自旋向上Hadoop公共雲,或配置自己的私有雲。

Joyent:JoyentHadoop是一個基於ApacheHadoop項目大數據託管環境雲的解決方案。提供數據存儲服務獲取、分析和訪問任何數據格式、數據管理服務以處理、監控和運行Hadoop及數據平臺服務安全、存檔和規模一致的可用性。

Google:Hadoop在谷歌的雲平臺上使用開源的ApacheHadoop谷歌計算引擎的虛擬機。SQL-in-Hadoop解決方案ApacheHive:ApacheHive優化了大型數據集分布式存儲的查詢和管理過程。Mapreduce開發者也可以插入自定義映射器和還原劑。

Impala:Cloudera的Impala是一個開源的大規模並行處理(MPP)SQL查詢引擎,運行在ApacheHadoop。用戶可直接查詢存儲在HDFS和ApacheHBase的數據,無需進行數據遷移或轉換。

Shark:Shark是一種與ApacheHive兼容的Spark數據倉庫系統。Shark支持Hive查詢語言、metastore、序列化格式和用戶自定義函數。

SparkSQL:SparkSQL的前身是shark。在hadoop發展過程中,為了給熟悉RDBMS但又不理解MapReduce的技術人員提供快速上手的工具,hive應運而生,是當時唯一運行在hadoop上的SQL-on-Hadoop工具。但是,MapReduce計算過程中大量的中間磁碟落地過程消耗了大量的I/O,降低的運行效率,為了提高SQL-on-Hadoop的效率,大量的SQL-on-Hadoop工具開始產生。

ApacheDrill:ApacheDrill目前是Apache的一個孵化項目。提供了不同數據源特別的查詢,包括嵌套數據。受GoogleDremel的啟發,Drill是專為大型數據集提供可擴展性和查詢的能力。該項目是由MapR寫成。

ApacheTajo:ApacheTajo是ApacheHadoop大數據相關的分布式數據倉庫系統。Tajo專為低延遲、可擴展的即時查詢、在線聚合及ETL(提取-轉換-裝載過程)在大型數據集存儲在HDFS(Hadoop分布式文件系統)和其他數據源。

Presto:Presto框架轉眼間從Facebook框架是一個Presto是Facebook開發的開源分布式SQL查詢引擎,支持對任意級大小的數據源進行快速地交互分析。

Phoenix:Phoenix是一款開源的ApacheHBaseSQL查詢引擎,由JDBC驅動程序,可使用SQL查詢和管理HBase表。此項目已提交成為Apache孵化器項目。

Pivotal’sHAWQ:作為Pivotal大數據集的一部分,HAWQ是一個MPPSQL處理引擎。HAWQ實際上就是一個大規模並行處理工程或MPP,資料庫運行在Hadoop中,位於HDFS的頂部。作為一個單一的系統,它將一整套聚合基礎設施嵌入系統,那套聚合基礎設施可以運行和提供Hadoop和HDFS必須提供的所有功能以及你能從MPP資料庫中獲得的規模、性能和可查詢功能。大數據Lambda架構Lambda系統架構(LA)提供了一個結合實時數據和Hadoop預先計算的數據環境的混合平臺,以提供一個實時的數據視圖。Lambda架構框架主要包括:

Twitter’sSummingbird:Twitter的開源Summingbird大數據分析工具,通過整合批處理與流處理來減少它們之間的轉換開銷。區別於以往的更快、更準確節奏,Summingbird更注重於流處理與批處理的無縫整合,以及程式語言的原生化。

Summingbird是一個大規模數據處理系統,支持開發者以批處理模式(基於Hadoop/MapReduce)或流處理模式(基於Storm)或混合模式(即組合前兩種模式)以統一的方式執行代碼。

Lambdoop:Lambdoop是一個Java框架,用於以與Lambda架構一致的方式開發大數據應用。Lambda架構的特色是有一個不可修改、只能追加數據的主資料庫,並組合了批處理、服務和加速等不同的層。

相關焦點

  • 大數據分析BI工具有哪些?BI工具推薦
    隨著大數據的迅速發展,時下許多企業面臨著最重要的現實問題是如何對大數據進行分析。只有通過大數據分析才能獲取到更智能的,深入的,有價值的信息。越來越多的應用涉及到大數據,這些大數據的屬性,包括其數量、速度、多樣性等等,都呈現出大數據日益複雜的特點。
  • 大數據分析工具採購指南
    一旦組織決定要購買一個大數據分析工具,下一步就是制定一個流程,評估可用的產品,然後從中找到一個最適合你需求和要求的產品。下面我們將介紹在評估各種大數據分析工具符合企業需求的程度時可能用到的必備特性和特定屬性。然後,你再編寫一個預案請求(RFP),說明使用這些工具將如何解決組織的需求。評估標準建模技術的廣度與深度。
  • 大數據分析工具有哪些?
    大數據分析和處理工具大數據是一種從各種類型的數據中快速獲取有效且有價值的信息的技術。 在大數據領域,當今已經出現了大量新的且易於操作的技術。 有效的工具。大數據存儲技術Hdfs,Hbase,Hive,s3,Kudu,MongoDB,Neo41, Redis,Alluxio(Tachyon),Solr,ElasticSearch3.數據分析挖掘大數據分析與挖掘
  • 大數據信息分析的方法與工具
    導讀 越來越多的應用涉及到大數據,不幸的是所有大數據的屬性,包括數量、速度、多樣性等等都是描述了資料庫不斷增長的複雜性。
  • 全球100款大數據工具匯總
    DataSimp」文章分類頁(關注後右下角菜單項)簡介:全球100款大數據工具匯總(9100字)從數據的獲取、爬取、存儲、處理、分析、BI、組件、框架、資源管理、集群、調度、性能已經在全球各大企業大量應用,非常適合數據科學與技術夥伴使用,部分開源產品在GitHub有對應項目,祝大家學習愉快~來源:豆瓣網、
  • 數據分析工具怎麼選?10大諫言!
    數據分析有三大問:如何入門數據分析?數據分析有哪些工具?怎麼做數據分析?關於第一問,想必讀完我公眾號《10周入門系列文章》的同學,應該有大致的認識。今天開始講第二大問題——數據分析工具!技術類分析師,往往在IT部、數據中心。根據從事的工作環節不同,被分成資料庫工程師,ETL工程師,爬蟲工程師,算法工程師等角色。在中小企業,往往一個技術小哥通吃這些流程。在大企業,一個標準的數據中心,一般都有數據倉庫、專題分析、建模分析等組來完成數據開發工作,再大的公司,還有專門負責數據治理的小組。
  • BI大數據分析是什麼,大數據bi工具有哪些
    大數據分析:指無法在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的數據集合。是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。數據分析是指用適當的統計分析方法對收集來的大量數據進行分析,提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。
  • 大數據分析四大分析要素
    任何數據分析過程都包括四大要素:場景+數據+工具+方法,數據分析起點必須來源於某個場景下的需求,根據需求目標(場景),搭建分析框架(方法),提取需要的數據指標(數據),用適合的工具實現,最後提煉結論,給出建議或策略。
  • 辦公必備的大數據分析利器,數據分析工具推薦
    說到數據分析,很多小夥伴可能第一時間聯想到複雜的算法,龐大的數據,甚至是讓人眼花繚亂的代碼。但實際上,運營做數據分析並不需要懂這些,關鍵是你對業務流程的理解,以及用數據解決問題的思維。本文將介紹在一些領域被高頻率使用,且不可缺少的大數據分析利器,使用尚可的數據分析工具。
  • 大數據下Python的三款大數據分析工具
    在本文中,我們準備討論三個關於Python在大數據方面處理的工具,可以幫助大家在產品層面提升大數據編程的技術。背景在本文中,我使用了virtualenv,pyenv,你也可以使用其它環境或本地的Python均可。
  • 大數據分析BI工具有哪些?
    隨著網絡技術的進步,數據分析逐漸成為了一個重要的工具,同時也是一個對數據進行詳細研究和概括總結的過程。下面給大家推薦幾款主流的大數據分析BI工具,幫助用戶分析生活、工作中遇到的問題!一、TableauTableau是目前市面上較為成功的BI工具。產品既有針對性,又有普適性。拖放式界面,操作簡單。
  • 大數據技術的方法與工具2-分析篇
    大數據技術的方法與工具2-分析篇 2020-08-07 09:05 來源:澎湃新聞·澎湃號·湃客
  • 大數據分析資料精選
    與統計學、數據分析、數據挖掘、商業智能、數據開發、數據展現等相關的經典資料匯總,均搬運自網際網路上各數據愛好者對外分享公布,數據哥在此僅匯總整理作為學習
  • 大數據可視化分析工具常用的有哪些?
    大數據可視化分析工具常用的有哪些?企業基礎數據才能制定出正確的策略,常用的分析工具有、Tableau、ECharts、Highcharts、魔鏡、圖表秀等。在大數據時代有價值的商品則是數據,大數據技術為決策提供依據,在政府、企業、科研項目等決策中扮演著重要的角色。
  • Top 7大開源數據可視化分析工具!
    Top 7大開源數據可視化分析工具! Top 7大開源數據可視化分析工具!在所有工具中,Gephi一直以來被認為是最值得推薦的,它可以幫助用戶輕鬆實現超過十萬個節點的可視化。但是,除了Gephi,還有很多免費開源工具可供選擇,本文列出了頂級的七大數據可視化分析工具,可幫助企業分析並梳理數據之間的關係。
  • 55 個實用大數據可視化分析工具
    一款好的工具可以讓你事半功倍,尤其是在大數據時代,更需要強有力的工具通過使數據有意義的方式實現數據可視化,還有數據的可交互性;我們還需要跨學科的團隊
  • 55 個實用的大數據可視化分析工具
    一款好的工具可以讓你事半功倍,尤其是在大數據時代,更需要強有力的工具通過使數據有意義的方式實現數據可視化,還有數據的可交互性;我們還需要跨學科的團隊,而不是單個數據科學家、設計師或數據分析員;我們更需要重新思考我們所知道的數據可視化,圖表和圖形還只能在一個或兩個維度上傳遞信息, 那麼他們怎樣才能與其他維度融合到一起深入挖掘大數據呢?此時就需要倚仗大數據可視化(BDV)工具。
  • 11款可視化大數據分析工具優缺點對比
  • Greenplum大數據分析工具亮相EMC World
    根據EMC World 2012大會消息,EMC在24日宣布推出1000節點集群Greenplum數據分析工作檯(Greenplum Analytics Workbench)上線,該工作檯將作為一種實驗室環境使用,以加速大數據創新的步伐。
  • 大數據研究常用軟體工具與應用場景 - 大數據_CIO時代網 - CIO時代...
    如今,大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點,以及分析方法思路的擴展,傳統統計工具已經難以應對。  工欲善其事,必先利其器。眾多新的軟體分析工具作為深入大數據洞察研究的重要助力, 也成為數據科學家所必須掌握的知識技能。