圖解Hadoop生態系統

2020-11-29 CSDN技術社區

【CSDN綜合編譯】雖然Hortonworks和Cloudera在Apache Hadoop統治力排行榜上分列一、二，但在整理Hadoop生態系統中，他們還只能算作初創公司，仍然可能被大鱷們扼殺或收購。

圖：Hadoop生態系統。（供圖：GigaOM，原圖可以點擊查看公司信息。）

GigaOM將Hadoop生態圈的公司分為11種，分別是：

  • Hadoop即服務（基礎設施：這些服務與IaaS服務關係緊密，包括Amazon Elastic MapReduce、GoGrid Big Data Solution、Windows Azure HD Insights等等。
  • SQL接口：Hive是名副其實的主流，還包括Cloudera Impala、Hortonworks Stinger Initiative、EMC Greenplum這些號稱提升幾十到上百倍Hive效率的工具，但這還需要更多的應用場景的實踐才能讓人信服。
  • 二次銷售商：第二種是將Hortonworks或Cloudera的Hadoop發行版打包在自己已有的產品或服務中，他們本身並不具備開發Hadoop的能力。

（責編/ 包研  審校/仲浩）

原文：

GigaOM

關注

@CSDN雲計算

微博參與討論，了解更多雲信息。

本文為CSDN編譯整理，未經允許不得轉載。如需轉載請聯繫market@csdn.net。

相關焦點

  • hadoop最新發行穩定版:DKHadoop版本介紹
    Hadoop對於從事網際網路工作的朋友來說已經非常熟悉了，相信在我們身邊有很多人正在轉行從事hadoop開發的工作，理所當然也會有很多hadoop入門新手。Hadoop開發太過底層，技術難度遠比我們想像的要大，對新手而言選擇一個合適的hadoop版本就意味著上手更快！
  • 圖解聯想法突破「生態系統」必考點
    生態系統常考的考點中難度最大的是能量流動中能量的「來去」分析及計算，複習時可採取從圖解切入，剖析能量流動過程，總結規律，深化理解的策略。其餘考點的複習應從圖解或典例切入，圍繞核心知識進行全面複習和系統總結。
  • hadoop入門基礎教程操作篇
    關於hadoop的分享此前一直都是零零散散的想到什麼就寫什麼，整體寫的比較亂吧。最近可能還算好的吧，畢竟花了兩周的時間詳細的寫完的了hadoop從規劃到環境安裝配置等全部內容。寫過程不是很難，最煩的可能還是要給每一步配圖，工程量確實比較大。
  • hadoop基礎知識介紹_hadoop是什麼語言開發的_hadoop能做什麼
    Hadoop=HDFS（文件系統，數據存儲技術相關）+ Mapreduce（數據處理），Hadoop的數據來源可以是任何形式，在處理半結構化和非結構化數據上與關係型資料庫相比有更好的性能，具有更靈活的處理能力，不管任何數據形式最終會轉化為key/value，key/value是基本數據單元。
  • hadoop開發應用實例_hadoop應用開發技術實例詳解 - CSDN
    hadoop是什麼?hadoop能有哪些應用?hadoop和大數據是什麼關係?下面我們將圍繞這幾個問題詳細闡述。hadoop是什麼?Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。
  • ​生態系統組成成分及碳循環圖解中各成分的判斷方法
    生態系統組成成分及碳循環圖解中各成分的判斷方法(1)根據生物類型判斷生態系統的組成成分
  • 銀興智能:助力廣發銀行打造Hadoop資源管理平臺
    據深圳銀興智能數據有限公司（簡稱：銀興智能）介紹，隨著廣發銀行大數據平臺hadoop集群應用場景越來越多，研發中心、數據中心、卡中心和分行等部門均在大數據平臺上進行數據開發和數據分析，由於數據開發和分析的場景各不相同，使用和購置的資源也不同。
  • Hadoop資源管理與作業調度框架yarn剖析
    提到Hadoop，大家可能首先想到的是Hdfs存儲、mapreduce離線計算，Hadoop2.x推出yarn（Yet Another Resource Negotiator）之後，hadoop已搖身一變為資源管理與作業調度平臺，基於yarn可在hadoop集群上可運行mepreduce（離線計算
  • Apache Hadoop 3.0.0 GA 正式發布,要求 Java 8
    更多關於HDFS的糾刪碼可以參見http://hadoop.apache.org/docs/r3.0.0-beta1/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html或者直接閱讀本博客Hadoop 3.0糾刪碼(Erasure Coding)：節省一半存儲空間的相關介紹。
  • Hadoop技術生態簡介
    大數據的發展歷史當中，Hadoop技術框架是佔據著重要地位的，歷經十多年的時間，依然是企業搭建大數據平臺基礎架構的主流選擇，圍繞著Hadoop而生的大數據生態組件，也都各自發揮著各自的作用。今天的Hadoop大數據培訓分享，我們來坐Hadoop技術生態做一個簡單的介紹。
  • Hadoop是低成本的大數據解決方案?別逗了!
    這裡，我們就來對比一下這兩個主流的技術選型： 以企業擁有10TB數據為例，自建hadoop集群，則至少需要6臺機器(3nodes+2NameNode+1jobtracker)，成本在20萬左右。除此之外，還需要投入機房資源，網絡設備和運維成本。這其中主要是運維成本，要知道一個運維人員的成本一年至少15萬。這樣，整體算下來要55萬左右。
  • Hadoop大數據生態系統及常用組件簡介
    Hadoop生態系統與基礎組        Hadoop2.0的時候引入了HA(高可用)與YARN(資源調度)，這是與1.0的最大差別。Hadoop主要由3部分組成：Mapreduce編程模型，HDFS分布式文件存儲，與YARN。
  • 圖解:RTB廣告生態系統
    RTB（Real Time Bidding）生態系統這是Econsultancy給出的RTB廣告生態系統圖，其中涉及到的服務商類型包括：Demand-sideDSP是在展示廣告購買系統最上層的技術層，而這個系統能夠根據多種參數和數據源的印象層決策來優化整個媒體購買流程。DSP能夠幫助媒體購買方匯總、競價以及優化多種來源的數字資產。
  • 8臺Hadoop伺服器進行集群規劃前配置
    通過VMware將虛擬機分布在這8塊硬碟上，模擬在一個機架上的8臺伺服器：編號：/BJ0/LG0/hadoop221-228其中：221-222：NameNode，223-228：DataNode集群規劃集群規劃如下：（伺服器編號為hadoop221-hadoop228）註：1、NameNodes和zkfc
  • 汽車傳動系統——傳動系的種類圖解
    汽車行駛系統——彈簧減震器結構圖解汽車行駛系統——車輪和車輞結構圖解汽車行駛系統——輪胎的結構全面圖解汽車傳動系統——傳動系的種類圖解 汽車傳動系統——離合器總成結構圖解
  • 高中生物說課稿:《生態系統的能量流動》
    《生態系統》的第三部分《生態系統的能量流動》。本節知識和第三章《新陳代謝》的知識聯繫密切，又直接關係到《生態系統的物質循環》和《生態系統穩定性》的學習，學科內綜合性強，理論聯繫實際緊密，需要提高靈活運用知識、分析解決問題和識圖解圖能力。縱觀04—07三年來的全國高考題，該部分知識為高考熱點內容之一，歷年高考都會考查。
  • 汽車傳動系統——各類傳動的結構圖解
    汽車行駛系統——彈簧減震器結構圖解汽車行駛系統——車輪和車輞結構圖解汽車行駛系統——輪胎的結構全面圖解汽車傳動系統——傳動系的種類圖解 汽車傳動系統——離合器總成結構圖解
  • 汽車行駛系統——彈簧減震器結構圖解
    汽車行駛系統——彈簧減震器結構圖解汽車行駛系統——車輪和車輞結構圖解汽車行駛系統——輪胎的結構全面圖解汽車傳動系統——傳動系的種類圖解 汽車傳動系統——離合器總成結構圖解
  • 汽車行駛系統——車輪和車輞結構圖解
    汽車行駛系統——彈簧減震器結構圖解汽車行駛系統——車輪和車輞結構圖解汽車行駛系統——輪胎的結構全面圖解汽車傳動系統——傳動系的種類圖解 汽車傳動系統——離合器總成結構圖解
  • 2013成考生態學基礎複習:生態系統中的能量流動
    3.生態系統次級生產過程的一般模式圖解及該過程的能量公式。　　4.概述出生態系統次級生產量過程的一般模式，寫出次級生產能量公式。　　D.珊瑚礁　　3、下列生態系統中，初級生產力最高的是(A)　　A.沼澤與溼地　　B.開闊大洋　　C.荒漠　　D.凍原　　4、下列生態系統中，初級生產力最高的是(A)　　A.溫帶農田　　B.溫帶草原　　C.荒漠　　D.凍原　　5、下列生態系統中