史上最牛YARN介紹

2020-12-17 跟著我一起學編程

YARN 是一個資源調度平臺,負責為運算程序提供伺服器運算資源,相當於一個分布式的操 作系統平臺,而 MapReduce 等運算程序則相當於運行於作業系統之上的應用程式

Yarn的組成

1) ResourceManager(RM)

控制整個集群並管理應用程式向基礎計算資源的分配。

1、處理客戶端請求

2、啟動或監控ApplicationMaster

3、監控NodeManager

4、資源的分配與調度

2) ApplicationMaster(AM)

ApplicationMaster管理在YARN內運行的每個應用程式實例。

1、負責數據的切分

2、為應用程式申請資源並分配給內部的任務

3、任務的監控與容錯

3) NodeManager(NM)

NodeManager管理YARN集群中的每個節點。NodeManager提供針對集群中每個節點的服務,從監督對一個容器的終生管理到監視資源和跟蹤節點健康。

1、管理單個節點上的資源

2、處理來自ResourceManager的命令

3、處理來自ApplicationMaster的命令

4) Container:Container是YARN中的資源抽象,它封裝了某個節點上的多維度資源,如內存、CPU、磁碟、網絡等,當AM向RM申請資源時,RM為AM返回的資源便是用Container表示的。YARN會為每個任務分配一個Container,且該任務只能使用該Container中描述的資源。總的來說,Container有以下作用:

1、對任務運行環境進行抽象

2、封裝CPU、內存等多維度的資源以及環境變量、啟動命令等任務運行相關的信息

工作流程

(0)Mr程序提交到客戶端所在的節點

(1)Yarnrunner向Resourcemanager申請一個Application。

(2)rm將該應用程式的資源路徑返回給yarnrunner

(3)該程序將運行所需資源提交到HDFS資源路徑上

(4)程序資源提交完畢後,申請運行mrAppMaster

(5)RM將用戶的請求初始化成一個task

(6)其中一個NodeManager領取到task任務。

(7)該NodeManager創建容器Container,並產生MRAppmaster

(8)Container從HDFS資源路徑上拷貝資源到本地

(9)MRAppmaster向RM 申請運行maptask容器

(10)RM將運行maptask任務分配給另外兩個NodeManager,另兩個NodeManager分別領取任務並創建容器。

(11)MR向兩個接收到任務的NodeManager發送程序啟動腳本,這兩個NodeManager分別啟動maptask,maptask對數據分區排序。

(12)MRAppmaster向RM申請2個容器,運行reduce task。

(13)reduce task向maptask獲取相應分區的數據。

(14)程序運行完畢後,MR會向RM註銷自己。

相關焦點

  • 什麼是包芯紗,包芯紗介紹covering yarn
    什麼是包芯紗,包芯紗介紹covering yarn 2016-09-14 16:07:22 來源:全球紡織網 什麼是包芯紗
  • 阿里P8帶你走進YARN,一起探索YARN到底是什麼鬼東西?
    Yarn通俗介紹Apache Hadoop YARN (Yet Another Resource Negotiator,另一種資源協調者)是一種新的 Hadoop 資源管理器,它是一個通用資源管理系統和調度平臺,可為上層應用提供統一的資源管理和調度
  • Yarn 的內存分配管理機制及相關參數配置
    這裡還有一個Container的概念,現在可以先把它理解為運行map/reduce task的容器,後面有詳細介紹。1.1 RM的內存資源配置, 配置的是資源調度相關 RM1:yarn.scheduler.minimum-allocation-mb=1G #單個容器可申請的最小內存RM2:yarn.scheduler.maximum-allocation-mb=4G #單個容器可申請的最大內存
  • 更快、更強——解析Hadoop新一代MapReduce框架Yarn
    編者按:對於業界的大數據存儲及分布式處理系統來說,Hadoop 是耳熟能詳的卓越開源分布式文件存儲及處理框架,對於 Hadoop 框架的介紹在此不再累述,隨著需求的發展,Yarn 框架浮出水面, @依然光榮復興的 博客給我們做了很詳細的介紹,讀者通過本文中新舊 Hadoop MapReduce 框架的對比,更能深刻理解新的 yarn 框架的技術原理和設計思想
  • 史上最牛「大房東」名字叫新加坡
    史上最牛「大房東」名字叫新加坡   通常,一個社會裡「大房東」總是國家,在地球村裡,最牛「大房東」當屬新加坡。  新加坡面積很小,僅僅相當於香港的一半,新加坡人口510萬,香港人口710萬,今年,新加坡國內生產總值鐵定超過香港。
  • 史上最強壯的牛,靠吃草也能長肌肉,這牛肉多少錢一斤?
    史上最強壯的牛,靠吃草也能長肌肉,這牛肉多少錢一斤?提到牛排,小編就要給大家介紹一種史上最強壯的牛,它的神奇之處就在於只吃草就可以長肌肉。這種牛叫做藍白花牛。它們平均身高有1米5左右,體重可以達到1500斤,而且它們生長速度非常快,最高時可以達到每天長三斤。而且藍白花牛簡直就是牛類中的健身達人,看看藍白花牛的肌肉線條,這樣健美的牛肉不不煎牛排可惜了。
  • Spark on Yarn學習之Yarn運行過程和Yarn應用的實現
    【本文詳細介紹了Spark On Yarn 中Yarn運行過程和Yarn應用的實現,歡迎讀者朋友們閱讀、轉發和收藏!】1. Yarn 的啟動流程1.1 Yarn 啟動流程步驟整體流程如下:1.如果需要在一個 yarn 集群上運行程序 :首先得有個客戶端 client 來提交 job 到 ResourceManager(RM) 申請資源。
  • 史上最牛高速路橋墩:仿古浮雕金碧輝煌(組圖)
    (網友「天外天」供圖)  近日,在網絡上出現了一個題為「史上最牛橋墩」的帖子。帖子裡一組金碧輝煌的高速公路橋墩的圖片引發了廣泛的爭議。  11月12日,在國內一知名社區上出現了一個題為「金碧輝煌!某地驚現史上最牛橋墩」的帖子。
  • 史上最牛的登機牌,沒有姓名和身份證號碼
    登機牌上面的內容除了日期、航班號、到達站、座位號、登機口、登機時間、艙位等級外,最重要的兩項內容就是姓名和身份證號碼,如果缺少了這兩項,再完美的解釋也無法通過安檢,更不用說登上飛機了。然而就在昨天晚上,我們真的就見到了一批史上最牛的登機牌,它到底牛在哪兒?它就牛在上面沒有姓名和身份證號碼,雖然沒有記錄持有它的主人的身份信息,但它也能讓主人登上飛機去執行他們的使命。
  • 史上最牛釘子戶,連洪水都不能讓它搬走,如今成著名景點
    隨著現代社會的發展,各個城市為了建設,都會有拆遷重建的現象,也因此出現了許多釘子戶,他們因為各種各樣的原因,有可能是因為不滿意開發商的賠償款,有的是因為不想離開自己的家,這些釘子戶堅持多年不肯搬,因此被冠上了最牛釘子戶的名聲。
  • 史上最牛的《捕魚達人》遊戲火熱上線
    在這種繾綣的冬日,來一場捕魚下火鍋冬日狂歡什麼的最有愛!而此時此刻,史上最強的西子棋牌《捕魚達人》即將全線起航,來自大型3D視頻遊戲平臺---西子棋牌的超一流酷炫場景界面和一流的用戶光影效果體驗,雙重體驗驚喜大狂歡,即將在雪月全網席捲,熱愛冒險的海中少年,你準備好了嗎?來www.0571pk.com/體驗深海捕魚的快感和刺激吧。
  • 廣州亞運成「史上最牛」:逾八成場館將通地鐵
    逾八成亞運場館將通地鐵 廣州亞運將成「史上最牛」  本報訊 (見習記者遊星宇) 「創紀錄的42個比賽項目,88個訓練比賽場館,場館的地鐵覆蓋率超過80%……套用現在最流行的說法,這是史上最牛的一屆亞運會!」
  • 史上最牛的探險家,用糞便做刀當做逃生工具,硬是殺出一條生路
    史上最牛的探險家,用糞便做刀當做逃生工具,硬是殺出一條生路   今天小編給大家講講史上最牛的探險家,用糞便做刀當做逃生工具,硬是殺出一條生路。這個史上最牛的探險家叫Peter Freuchen,丹麥人,有很多身份,其中包括演員,探險家等。他的一生說是優秀,不如用傳奇二字來形容。
  • 史上最牛乞丐流浪中寫出15萬字《乞討日記》
    自此,他流浪街頭乞討,流浪中寫出15萬字的《乞討日記》,2008年出版,因此被網友稱為「史上最牛乞丐」。之後,夏海波開始在街頭以叫賣自己的書籍為生。  2007年—2009年,海峽導報6次報導他的故事。  故宮路,幾天前住進一個拄拐杖的人,身邊帶著老婆、孩子。
  • 史上最牛的「蒼蠅館」,每天只營業3小時,靠這7道菜火了30年!
    史上最牛的「蒼蠅館」,每天只營業3小時,靠這7道菜火了30年!平時大家應該都經常到外面去吃飯,到外面吃飯的時候,肯定會選擇那些做菜比較好吃的餐廳,現在的餐廳越來越多,雖然有一些老的餐廳都已經關門,但是能夠堅持下來的,裡面的菜做的都非常好吃,今天給大家介紹一家史上最牛的蒼蠅館,他每天只營業3個小時,如果超出了時間,就算給雙倍的價錢都不賣,主要是靠七道菜火了30年,現在都成了網紅店鋪了,來吃的人非常多,很多人都是卡著點過來排隊吃的。
  • 史上最牛整容:小狗被主人花800萬韓幣割雙眼皮
    【史上最牛整容案例:韓國一小狗被主人花800萬韓幣割出雙眼皮】狗狗原本小眼睛,但因眼裡有膿包不易痊癒,於是主人就去給它做了雙眼皮外加開眼角手術。狗狗花了9萬韓幣買回來的,手術費花了800萬韓幣(約4.8萬人民幣)。PS:眼睛變大的確看上去更萌,但小狗真願意這樣嗎?
  • 成都史上最牛五大開業事件盤點
    對於土生土長的成都人來說,如果問他們成都史上最牛的開業事件,你一定會得到一個答案!「震撼、震撼、最震撼!」  究竟什麼樣的開業事件能被記入成都史冊,你看完下面的五大開業事件後,就會了解世界如此美好,他們開業卻如此火爆!
  • 史上最「接近神」的男人,因為太牛了,所以被教科書給抹去?
    史上最「接近神」的男人,因為太牛了,所以被教科書給抹去? 他就是尼古拉·特斯拉,可能大家在物理書上認識了他。
  • 重慶五層大樓江上漂,網友稱史上最牛搬家,真相原來是……
    視頻中一座五層的大樓被兩艘駁船推著在江中緩緩移動,被網友戲稱為「史上最牛搬家」。五層大樓江上漂這下吃瓜群眾們樂了,紛紛表示沒見過這麼牛的搬家,重慶似乎一直以來就跟我們不是一個次元的。但凡有這麼新鮮的事,網友評論區永遠是最熱鬧最好看的地方。
  • 史上最牛婚車!新人乘高鐵接親:車廂裡發喜糖獲陌生人滿滿祝福
    史上最牛婚車!新人乘高鐵接親:車廂裡發喜糖獲陌生人滿滿祝福 婚姻,是一件神聖的事情。對大多數人來說可能一生也就只結一次婚。於是,將這僅此一次的婚禮辦的難忘且有意義,可以說是每對新人的願望。最近,就有這樣一對新人,為他們的結合留下了一段讓人難忘的幸福回憶。