国产精品色哟哟_男男激情3p互攻_色偷偷影院_和女同学厕所做了四次

當(dāng)前位置: 首頁 / 技術(shù)干貨 / 正文
YARN的調(diào)度器

2022-12-29

資源 調(diào)度器 集群 作業(yè)

  YARN的主節(jié)點是ResourceManager,負(fù)責(zé)管理整個集群上的計算資源。其中包含了一個組件Scheduler,即調(diào)度器。這個調(diào)度器可以根據(jù)容量、隊列等限制條件(如每個隊列分配一定的資源,最多執(zhí)行一定數(shù)量的作業(yè)等),將系統(tǒng)中的資源分配給各個正在運行的應(yīng)用程序。

  YARN提供了三種內(nèi)置的調(diào)度器:

  FIFO Scheduler(FIFO調(diào)度器)

  FIFO 為 First Input First Output 的縮寫,先進(jìn)先出。FIFO 調(diào)度器將應(yīng)用放在一個隊列中,按照先后順序運行應(yīng)用。這種策略較為簡單,但不適合共享集群,因為大的應(yīng)用會占用集群的所有資源,每個應(yīng)用必須等待直到輪到自己。

  ●優(yōu)點:簡單易懂,不需要任何配置

  ●缺點:不適合共享集群,大的應(yīng)用會占據(jù)集群中的所有資源,所以每個應(yīng)用都必須等待,直到輪到自己執(zhí)行。

  如下圖所示,只有當(dāng)Job1全部執(zhí)行完畢,才能開始執(zhí)行job2

1

  Capacity Scheduler(容量調(diào)度器)

  容量調(diào)度器 Capacity Scheduler 允許多個組織共享一個 Hadoop 集群。使用容量調(diào)度器時,一個獨立的專門隊列保證小作業(yè)一提交就可以啟動。

  ●優(yōu)點:小任務(wù)不會因為前面有大任務(wù)在執(zhí)行,而只能一直等下去

  ●缺點:這種策略是以整個集群利用率為代價的,這意味著與使用FIFO調(diào)度器相比,大作業(yè)執(zhí)行的時間要長上一些。

2

  如圖所示,專門留了一部分資源給小任務(wù),可以在執(zhí)行job1的同時,不會阻塞job2的執(zhí)行,但是因為這部分資源是一直保留給其他任務(wù)的,所以就算只有一個任務(wù),也無法為其分配全部資源,只能讓這部分保留資源閑置著,有著一定的資源浪費問題。

  Fair Scheduler(公平調(diào)度器)

  公平調(diào)度器的目的就是為所有運行的應(yīng)用公平分配資源。使用公平調(diào)度器時,不需要預(yù)留一定量的資源,因為調(diào)度器會在所有運行的作業(yè)之間動態(tài)平衡資源,第一個(大)作業(yè)啟動時,它也是唯一運行的作業(yè),因而獲得集群中的所有資源,當(dāng)?shù)诙€(小)作業(yè)啟動時,它被分配到集群的一半資源,這樣每個作業(yè)都能公平共享資源。

3

  如圖所示,就像是把好幾個任務(wù)拼接成了一個任務(wù),可以充分利用資源,同時又不會因為大任務(wù)在前面執(zhí)行而導(dǎo)致小任務(wù)一直無法完成

好程序員公眾號

  • · 剖析行業(yè)發(fā)展趨勢
  • · 匯聚企業(yè)項目源碼

好程序員開班動態(tài)

More+
  • HTML5大前端 <高端班>

    開班時間:2021-04-12(深圳)

    開班盛況

    開班時間:2021-05-17(北京)

    開班盛況
  • 大數(shù)據(jù)+人工智能 <高端班>

    開班時間:2021-03-22(杭州)

    開班盛況

    開班時間:2021-04-26(北京)

    開班盛況
  • JavaEE分布式開發(fā) <高端班>

    開班時間:2021-05-10(北京)

    開班盛況

    開班時間:2021-02-22(北京)

    開班盛況
  • Python人工智能+數(shù)據(jù)分析 <高端班>

    開班時間:2021-07-12(北京)

    預(yù)約報名

    開班時間:2020-09-21(上海)

    開班盛況
  • 云計算開發(fā) <高端班>

    開班時間:2021-07-12(北京)

    預(yù)約報名

    開班時間:2019-07-22(北京)

    開班盛況
IT培訓(xùn)IT培訓(xùn)
在線咨詢
IT培訓(xùn)IT培訓(xùn)
試聽
IT培訓(xùn)IT培訓(xùn)
入學(xué)教程
IT培訓(xùn)IT培訓(xùn)
立即報名
IT培訓(xùn)

Copyright 2011-2023 北京千鋒互聯(lián)科技有限公司 .All Right 京ICP備12003911號-5 京公網(wǎng)安備 11010802035720號