2022-12-29
資源 調(diào)度器 集群 作業(yè)
YARN的主節(jié)點是ResourceManager,負(fù)責(zé)管理整個集群上的計算資源。其中包含了一個組件Scheduler,即調(diào)度器。這個調(diào)度器可以根據(jù)容量、隊列等限制條件(如每個隊列分配一定的資源,最多執(zhí)行一定數(shù)量的作業(yè)等),將系統(tǒng)中的資源分配給各個正在運行的應(yīng)用程序。
YARN提供了三種內(nèi)置的調(diào)度器:
FIFO Scheduler(FIFO調(diào)度器)
FIFO 為 First Input First Output 的縮寫,先進(jìn)先出。FIFO 調(diào)度器將應(yīng)用放在一個隊列中,按照先后順序運行應(yīng)用。這種策略較為簡單,但不適合共享集群,因為大的應(yīng)用會占用集群的所有資源,每個應(yīng)用必須等待直到輪到自己。
●優(yōu)點:簡單易懂,不需要任何配置
●缺點:不適合共享集群,大的應(yīng)用會占據(jù)集群中的所有資源,所以每個應(yīng)用都必須等待,直到輪到自己執(zhí)行。
如下圖所示,只有當(dāng)Job1全部執(zhí)行完畢,才能開始執(zhí)行job2
Capacity Scheduler(容量調(diào)度器)
容量調(diào)度器 Capacity Scheduler 允許多個組織共享一個 Hadoop 集群。使用容量調(diào)度器時,一個獨立的專門隊列保證小作業(yè)一提交就可以啟動。
●優(yōu)點:小任務(wù)不會因為前面有大任務(wù)在執(zhí)行,而只能一直等下去
●缺點:這種策略是以整個集群利用率為代價的,這意味著與使用FIFO調(diào)度器相比,大作業(yè)執(zhí)行的時間要長上一些。
如圖所示,專門留了一部分資源給小任務(wù),可以在執(zhí)行job1的同時,不會阻塞job2的執(zhí)行,但是因為這部分資源是一直保留給其他任務(wù)的,所以就算只有一個任務(wù),也無法為其分配全部資源,只能讓這部分保留資源閑置著,有著一定的資源浪費問題。
Fair Scheduler(公平調(diào)度器)
公平調(diào)度器的目的就是為所有運行的應(yīng)用公平分配資源。使用公平調(diào)度器時,不需要預(yù)留一定量的資源,因為調(diào)度器會在所有運行的作業(yè)之間動態(tài)平衡資源,第一個(大)作業(yè)啟動時,它也是唯一運行的作業(yè),因而獲得集群中的所有資源,當(dāng)?shù)诙€(小)作業(yè)啟動時,它被分配到集群的一半資源,這樣每個作業(yè)都能公平共享資源。
如圖所示,就像是把好幾個任務(wù)拼接成了一個任務(wù),可以充分利用資源,同時又不會因為大任務(wù)在前面執(zhí)行而導(dǎo)致小任務(wù)一直無法完成
開班時間:2021-04-12(深圳)
開班盛況開班時間:2021-05-17(北京)
開班盛況開班時間:2021-03-22(杭州)
開班盛況開班時間:2021-04-26(北京)
開班盛況開班時間:2021-05-10(北京)
開班盛況開班時間:2021-02-22(北京)
開班盛況開班時間:2021-07-12(北京)
預(yù)約報名開班時間:2020-09-21(上海)
開班盛況開班時間:2021-07-12(北京)
預(yù)約報名開班時間:2019-07-22(北京)
開班盛況Copyright 2011-2023 北京千鋒互聯(lián)科技有限公司 .All Right 京ICP備12003911號-5 京公網(wǎng)安備 11010802035720號