建站
咨詢
售后
建站咨詢
新聞中心
分布式資源調(diào)度框架Yarn如何理解，針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。
成都創(chuàng)新互聯(lián)公司服務(wù)項(xiàng)目包括淮南網(wǎng)站建設(shè)、淮南網(wǎng)站制作、淮南網(wǎng)頁(yè)制作以及淮南網(wǎng)絡(luò)營(yíng)銷策劃等。多年來(lái)，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，淮南網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到淮南省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！Yarn作為一個(gè)資源管理、任務(wù)調(diào)度的框架，其重要性不言而喻。尤其是在近些年的大數(shù)據(jù)面試中，更是面試題的重點(diǎn)知識(shí)之一。為了大家在面試的時(shí)候，能夠準(zhǔn)備的更加充分，小編整理了一份有關(guān)分布式資源調(diào)度框架Yarn的大數(shù)據(jù)面試題,內(nèi)容包括Yarn的架構(gòu)、工作流程、調(diào)度器Scheduler。
1、Yarn的架構(gòu)
Yarn是一個(gè)資源管理、任務(wù)調(diào)度的框架， 主要包含三大模塊：ResourceManager（RM）、NodeManager（NM）、
ApplicationMaster（AM）。
（1）ResourceManager 負(fù)責(zé)所有資源的監(jiān)控、分配和管理；
（2）ApplicationMaster 負(fù)責(zé)每一個(gè)具體應(yīng)用程序的調(diào)度和協(xié)調(diào)；
（3）NodeManager 負(fù)責(zé)每一個(gè)節(jié)點(diǎn)的維護(hù)。對(duì)于所有的 applications，RM 擁有絕對(duì)的控制權(quán)和對(duì)資源的分配權(quán)。而每個(gè) AM 則會(huì)和 RM 協(xié)商資源，同時(shí)和NodeManager 通信來(lái)執(zhí)行和監(jiān)控 task。
2、Yarn的工作流程
（1）client 向 RM 提交應(yīng)用程序，其中包括啟動(dòng)該應(yīng)用的 ApplicationMaster 的必須信息，例如 ApplicationMaster 程序、啟動(dòng) ApplicationMaster 的命令、用戶程序等。
（2）ResourceManager 啟動(dòng)一個(gè) container 用于運(yùn)行 ApplicationMaster。啟動(dòng)中的 ApplicationMaster 向 ResourceManager 注冊(cè)自己，啟動(dòng)成功后與 RM 保持心跳。
（3）ApplicationMaster 向 ResourceManager 發(fā)送請(qǐng)求， 申請(qǐng)相應(yīng)數(shù)目的container。
（4）ResourceManager 返回 ApplicationMaster 的申請(qǐng)的 containers 信息。申請(qǐng)成功的container，由 ApplicationMaster 進(jìn)行初始化。container 的啟動(dòng)信息初始化后，AM與對(duì)應(yīng)的 NodeManager 通信，要求 NM 啟動(dòng) container。AM 與 NM 保持心跳，從而對(duì) NM 上運(yùn)行的任務(wù)進(jìn)行監(jiān)控和管理。
（5）container 運(yùn)行期間，ApplicationMaster 對(duì) container 進(jìn)行監(jiān)控。container 通過(guò) RPC協(xié)議向?qū)?yīng)的 AM 匯報(bào)自己的進(jìn)度和狀態(tài)等信息。
（6）應(yīng)用運(yùn)行期間，client 直接與 AM 通信獲取應(yīng)用的狀態(tài)、進(jìn)度更新等信息。
（7）應(yīng)用運(yùn)行結(jié)束后，ApplicationMaster 向 ResourceManager 注銷自己，并允許屬于它的 container 被收回。
3、Yarn的調(diào)度器Scheduler。
Yarn 中，負(fù)責(zé)給應(yīng)用分配資源的就是 Scheduler，三種調(diào)度器可以選擇： FIFO Scheduler ，Capacity Scheduler，F(xiàn)airScheduler 。
（1）FIFO Scheduler
FIFO Scheduler 把應(yīng)用按提交的順序排成一個(gè)隊(duì)列，這是一個(gè) 先進(jìn)先出隊(duì)列， 在進(jìn)行資源分配的時(shí)候，先給隊(duì)列中最頭上的應(yīng)用進(jìn)行分配資源，待最頭上的應(yīng)用需求滿足后再給下一個(gè)分配，以此類推。
（2）Capacity Scheduler
Capacity 調(diào)度器允許多個(gè)組織共享整個(gè)集群，每個(gè)組織可以獲得集群的一部分計(jì)算能力。通過(guò)為每個(gè)組織分配專門的隊(duì)列，然后再為每個(gè)隊(duì)列分配一定的集群資源，這樣整個(gè)集群就可以通過(guò)設(shè)置多個(gè)隊(duì)列的方式給多個(gè)組織提供服務(wù)了。除此之外，隊(duì)列內(nèi)部又可以垂直劃分，這樣一個(gè)組織內(nèi)部的多個(gè)成員就可以共享這個(gè)隊(duì)列資源了，在一個(gè)隊(duì)列內(nèi)部，資源的調(diào)度是采用的是先進(jìn)先出(FIFO)策略。
（3）Fair Scheduler
在 Fair 調(diào)度器中，我們不需要預(yù)先占用一定的系統(tǒng)資源，F(xiàn)air 調(diào)度器會(huì)為所有運(yùn)行的 job 動(dòng)態(tài)的調(diào)整系統(tǒng)資源。如下圖所示，當(dāng)?shù)谝粋€(gè)大 job 提交時(shí)， 只有這一個(gè) job 在運(yùn)行，此時(shí)它獲得了所有集群資源；當(dāng)?shù)诙€(gè)小任務(wù)提交后，F(xiàn)air 調(diào)度器會(huì)分配一半資源給這個(gè)小任務(wù)，讓這兩個(gè)任務(wù)公平的共享集群資源。
關(guān)于分布式資源調(diào)度框架Yarn如何理解問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道了解更多相關(guān)知識(shí)。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
網(wǎng)頁(yè)名稱：分布式資源調(diào)度框架Yarn如何理解-創(chuàng)新互聯(lián)
瀏覽地址：http://www.dlmjj.cn/article/ceihpe.html
