日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

在學(xué)習(xí)Hadoop的過程中，你可能會遇到Hadoop的機架感知方面的問題，本節(jié)就向大家介紹一下Hadoop的機架感知方面的知識以及Hadoop的啟動和停止的方法，歡迎大家一起來學(xué)習(xí)。下面是具體講解。

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供紅塔網(wǎng)站建設(shè)、紅塔做網(wǎng)站、紅塔網(wǎng)站設(shè)計、紅塔網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、紅塔企業(yè)網(wǎng)站模板建站服務(wù)，十載紅塔做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。

Hadoop的機架感知

HDFS和Map/Reduce的組件是能夠感知機架的。

NameNode和JobTracker通過調(diào)用管理員配置模塊中的APIresolve來獲取集群里每個slave的機架id。該API將slave的DNS名稱（或者IP地址）轉(zhuǎn)換成機架id。使用哪個模塊是通過配置項

topology.node.switch.mapping.impl來指定的。模塊的默認(rèn)實現(xiàn)會調(diào)用topology.script.file.name配置項指定的一個的腳本/命令。如果topology.script.file.name未被設(shè)置，對于所有傳入的IP地址

，模塊會返回/default-rack作為機架id。在Map/Reduce部分還有一個額外的配置項mapred.cache.task.levels，該參數(shù)決定cache的級數(shù)（在網(wǎng)絡(luò)拓?fù)渲校＠?，如果默認(rèn)值是2，會建立兩級的cache－一級針對主機（主機->任務(wù)的映射）另一級針對機架（機架->任務(wù)的映射）。

啟動Hadoop

啟動Hadoop集群需要啟動HDFS集群和Map/Reduce集群。

格式化一個新的分布式文件系統(tǒng)：
$bin/hadoopnamenode-format

在分配的NameNode上，運行下面的命令啟動HDFS：
$bin/start-dfs.sh

bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動DataNode守護進程。

在分配的JobTracker上，運行下面的命令啟動Map/Reduce：
$bin/start-mapred.sh

bin/start-mapred.sh腳本會參照J(rèn)obTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動TaskTracker守護進程。

停止Hadoop

在分配的NameNode上，執(zhí)行下面的命令停止HDFS：
$bin/stop-dfs.sh

bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止DataNode守護進程。

在分配的JobTracker上，運行下面的命令停止Map/Reduce：
$bin/stop-mapred.sh

bin/stop-mapred.sh腳本會參照J(rèn)obTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止TaskTracker守護進程。

【編輯推薦】

1. 技術(shù)分享 Hadoop集群搭建方法
2. 實例講解Hadoop用法
3. Hadoop集群與Hadoop性能優(yōu)化
4. HadoopHBase實現(xiàn)配置簡單的單機環(huán)境
5. Hadoop命令大全

本文名稱：Hadoop機架感知及啟動停止方法詳解
文章路徑：http://www.dlmjj.cn/article/dpgpsei.html