建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)比較全面的向大家介紹一下Hadoop命令，歡迎大家一起來學(xué)習(xí)，希望通過本節(jié)的介紹大家能夠掌握一些常見Hadoop命令的使用方法。下面是Hadoop命令的詳細(xì)介紹。
成都創(chuàng)新互聯(lián)是創(chuàng)新、創(chuàng)意、研發(fā)型一體的綜合型網(wǎng)站建設(shè)公司，自成立以來公司不斷探索創(chuàng)新，始終堅持為客戶提供滿意周到的服務(wù)，在本地打下了良好的口碑，在過去的10年時間我們累計服務(wù)了上千家以及全國政企客戶，如濕噴機(jī)等企業(yè)單位，完善的項目管理流程，嚴(yán)格把控項目進(jìn)度與質(zhì)量監(jiān)控加上過硬的技術(shù)實(shí)力獲得客戶的一致表揚(yáng)。
Hadoop命令大全
1、列出所有HadoopShell支持的命令
$bin/hadoopfs-help
2、顯示關(guān)于某個命令的詳細(xì)信息
$bin/hadoopfs-helpcommand-name
3、用戶可使用以下命令在指定路徑下查看歷史日志匯總
$bin/hadoopjob-historyoutput-dir
這條命令會顯示作業(yè)的細(xì)節(jié)信息，失敗和終止的任務(wù)細(xì)節(jié)。
4、關(guān)于作業(yè)的更多細(xì)節(jié)，比如成功的任務(wù)，以及對每個任務(wù)的所做的嘗試次數(shù)等可以用下面的命令查看
$bin/hadoopjob-historyalloutput-dir
5、格式化一個新的分布式文件系統(tǒng)：
$bin/hadoopnamenode-format
6、在分配的NameNode上，運(yùn)行下面的Hadoop命令啟動HDFS：
$bin/start-dfs.sh
bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動DataNode守護(hù)進(jìn)程。
7、在分配的JobTracker上，運(yùn)行下面的命令啟動Map/Reduce：
$bin/start-mapred.sh
bin/start-mapred.sh腳本會參照J(rèn)obTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動TaskTracker守護(hù)進(jìn)程。
8、在分配的NameNode上，執(zhí)行下面的Hadoop命令停止HDFS：
$bin/stop-dfs.sh
bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止DataNode守護(hù)進(jìn)程。
9、在分配的JobTracker上，運(yùn)行下面的命令停止Map/Reduce：
$bin/stop-mapred.sh
bin/stop-mapred.sh腳本會參照J(rèn)obTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止TaskTracker守護(hù)進(jìn)程。
DFSShell
10、創(chuàng)建一個名為/foodir的目錄
$bin/hadoopdfs-mkdir/foodir
11、創(chuàng)建一個名為/fodir的目錄
$bin/hadoopdfs-mkdir/fodir
12、查看名為/foodir/myfile.txt的文件內(nèi)容
$bin/hadoopdfs-cat/foodir/myfile.txt
DFSAdmin
13、將集群置于安全模式
$bin/hadoopdfsadmin-safemodeenter
14、顯示Datanode列表
$bin/hadoopdfsadmin-report
15、使Datanode節(jié)點(diǎn)datanodename退役
$bin/hadoopdfsadmin-decommissiondatanodename
16、bin/hadoopdfsadmin-help命令能列出所有當(dāng)前支持的命令。比如：
*-report：報告HDFS的基本統(tǒng)計信息。有些信息也可以在NameNodeWeb服務(wù)首頁看到。
*-safemode：雖然通常并不需要，但是管理員的確可以手動讓NameNode進(jìn)入或離開安全模式。
*-finalizeUpgrade：刪除上一次升級時制作的集群備份。
17、顯式地將HDFS置于安全模式
$bin/hadoopdfsadmin-safemode
18、在升級之前，管理員需要用（升級終結(jié)操作）Hadoop命令刪除存在的備份文件
$bin/hadoopdfsadmin-finalizeUpgrade
19、能夠知道是否需要對一個集群執(zhí)行升級終結(jié)操作。
$dfsadmin-upgradeProgressstatus
20、使用-upgrade選項運(yùn)行新的版本
$bin/start-dfs.sh-upgrade
21、如果需要退回到老版本,就必須停止集群并且部署老版本的Hadoop，用回滾選項啟動集群
$bin/start-dfs.h-rollback
22、下面的新命令或新選項是用于支持配額的。前兩個是管理員命令。
*dfsadmin-setquota
把每個目錄配額設(shè)為N。這個命令會在每個目錄上嘗試，如果N不是一個正的長整型數(shù)，目錄不存在或是文件名，或者目錄超過配額，則會產(chǎn)生錯誤報告。
*dfsadmin-clrquota
為每個目錄刪除配額。這個命令會在每個目錄上嘗試，如果目錄不存在或者是文件，則會產(chǎn)生錯誤報告。如果目錄原來沒有設(shè)置配額不會報錯。
*fs-count-q
使用-q選項，會報告每個目錄設(shè)置的配額，以及剩余配額。如果目錄沒有設(shè)置配額，會報告none和inf。
23、創(chuàng)建一個hadoop檔案文件
$hadooparchive-archiveNameNAME
-archiveNameNAME要創(chuàng)建的檔案的名字。
src文件系統(tǒng)的路徑名，和通常含正則表達(dá)的一樣。
dest保存檔案文件的目標(biāo)目錄。
24、遞歸地拷貝文件或目錄
$hadoopdistcp
srcurl源Url
desturl目標(biāo)Url。請期待下節(jié)關(guān)于Hadoop命令的介紹。
名稱欄目：Hadoop命令大全
瀏覽路徑：http://www.dlmjj.cn/article/coogpes.html
