日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間:8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Hadoop命令手冊使用指南

在學(xué)習(xí)Hadoop的過程中,你可能經(jīng)常遇到Hadoop命令方面的問題,本節(jié)就向大家介紹一些常用的Hadoop命令,歡迎大家一起來學(xué)習(xí)。

成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù),包含不限于網(wǎng)站建設(shè)、網(wǎng)站制作、伊金霍洛網(wǎng)絡(luò)推廣、微信小程序開發(fā)、伊金霍洛網(wǎng)絡(luò)營銷、伊金霍洛企業(yè)策劃、伊金霍洛品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等,從售前售中售后,我們都將竭誠為您服務(wù),您的肯定,是我們最大的嘉獎(jiǎng);成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供伊金霍洛建站搭建服務(wù),24小時(shí)服務(wù)熱線:028-86922220,官方網(wǎng)址:www.cdcxhl.com

Hadoop命令手冊

所有的hadoop命令均由bin/hadoop腳本引發(fā)。不指定參數(shù)運(yùn)行hadoop腳本會(huì)打印所有命令的描述。
用法:hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS]
Hadoop有一個(gè)選項(xiàng)解析框架用于解析一般的選項(xiàng)和運(yùn)行類。

命令選項(xiàng)描述
--configconfdir覆蓋缺省配置目錄。缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS多個(gè)命令都支持的通用選項(xiàng)。
COMMAND
命令選項(xiàng)S各種各樣的命令和它們的選項(xiàng)會(huì)在下面提到。這些命令被分為用戶命令管理命令兩組。

Hadoop命令常規(guī)選項(xiàng)

下面的選項(xiàng)被dfsadmin,fs,fsck和job支持。應(yīng)用程序要實(shí)現(xiàn)Tool來支持常規(guī)選項(xiàng)。
GENERIC_OPTION描述
-conf指定應(yīng)用程序的配置文件。
-D為指定property指定值value。
-fs指定namenode。
-jt指定jobtracker。只適用于job。
-files<逗號分隔的文件列表>指定要拷貝到mapreduce集群的文件的逗號分隔的列表。只適用于job。
-libjars<逗號分隔的jar列表>指定要包含到classpath中的jar文件的逗號分隔的列表。只適用于job。
-archives<逗號分隔的archive列表>指定要被解壓到計(jì)算節(jié)點(diǎn)上的檔案文件的逗號分割的列表。只適用于job。

用戶命令

hadoop集群用戶的常用命令。
archive
創(chuàng)建一個(gè)hadoop檔案文件。參考HadoopArchives.
用法:hadooparchive-archiveNameNAME*

命令選項(xiàng)描述
-archiveNameNAME要?jiǎng)?chuàng)建的檔案的名字。
src文件系統(tǒng)的路徑名,和通常含正則表達(dá)的一樣。
dest保存檔案文件的目標(biāo)目錄。

distcp
Hadoop命令distcp用于遞歸地拷貝文件或目錄。參考DistCp指南以獲取等多信息。
用法:hadoopdistcp

命令選項(xiàng)描述
srcurl源Url
desturl目標(biāo)Url

fs

用法:hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS]
運(yùn)行一個(gè)常規(guī)的文件系統(tǒng)客戶端。
各種命令選項(xiàng)可以參考HDFSShell指南。

fsck
Hadoop命令主要用來運(yùn)行HDFS文件系統(tǒng)檢查工具。參考Fsck了解更多。
用法:hadoopfsck[GENERIC_OPTIONS][-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]

命令選項(xiàng)描述
檢查的起始目錄。
-move移動(dòng)受損文件到/lost+found
-delete刪除受損文件。
-openforwrite打印出寫打開的文件。
-files打印出正被檢查的文件。
-blocks打印出塊信息報(bào)告。
-locations打印出每個(gè)塊的位置信息。
-racks打印出data-node的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

jar

Hadoop命令主要用來運(yùn)行jar文件。用戶可以把他們的MapReduce代碼捆綁到j(luò)ar文件中,使用這個(gè)命令執(zhí)行。
用法:hadoopjar[mainClass]args...
streaming作業(yè)是通過這個(gè)命令執(zhí)行的。參考Streamingexamples中的例子。
Wordcount例子也是通過jar命令運(yùn)行的。參考Wordcountexample。

job

用于和MapReduce作業(yè)交互和命令。
用法:hadoopjob[GENERIC_OPTIONS][-submit]|[-status]|[-counter]|[-kill]|[-events<#-of-events>]|[-history[all]]|[-list[all]]|[-kill-task]|[-fail-task]

命令選項(xiàng)描述
-submit提交作業(yè)
-status打印map和reduce完成百分比和所有計(jì)數(shù)器。
-counter打印計(jì)數(shù)器的值。
-kill殺死指定作業(yè)。
-events<#-of-events>打印給定范圍內(nèi)jobtracker接收到的事件細(xì)節(jié)。
-history[all]-history打印作業(yè)的細(xì)節(jié)、失敗及被殺死原因的細(xì)節(jié)。更多的關(guān)于一個(gè)作業(yè)的細(xì)節(jié)比如成功的任務(wù),做過的任務(wù)嘗試等信息可以通過指定[all]選項(xiàng)查看。
-list[all]-listall顯示所有作業(yè)。-list只顯示將要完成的作業(yè)。
-kill-task殺死任務(wù)。被殺死的任務(wù)不會(huì)不利于失敗嘗試。
-fail-task使任務(wù)失敗。被失敗的任務(wù)會(huì)對失敗嘗試不利。本節(jié)有關(guān)Hadoop命令簡單介紹到這里。


網(wǎng)頁題目:Hadoop命令手冊使用指南
文章出自:http://www.dlmjj.cn/article/dhigsdp.html