建站
咨詢
售后
建站咨詢
新聞中心
初學(xué)者運(yùn)行MapReduce作業(yè)時(shí)，經(jīng)常會(huì)遇到各種錯(cuò)誤，由于缺乏經(jīng)驗(yàn)，往往不知所云，一般直接將終端打印的錯(cuò)誤貼到搜索引擎上查找，以借鑒前人的經(jīng) 驗(yàn)。然而，對(duì)于hadoop而言，當(dāng)遇到錯(cuò)誤時(shí)，***時(shí)間應(yīng)是查看日志，日志里通產(chǎn)會(huì)有詳細(xì)的錯(cuò)誤原因提示，本文將總結(jié)Hadoop MapReduce日志存放位置，幫助初學(xué)者定位自己遇到的錯(cuò)誤。
創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供祿勸網(wǎng)站建設(shè)、祿勸做網(wǎng)站、祿勸網(wǎng)站設(shè)計(jì)、祿勸網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、祿勸企業(yè)網(wǎng)站模板建站服務(wù)，十多年祿勸做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
Hadoop MapReduce日志分為兩部分，一部分是服務(wù)日志，一部分是作業(yè)日志，具體介紹如下：
1.Hadoop 1.x版本
Hadoop 1.x中MapReduce的服務(wù)日志包括JobTracker日志和各個(gè)TaskTracker日志，他們的日志位置如下：
JobTracker：在JobTracker安裝節(jié)點(diǎn)上，默認(rèn)位置是
${hadoop.log.dir}/logs/*-jobtracker-*.log，該文件每天生成一個(gè)，舊的日志后綴是日期，當(dāng)天的日志文件 后綴是“.log”，其中${hadoop.log.dir}默認(rèn)值是hadoop安裝目錄，即${HADOOP_HOME}。
TaskTracker：在各個(gè)TaskTracker安裝節(jié)點(diǎn)上，默認(rèn)位置是
$HADOOP_HOME/logs/*-tasktracker-*.log，該文件每天生成一個(gè)，舊的日志后面會(huì)跟一個(gè)日志，當(dāng)天的日志文件后綴是“.log”
作業(yè)日志包括jobhistory日志和task日志兩部分，其中，jobhistory日志是作業(yè)運(yùn)行日志，包括作業(yè)啟動(dòng)時(shí)間、結(jié)束時(shí)間，每個(gè)任 務(wù)的啟動(dòng)時(shí)間、結(jié)束時(shí)間，各種counter信息等，用戶可以從這個(gè)日志中解析出作業(yè)運(yùn)行的各種信息，是非常有價(jià)值的信息。默認(rèn)存放位置是 JobTracker所在節(jié)點(diǎn)的${hadoop.log.dir}/history目錄下，可通過參數(shù) hadoop.job.history.location配置。每個(gè)task日志存放在task運(yùn)行節(jié)點(diǎn)上，存放位置 是${hadoop.log.dir}/userlogs/
2.Hadoop 2.x版本
Hadoop 2.x中YARN系統(tǒng)的服務(wù)日志包括ResourceManager日志和各個(gè)NodeManager日志，他們的日志位置如下：
ResourceManager日志存放位置是Hadoop安裝目錄下的logs目錄下的yarn-*-resourcemanager-*.log
NodeManager日志存放位置是各個(gè)NodeManager節(jié)點(diǎn)上hadoop安裝目錄下的logs目錄下的yarn-*-nodemanager-*.log
應(yīng)用程序日志包括jobhistory日志和Container日志，其中，jobhistory日志是應(yīng)用程序運(yùn)行日志，包括應(yīng)用程序啟動(dòng)時(shí)間、結(jié)束時(shí)間，每個(gè)任務(wù)的啟動(dòng)時(shí)間、結(jié)束時(shí)間，各種counter信息等。
Container日志包含ApplicationMaster日志和普通Task日志，它們均存放在Hadoop安裝目錄下的userlogs目 錄中的application_xxx目錄下，其中ApplicationMaster日志目錄名稱為container_xxx_000001，普通 task日志目錄名稱則為container_xxx_000002，container_xxx_000003，….，同Hadoop 1.x一樣，每個(gè)目錄下包含三個(gè)日志文件：stdout、stderr和syslog，且具體含義是一樣的。
3.總結(jié)
Hadoop日志是用戶定位問題的最重要渠道，對(duì)于初學(xué)者而言，往往意識(shí)不到這一點(diǎn)，或者即使意識(shí)到這一點(diǎn)，也找不到日志存放位置，希望本文對(duì)初學(xué)者有幫助。
網(wǎng)站欄目：Hadoop日志到底存在哪里？
網(wǎng)頁網(wǎng)址：http://www.dlmjj.cn/article/cdjsdoj.html
