建站
咨詢
售后
建站咨詢
新聞中心
1.Hadoop安裝步驟
將Hadoop文件拷貝到/usr/local目錄下并解壓Tar -zxvf hadoop-3.0.0.tar.gz
將解壓后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop
1.1、配置host ip映射關(guān)系 vim /etc/host
172.26.19.40 hmaster
172.26.19.41 hslave1
172.26.19.42 hslave2
172.26.19.43 hslave3
1.2、vim /etc/profile 配置Hadoop classpath
#set java environment /usr/local/java/jdk1.8.0_151
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH=$PATH:/usr/local/hive/bin
2.配置Hadoop相關(guān),在/usr/local/hadoop/etc/hadoop目錄下配置
vim hadoop-env.sh 運(yùn)行環(huán)境依賴Java JDK
export JAVA_HOME=/usr/java/jdk1.8.0_151
配置Hadoop NameNode節(jié)點(diǎn)（Hadoop可以啟動啦）
2.1、vim core-site.xml 每個節(jié)點(diǎn)都需要配置才可
------配置通信節(jié)點(diǎn)url，所有節(jié)點(diǎn)都需要該配置
hadoop.tmp.dir 配置Hadoop文件存儲默認(rèn)目錄（若未配置，默認(rèn)保存臨時目錄/tmp下的）
成都創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的播州網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！
3.Hadoop默認(rèn)4個基本配置文件
hadoop默認(rèn)配置
Core-default.xml ------對應(yīng) core-site.xml
Hdfs-default.xml-------對應(yīng) hdfs-site.xml
mapred-default.xml
yarn-default.xml
3.1、Hdfs-site.xml 配置后覆蓋默認(rèn)配置（Hdfs-site.xml僅在Namenode配置即可）
----配置hadoop復(fù)制的保存份數(shù)（只在namenode節(jié)點(diǎn)配置即可）
dfs.replication HDFS保存文件保存的份數(shù)（默認(rèn)是3份）
dfs.namenode.heartbeat.recheck-interval DataNode健康檢查的間隔時間（毫秒）
dfs.permissions.enabled 測試時，可以關(guān)閉權(quán)限檢查(否則沒有權(quán)限訪問）
3.2、mapred-site.xml僅在Namenode配置即可），
mapreduce.framework.name 將mapreduce與yarn資源調(diào)度平臺關(guān)聯(lián)（即mapreduce計算引擎使用yarn作為調(diào)度引擎）
3.3yarn-site.xml僅在Namenode配置即可
yarn.resourcemanager.hostname 配置Namenode的主機(jī)名
yarn.nodemanager.aux-services/yarn.nodemanager.aux-services.mapreduce_shuffle.class 配置計算MapReduce計算服務(wù)
4、基本配置完畢，先格式化namenode節(jié)點(diǎn)
Hdfs namenode -format
start-dfs.sh 啟動Hadoop集群所有節(jié)點(diǎn)
stop-dfs.sh 停止Hadoop集群所有節(jié)點(diǎn)
啟動namenode節(jié)點(diǎn)（master）
hdfs --daemon start namenode （3.0寫法）
hdfs --daemon stop namenode
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
jps查看相關(guān)進(jìn)程是否起來
hdfs dfsadmin -report | more 查看Hadoop集群的狀態(tài)
http://172.26.19.40:50070/ Hadoop集群UI管理界面
http://172.26.19.40:9000/ 集群內(nèi)部通信接口服務(wù)
5、僅在namenode節(jié)點(diǎn)/usr/local/hadoop/etc/hadoop下
在slaves文件里添加所有DataNode節(jié)點(diǎn)hostname（方便以后腳本批量配置所有slaves節(jié)點(diǎn)）
vim slaves
hslave1
hslave2
hslave3
6、免密設(shè)置
cd ~ 來到根目錄 ll -a 找到.ssh 文件
在.ssh目錄執(zhí)行 ssh-keygen -t rsa 生成root用戶私鑰與公鑰如下圖
然后將公鑰id_rsa.pub 拷貝到所有slave節(jié)點(diǎn).ssh目錄
（在master 上用root登錄slave時，用master的私鑰加密后傳輸?shù)絪lave節(jié)點(diǎn)，在所有slave節(jié)點(diǎn)拷貝的公鑰能解密，證明是root用戶登錄上來了）
執(zhí)行命令 Ssh-copy-id slave2 拷貝公鑰id_rsa.pub 到slave2的.ssh目錄（生成文件authorized_keys）
這時在master上可以免密登錄slave1了
網(wǎng)頁標(biāo)題：hadoopinstall
網(wǎng)站鏈接：http://www.dlmjj.cn/article/gpieph.html
