建站
咨詢
售后
建站咨詢
新聞中心
配置hadoop之前做好準(zhǔn)備工作
1.修改主機(jī)名稱，我這里創(chuàng)建了三個(gè)虛擬主機(jī)，分別命名node-1，node-2，node-3，進(jìn)入 network 文件刪掉里面的內(nèi)容直接寫上主機(jī)名就可以了
成都創(chuàng)新互聯(lián)于2013年創(chuàng)立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元商州做網(wǎng)站,已為上家服務(wù),為商州各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220
vi /etc/sysconfig/network2.映射 IP 和主機(jī)名，之后 reboot 重啟主機(jī)
[root@node-1 redis-cluster]# vim /etc/hosts
192.168.0.1 node-1
192.168.0.2 node-2
192.168.0.3 node-33.檢測(cè)防火墻（要關(guān)閉防火墻），不同系統(tǒng)的防火墻關(guān)閉方式不一樣，以下做個(gè)參考即可
1.service iptables stop 關(guān)閉
2.chkconfig iptables off 強(qiáng)制關(guān)閉 除非手動(dòng)開啟不然不會(huì)自動(dòng)開啟
3.chkconfig iptanles 查看
4.service iptables status 查看防火墻狀態(tài)4.ssh 免密碼登錄
輸入命令：ssh-keygen -t rsa 然后點(diǎn)擊四個(gè)回車鍵，如下圖所示：
然后通過 ssh-copy-id 對(duì)應(yīng)主機(jī) IP，之后通過“ssh 主機(jī)名/IP” 便可以不輸入密碼即可登錄相應(yīng)的主機(jī)系統(tǒng)
開始配置 Hadoop 相關(guān)文件
上傳 hadoop 安裝包解壓后進(jìn)入 hadoop-2.7.6/etc/hadoop 目錄下
以下所有的
第一個(gè) hadoop-env.sh
vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171 #JAVA_HOME寫上自己jdk 的安裝路徑第二個(gè) ：core-site.xml
vi core-site.xml
fs.defaultFS
hdfs://node-1:9000
hadoop.tmp.dir
/export/data/hddata
第三個(gè)： hdfs-site.xml
vi hdfs-site.xml
dfs.replication
2
dfs.namenode.secondary.http-address
node-2:50090
第四個(gè)： mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
mapreduce.framework.name
yarn
第五個(gè)：yarn-site.xml
vi yarn-site.xml
yarn.resourcemanager.hostname
node-1
yarn.nodemanager.aux-services
mapreduce_shuffle
第六個(gè)：slaves 文件，里面寫上從節(jié)點(diǎn)所在的主機(jī)名字
vi slaves
node-1
node-2
node-3第七個(gè)：將 Hadoop 添加到環(huán)境變量
vi /etc/profile
export HADOOP_HOME=/export/server/hadoop-2.7.6
export PATH=$HADOOP_HOME/bin:$PATH然后將 hadoop 安裝包遠(yuǎn)程發(fā)送給各個(gè)副計(jì)算機(jī)
scp -r /export/server/hadoop-2.7.6/ root@node-2:/export/server/
scp -r /export/server/hadoop-2.7.6/ root@node-3:/export/server/把配置好的環(huán)境變量也要遠(yuǎn)程發(fā)送給各個(gè)副計(jì)算機(jī)
scp -r /etc/profile root@node-2:/etc/
scp -r /etc/profile root@node-3:/etc/然后試所有的計(jì)算機(jī)環(huán)境變量生效
source /etc/profile關(guān)于 hadoop的 配置說(shuō)明
在 hadoop 官網(wǎng)，左下角點(diǎn)擊 Documentation 點(diǎn)擊相應(yīng)的版本進(jìn)去，拉到最左下角有 ***-default.xml
***-default.xml 是默認(rèn)的配置，如果用戶沒有修改這些選項(xiàng)將會(huì)生效
***-site.xml 是用戶自定義的配置
site的配置選項(xiàng)優(yōu)先級(jí)大于 default 的，如果 site 里面有就會(huì)覆蓋 default 里面的
新聞標(biāo)題：創(chuàng)新互聯(lián)Hadoop教程：Hadoop配置
轉(zhuǎn)載來(lái)源：http://www.dlmjj.cn/article/cosiioo.html
