新聞中心
這篇文章主要為大家展示了“Hadoop怎么實現(xiàn)集群搭建”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Hadoop怎么實現(xiàn)集群搭建”這篇文章吧。
銅官網(wǎng)站制作公司哪家好,找成都創(chuàng)新互聯(lián)!從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站等網(wǎng)站項目制作,到程序開發(fā),運營維護。成都創(chuàng)新互聯(lián)于2013年創(chuàng)立到現(xiàn)在10年的時間,我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗,來保證我們的工作的順利進行。專注于網(wǎng)站建設(shè)就選成都創(chuàng)新互聯(lián)。
主要環(huán)境:
CentOS6.4
JDK 1.6
Hadoop 1.2.1
使用三臺機器進行搭建。
Master(NameNode、SecondaryNameNode、JobTracker):10.0.0.13
Slave(DataNode、TaskTracker):10.0.0.15
Slave(DataNode、TaskTracker):10.0.0.16
1.三臺機器都配置/etc/hosts文件
2.配置ssh免密碼連接,在每臺機器上均運行ssh-keygen -t rsa ,之后將每臺機器生成的
id_rsa.pub合并為authorized_keys,并復(fù)制到每臺機器上
3.配置hadoop目錄下的conf/hadoop-env.sh 中的java環(huán)境變量
4.修改hdfs-site.xml 修改hdfs中數(shù)據(jù)塊要復(fù)制多少份
5.修改mapred-site.xml 配置jobtracker
6.修改core-site.xml 指定數(shù)據(jù)目錄(使用mkdir創(chuàng)建/usr/hadoop/tmp目錄)
7.修改masters和slaves
8.使用scp命令將hadoop目錄復(fù)制到各個節(jié)點
9.并在每個節(jié)點配置hadoop環(huán)境變量(編輯/etc/profile 立即生效source /etc/profile)
10.格式化
11.啟動hadoop運行start-all.sh
12.最后使用jps驗證是否啟動相應(yīng)java進程
Master:
Slave:
以上是“Hadoop怎么實現(xiàn)集群搭建”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!
網(wǎng)頁標(biāo)題:Hadoop怎么實現(xiàn)集群搭建
轉(zhuǎn)載注明:http://www.dlmjj.cn/article/iesoec.html