建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)和大家一起學(xué)習(xí)一下Hdoop/Hbase文件配置方法，文件配置主要有十一個(gè)步驟，在這里向大家簡(jiǎn)單介紹一下，下面讓我們一起來學(xué)習(xí)Hdoop/Hbase文件配置吧。
創(chuàng)新互聯(lián)于2013年創(chuàng)立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站制作、做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元溪湖做網(wǎng)站,已為上家服務(wù),為溪湖各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220
Hdoop/Hbase文件配置
1、硬件環(huán)境
我們采用了3臺(tái)機(jī)器來構(gòu)建,都安裝的是Ubuntu8.04系統(tǒng)，并且都有一個(gè)名為“quan“的帳號(hào)，如下：
主機(jī)名稱：360quan-1ip:192.168.0.37功能：NameNode,JobTracker
主機(jī)名稱：360quan-2ip:192.168.0.43功能：DataNode,TaskTracker
主機(jī)名稱：360quan-3ip:192.168.0.53功能：DataNode,TaskTracker
重點(diǎn)：修改3臺(tái)機(jī)器的/etc/hosts,讓彼此的主機(jī)名稱和ip都能順利解析
127.0.0.1localhost
192.168.0.37360quan-1
192.168.0.43360quan-2
192.168.0.53360quan-3
2、每臺(tái)機(jī)器都要安裝java環(huán)境，我們的路徑統(tǒng)一為“/opt/jdk1.6.0_03“,并添加到系統(tǒng)環(huán)境變量sudogedit/etc/profile
3，hbase0.12版本到"360quan-1"，將hadoop解壓到/home/quan/opt/hadoop,hbase解壓到hadoop/contrib/hbase。建議最好也將hadoop的目錄添加到環(huán)境變量里面去:
4、安裝ssh,這里注意ubuntu8.04下面是ssh2，如果是ssh1的話，請(qǐng)升級(jí),安裝完后，建立ssh通道，使用空密碼（生產(chǎn)環(huán)境可不能使用空密碼?。@里使用“360quan-1”這臺(tái)機(jī)器為例說明:
5、接下來，我們要修改hadoop的相關(guān)設(shè)定了。修改"360quan-1"上面的hadoop的[conf/masters]、[conf/slaves]這2個(gè)文件：
Master設(shè)置(
Slave設(shè)置(
6、修改［conf/hadoop-env.sh］：exportJAVA_HOME=/opt/jdk1.6.0_03
7、修改［conf/hadoop-site.xml],這里只是Hdoop/Hbase文件配置中幾個(gè)常用的屬性配置，有關(guān)hadoop的性能優(yōu)化調(diào)整，需要研究hadoop-default.xml。
8、修改hbase的[hbase-evn.sh]:exportJAVA_HOME=/opt/jdk1.6.0_03
9、修改hbase的［hbase-site.xml］:
10、然后將hadoop的整體環(huán)境拷貝到360quan-2、360quan-3上面去
scp-r/home/quan/hadoop360quan-2:/home/hdp/
scp-r/home/quan/hadoop360quan-3:/home/hdp/
11、在360quan-1這個(gè)namenode上面格式化一個(gè)新的分布式文件系統(tǒng)HDFS，就是hadoop-site.xml文件中指定的hadoop.tmp.dir路徑
到此Hdoop/Hbase文件配置大致上就完成了，屬于你自己的CloudComputing環(huán)境了
啟動(dòng)hadoop：
啟動(dòng)hbase：
停止hbase：
停止hadoop：
說明：
(1)執(zhí)行$bin/start-all.sh啟動(dòng)Hadoop進(jìn)程后，會(huì)啟動(dòng)5個(gè)java進(jìn)程,同時(shí)會(huì)在/tmp目錄下創(chuàng)建五個(gè)pid文件記錄這些進(jìn)程ID號(hào)。通過這五個(gè)文件，可以得知namenode,datanode,secondarynamenode,jobtracker,tasktracker分別對(duì)應(yīng)于哪一個(gè)Java進(jìn)程。當(dāng)你覺得Hadoop工作不正常時(shí)，可以首先查看這5個(gè)java進(jìn)程是否在正常運(yùn)行,運(yùn)行jps命令也可以查看。
(2)訪問http://360quan-1:50030可以查看JobTracker的運(yùn)行狀態(tài)。訪問http://360quan-1:50060可以查看TaskTracker的運(yùn)行狀態(tài)。訪問http://360quan-1:50070可以查看NameNode以及整個(gè)分布式文件系統(tǒng)的狀態(tài)，瀏覽分布式文件系統(tǒng)中的文件以及l(fā)og等。
(3)查看${HADOOP_HOME}/logs目錄下的log文件，namenode,datanode,secondarynamenode,jobtracker,tasktracker各有一個(gè)對(duì)應(yīng)的log文件，每一次運(yùn)行的計(jì)算任務(wù)也有對(duì)應(yīng)用log文件。分析這些log文件有助于找到故障原因。本節(jié)關(guān)于Hdoop/Hbase文件配置方面的內(nèi)容介紹到這里。
當(dāng)前題目：Hdoop/Hbase文件配置方法詳解
URL地址：http://www.dlmjj.cn/article/dppieeh.html
