日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
三臺(tái)主機(jī)建立Hadoop小集群

部署環(huán)境：

在鹿泉等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作定制設(shè)計(jì),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),網(wǎng)絡(luò)營(yíng)銷推廣,外貿(mào)營(yíng)銷網(wǎng)站建設(shè),鹿泉網(wǎng)站建設(shè)費(fèi)用合理。

OS：Redhat 5.5 Enterprise

JDK：jdk1.6.0_32

Hadoop：Hadoop-0.20.2

VMWare：7.0

節(jié)點(diǎn)安排及網(wǎng)絡(luò)拓?fù)洌?/strong>

節(jié)點(diǎn)類型　　　　　　節(jié)點(diǎn)IP　　　　　　節(jié)點(diǎn)hostname

master節(jié)點(diǎn)　　　　 192.168.40.5　　master

slave節(jié)點(diǎn)　　　　　 192.168.40.5　　master(此時(shí)，master既是master節(jié)點(diǎn)，也是slave節(jié)點(diǎn))

　　　　　　　　　　192.168.40.6　　salve1

　　　　　　　　　　192.168.40.7　　slave2

secondaryName節(jié)點(diǎn)192.168.40.5　　master(此時(shí)，master既是master節(jié)點(diǎn)，也是slave節(jié)點(diǎn)，也是secondaryNameNode)

配置步驟：

一、網(wǎng)絡(luò)配置

首先關(guān)閉三臺(tái)虛擬機(jī)的防火墻，步驟可參考：關(guān)閉防火墻

先用VMWare安裝三臺(tái)虛擬機(jī)（可以先安裝一臺(tái)，然后clone兩臺(tái)），按照節(jié)點(diǎn)安排及網(wǎng)絡(luò)拓?fù)渑渲镁W(wǎng)絡(luò)，先配置master節(jié)點(diǎn)的網(wǎng)絡(luò)：

① 靜態(tài)網(wǎng)絡(luò)IP配置見(jiàn)VMware Redhat網(wǎng)絡(luò)配置，分別將三臺(tái)虛擬機(jī)的IP進(jìn)行設(shè)置

② 修改主機(jī)名：vi /etc/hosts(解析IP要用)，添加

192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2

③ 按照此過(guò)程及相同數(shù)據(jù)(除了IP地址不同)對(duì)三臺(tái)虛擬機(jī)進(jìn)行配置

二、 安裝jdk

Hadoop 是用java開(kāi)發(fā)的，Hadoop的編譯及mapreduce的運(yùn)行都需要使用JDK，所以JDK是必須安裝的

① 下載jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html

② 在用戶根目錄下，建立bin文件夾：mkdir ~/bin（也可放在其他處，個(gè)人習(xí)慣而已）

③ 改變執(zhí)行權(quán)限：chmod u+x jdk-6u26-linux-i586.bin

④ 執(zhí)行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路確定

⑤ 配置環(huán)境變量：vi ~/.bash_profile,添加：

 
 
 
    
  
  
  
  1. export JAVA_HOME=/root/bin/jdk1.6.0_32  
    2. 
  
  
  
  2. export PATH=$PATH:$JAVA_HOME/bin 
    3.

⑥ 使profile文件生效：source ~/.bash_profile

⑦ 驗(yàn)證是否配置成功：which java

[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可輸入java -version, java, javac進(jìn)一步確定

⑧ 分別相同配置另外兩臺(tái)主機(jī)

 
 
 
    
  
  
  
  1.  
    2.

三、建立ssh互信

hadoop 需要通過(guò)ssh互信來(lái)啟動(dòng)slave里表中各個(gè)主機(jī)的守護(hù)進(jìn)程，所以SSH是必須安裝的（redhat 5.5 Enterprise 以默認(rèn)安裝）。但是是否建立ssh互信（即無(wú)密碼登陸）并不是必須的，但是如果不配置，每次啟動(dòng)hadoop，都需要輸入密碼以便登錄到每臺(tái)機(jī)器的Datanode上，而一般的hadoop集群動(dòng)輒數(shù)百或數(shù)千臺(tái)機(jī)器，因此一般來(lái)說(shuō)都會(huì)配置ssh互信。

① 生成密鑰并配置ssh無(wú)密碼登陸主機(jī)(在master主機(jī))

 
 
 
    
  
  
  
  1. ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa  
    2. 
  
  
  
  2. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 
    3.

 

② 將authorized_keys文件拷貝到兩臺(tái)slave主機(jī)

 
 
 
    
  
  
  
  1. scp authorized_keys slave1:~/.ssh/  
    2. 
  
  
  
  2. scp authorized_keys slave2:~/.ssh/ 
    3.

 

③ 檢查是否可以從master無(wú)密碼登陸slave機(jī)

ssh slave1(在master主機(jī)輸入) 登陸成功則配置成功，exit退出slave1返回master

四、配置Hadoop

① 下載：點(diǎn)擊到下載頁(yè)面，選擇hadoop-0.20.2.tar.gz

② 放到~/bin下解壓： tar -xzvf hadoop-0.20.2.tar.gz

③ 解壓后進(jìn)入：~/bin/hadoop-0.20.2/conf/，修改配置文件：

修改hadoop-env.sh:

export JAVA_HOME=/root/bin/jdk1.6.0_32轉(zhuǎn)載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
hadoop-env.sh里面有這一行，默認(rèn)是被注釋的，只需要把注釋去掉，并且把JAVA_HOME 改成你的java安裝目錄即可

修改core-site.xml

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2.  
    3. 
  
  
  
  3.  
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.  
    7. 
  
  
  
  7.    
    8. 
  
  
  
  8.     fs.default.name 
    9. 
  
  
  
  9.     hdfs://master:9000 
    10. 
  
  
  
  10.    
    11. 
  
  
  
  11.    
    12. 
  
  
  
  12.     Hadoop.tmp.dir 
    13. 
  
  
  
  13.     /tmp/hadoop-root 
    14. 
  
  
  
  14.    
    15. 
  
  
  
  15.  
    16.

轉(zhuǎn)載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/

注釋一：hadoop分布式文件系統(tǒng)文件存放位置都是基于hadoop.tmp.dir目錄的，namenode的名字空間存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode數(shù)據(jù)塊的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以設(shè)置好hadoop.tmp.dir目錄后，其他的重要目錄都是在這個(gè)目錄下面，這是一個(gè)根目錄。

注釋二：fs.default.name,設(shè)置namenode所在主機(jī)，端口號(hào)是9000

注釋三：core-site.xml 對(duì)應(yīng)有一個(gè)core-default.xml, hdfs-site.xml對(duì)應(yīng)有一個(gè)hdfs-default.xml,mapred-site.xml對(duì)應(yīng)有一個(gè)mapred-default.xml。這三個(gè)defalult文件里面都有一些默認(rèn)配置，現(xiàn)在我們修改這三個(gè)site文件，目的就覆蓋default里面的一些配置

修改hdfs-site.xml

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2.  
    3. 
  
  
  
  3.  
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.  
    7. 
  
  
  
  7.    
    8. 
  
  
  
  8.     dfs.replication 
    9. 
  
  
  
  9.     3 
    10. 
  
  
  
  10.    
    11. 
  
  
  
  11.  
    12.

dfs.replication，設(shè)置數(shù)據(jù)塊的復(fù)制次數(shù)，默認(rèn)是3，如果slave節(jié)點(diǎn)數(shù)少于3，則寫成相應(yīng)的1或者2

修改mapred-site.xml

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2.  
    3. 
  
  
  
  3.  
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.  
    7. 
  
  
  
  7.    
    8. 
  
  
  
  8.     mapred.job.tracker 
    9. 
  
  
  
  9.     http://master:9001 
    10. 
  
  
  
  10.    
    11. 
  
  
  
  11.  
    12.

mapred.job.tracker，設(shè)置jobtracker所在機(jī)器，端口號(hào)9001

修改masters

master     

雖然masters內(nèi)寫的是master，但是個(gè)人感覺(jué)，這個(gè)并不是指定master節(jié)點(diǎn)，而是配置secondaryNameNode

修改slaves

master
slave1
slave2
 
配置了集群中所有slave節(jié)點(diǎn)

④ 添加hadoop環(huán)境變量，并 source ~/.bash_profile使之生效

 
 
 
    
  
  
  
  1. export JAVA_HOME=/root/bin/jdk1.6.0_32  
    2. 
  
  
  
  2. export HADOOP_HOME=/root/bin/hadoop-0.20.2 
    3. 
  
  
  
  3. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 
    4.

⑤ 將已經(jīng)配置好的hadoop-0.20.2，分別拷貝到另外兩臺(tái)主機(jī)，并做相同配置

⑥ 此時(shí)，hadoop的集群配置已經(jīng)完成，輸入hadoop，則可看到hadoop相關(guān)的操作

 
 
 
    
  
  
  
  1. [root@master ~]# hadoop  
    2. 
  
  
  
  2. Usage: hadoop [--config confdir] COMMAND  
    3. 
  
  
  
  3. where COMMAND is one of:  
    4. 
  
  
  
  4.   namenode -format     format the DFS filesystem  
    5. 
  
  
  
  5.   secondarynamenode    run the DFS secondary namenode  
    6. 
  
  
  
  6.   namenode             run the DFS namenode  
    7. 
  
  
  
  7.   datanode             run a DFS datanode  
    8. 
  
  
  
  8.   dfsadmin             run a DFS admin client  
    9. 
  
  
  
  9.   mradmin              run a Map-Reduce admin client  
    10. 
  
  
  
  10.   fsck                 run a DFS filesystem checking utility  
    11. 
  
  
  
  11.   fs                   run a generic filesystem user client  
    12. 
  
  
  
  12.   balancer             run a cluster balancing utility  
    13. 
  
  
  
  13.   jobtracker           run the MapReduce job Tracker node  
    14. 
  
  
  
  14.   pipes                run a Pipes job  
    15. 
  
  
  
  15.   tasktracker          run a MapReduce task Tracker node  
    16. 
  
  
  
  16.   job                  manipulate MapReduce jobs  
    17. 
  
  
  
  17.   queue                get information regarding JobQueues  
    18. 
  
  
  
  18.   version              print the version  
    19. 
  
  
  
  19.   jar             run a jar file  
    20. 
  
  
  
  20.   distcp   copy file or directories recursively  
    21. 
  
  
  
  21.   archive -archiveName NAME *  create a hadoop archive  
    22. 
  
  
  
  22.   daemonlog            get/set the log level for each daemon  
    23. 
  
  
  
  23.  or  
    24. 
  
  
  
  24.   CLASSNAME            run the class named CLASSNAME  
    25. 
  
  
  
  25. Most commands print help when invoked w/o parameters. 
    26.

⑦ 此時(shí)，首先格式化hadoop

在命令行里執(zhí)行，hadoop namenode -format

⑧ 啟動(dòng)hadoop

在命令行里執(zhí)行，start-all.sh，或者執(zhí)行start-dfs.sh,再執(zhí)行start-mapred.sh

⑨ 輸入jps，查看啟動(dòng)的服務(wù)進(jìn)程

master節(jié)點(diǎn)：[root@master ~]# jps
25429 SecondaryNameNode
25500 JobTracker
25201 NameNode
25328 DataNode
18474 Jps
25601 TaskTracker

slave節(jié)點(diǎn)：[root@slave1 ~]# jps
4469 TaskTracker
4388 DataNode
29622 Jps

如上顯示，則說(shuō)明相應(yīng)的服務(wù)進(jìn)程都啟動(dòng)成功了。

圈10(額，像①一樣的圈出不來(lái)了(⊙o⊙)) 查看hdfs分布式文件系統(tǒng)的 文件目錄結(jié)構(gòu)

hadoop fs -ls /

此時(shí)發(fā)現(xiàn)為空，因?yàn)榇_實(shí)什么也沒(méi)有，運(yùn)行一下命令，則可創(chuàng)建一個(gè)文件夾：

hadoop fs -mkdir /newDir

再次執(zhí)行hadoop fs -ls /，則會(huì)看到newDir文件夾，關(guān)于hadoop fs 命令，參見(jiàn)：HDFS 命令

圈11 運(yùn)行hadoop 類似hello world的程序

本來(lái)，都是以word count來(lái)運(yùn)行的，但是還得建文件夾之類的，有一個(gè)更簡(jiǎn)單的，就是example中的計(jì)算π值的程序，我們來(lái)計(jì)算一下，進(jìn)入hadoop目錄，運(yùn)行如下：

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2. [root@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2  
    3. 
  
  
  
  3. Number of Maps  = 4 
    4. 
  
  
  
  4. Samples per Map = 2 
    5. 
  
  
  
  5. Wrote input for Map #0  
    6. 
  
  
  
  6. Wrote input for Map #1  
    7. 
  
  
  
  7. Wrote input for Map #2  
    8. 
  
  
  
  8. Wrote input for Map #3  
    9. 
  
  
  
  9. Starting Job  
    10. 
  
  
  
  10. 12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 4  
    11. 
  
  
  
  11. 12/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_0005  
    12. 
  
  
  
  12. 12/05/20 09:45:20 INFO mapred.JobClient:  map 0% reduce 0%  
    13. 
  
  
  
  13. 12/05/20 09:45:30 INFO mapred.JobClient:  map 50% reduce 0%  
    14. 
  
  
  
  14. 12/05/20 09:45:31 INFO mapred.JobClient:  map 100% reduce 0%  
    15. 
  
  
  
  15. 12/05/20 09:45:45 INFO mapred.JobClient:  map 100% reduce 100%  
    16. 
  
  
  
  16. 12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_0005  
    17. 
  
  
  
  17. 12/05/20 09:45:47 INFO mapred.JobClient: Counters: 18  
    18. 
  
  
  
  18. 12/05/20 09:45:47 INFO mapred.JobClient:   Job Counters   
    19. 
  
  
  
  19. 12/05/20 09:45:47 INFO mapred.JobClient:     Launched reduce tasks=1 
    20. 
  
  
  
  20. 12/05/20 09:45:47 INFO mapred.JobClient:     Launched map tasks=4 
    21. 
  
  
  
  21. 12/05/20 09:45:47 INFO mapred.JobClient:     Data-local map tasks=4 
    22. 
  
  
  
  22. 12/05/20 09:45:47 INFO mapred.JobClient:   FileSystemCounters  
    23. 
  
  
  
  23. 12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_READ=94 
    24. 
  
  
  
  24. 12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_READ=472 
    25. 
  
  
  
  25. 12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=334 
    26. 
  
  
  
  26. 12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=215 
    27. 
  
  
  
  27. 12/05/20 09:45:47 INFO mapred.JobClient:   Map-Reduce Framework  
    28. 
  
  
  
  28. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input groups=8 
    29. 
  
  
  
  29. 12/05/20 09:45:47 INFO mapred.JobClient:     Combine output records=0 
    30. 
  
  
  
  30. 12/05/20 09:45:47 INFO mapred.JobClient:     Map input records=4 
    31. 
  
  
  
  31. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce shuffle bytes=112 
    32. 
  
  
  
  32. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce output records=0 
    33. 
  
  
  
  33. 12/05/20 09:45:47 INFO mapred.JobClient:     Spilled Records=16 
    34. 
  
  
  
  34. 12/05/20 09:45:47 INFO mapred.JobClient:     Map output bytes=72 
    35. 
  
  
  
  35. 12/05/20 09:45:47 INFO mapred.JobClient:     Map input bytes=96 
    36. 
  
  
  
  36. 12/05/20 09:45:47 INFO mapred.JobClient:     Combine input records=0 
    37. 
  
  
  
  37. 12/05/20 09:45:47 INFO mapred.JobClient:     Map output records=8 
    38. 
  
  
  
  38. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input records=8 
    39. 
  
  
  
  39. Job Finished in 28.952 seconds  
    40. 
  
  
  
  40. Estimated value of Pi is 3.50000000000000000000 
    41.

計(jì)算PI值為3.5，還算靠近，至于輸出log日志，就不介紹了，以后學(xué)的稍微深入，可多做了解。

Hadoop 三節(jié)點(diǎn)集群的配置就介紹到這里，接下來(lái)，會(huì)介紹一下如何在windows中遠(yuǎn)程連接hadoop，并配置eclipse來(lái)進(jìn)行MapReduce的開(kāi)發(fā)和調(diào)試。


文章題目：三臺(tái)主機(jī)建立Hadoop小集群
文章起源：http://www.dlmjj.cn/article/ccsicdj.html