建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)和大家一起學(xué)習(xí)一下Hadoop偽分布安裝模式，上節(jié)我們介紹了Hadoop本地模式的安裝，通過本節(jié)介紹大家可以做一下對(duì)比，看一下那種模式安裝適合你，歡迎大家一起來學(xué)習(xí)Hadoop偽分布安裝。為了便于大家理解，先看一下Hadoop的概念。
成都創(chuàng)新互聯(lián)公司長(zhǎng)期為近1000家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為馬邊彝族企業(yè)提供專業(yè)的網(wǎng)站制作、成都網(wǎng)站制作，馬邊彝族網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。
Hadoop偽分布安裝模式
Hadoop概念
一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。
簡(jiǎn)單地說來，Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。
Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性（fault-tolerent）的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。下面就hadoop0.20.1為藍(lán)本，介紹在UbuntuLinux9.10下hadoop偽分布安裝的方法。
支持的平臺(tái)：
Linux，可作為開發(fā)和產(chǎn)品部署的平臺(tái)；
Windows，可作為開發(fā)平臺(tái)。
事先需要的軟件：
1.JavaTM1.6.x，必須安裝，建議選擇Sun公司發(fā)行的Java版本；
2.ssh必須安裝，并保證sshd運(yùn)行，hadoop將以ssh進(jìn)行通訊；
3.如果是windows，則需要裝Cygwin，用以支持shell命令。
安裝可用的模式：
1.本地模式；
2.偽分布模式；
3.全分布模式。
Hadoop偽分布模式安裝步驟：
1.將hadoop安裝包解壓縮到某目錄下；
2.修改conf/hadoop-env.sh文件，exportJAVA_HOME=那行設(shè)置正確的JAVA_HOME位置
3.修改conf/core-site.xml，改為：
- viewplaincopytoclipboardprint?
fs.default.name hdfs://localhost:9000 fs.default.name hdfs://localhost:9000
4.修改conf/hdfs-site.xml，改為：
- viewplaincopytoclipboardprint?
dfs.replication 1 dfs.replication 1
5.修改conf/mapred-site.xml，改為：
- viewplaincopytoclipboardprint?
mapred.job.tracker localhost:9001 mapred.job.tracker localhost:9001
6.設(shè)置本機(jī)ssh本機(jī)無密碼
先測(cè)試一下，輸入命令sshlocalhost，如果提示密碼，則需要進(jìn)行以下操作：
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
7.格式化namenode：
$bin/hadoopnamenode-format
8.啟動(dòng)Hadoop：
$bin/start-all.sh
至此，hadoop偽分布模式安裝完畢！
網(wǎng)頁(yè)題目：Hadoop偽分布模式安裝如何實(shí)現(xiàn)？
標(biāo)題鏈接：http://www.dlmjj.cn/article/dhidepg.html
