建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下Hadoop應(yīng)用中Hadoop的安裝方法，主要介紹介紹一下Hadoop概念的介紹以及安裝前的環(huán)境配置，歡迎大家一起來學(xué)習(xí)有關(guān)Hadoop應(yīng)用方面的知識。首先看一下Hadoop的概念介紹。
hadoop應(yīng)用之安裝篇
hadoop分布式文件系統(tǒng)安裝——ForFreeBSD7
Hadoop一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。
簡單地說來，Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。
Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。
一，概述
1，安裝軟件版本
freebsd:7rc3[新裝系統(tǒng)請采用freebsd7正式發(fā)行版]
hadoop:0.16.0
jdk:1.5.0
OpenSSH:4.5p1
rsync:2.6.9
2，服務(wù)器硬件環(huán)境2臺x86計算機（作為安裝測試1-2臺機器已經(jīng)足夠，如果作為性能測試考慮設(shè)備的硬件性能）
3,hadoop描述
Hadoop包括HDFS(HadoopDistributedFileSystem--Hadoop分布式文件系統(tǒng))和MapReduce一種集約編程模型
以HDFS視角來看節(jié)點分為Namenode和Datanode，其中Namenode是唯一的，Datanode可以是多個，Namenode可以兼Datanode；
以MapReduce視角來看又分為Jobtracker和Tasktracker，其中Jobtracker只有一個，Tasktracker可以是多個同樣Jobtracker可以兼Tasktracker。更多請參考官網(wǎng)介紹
本測試中namenode和jobtracker部署在freebsd7test1.rhinux.com上，datanode和tasktracker部署在freebsd7test1.rhinux.com和freebsd7test2.rhinux.com。Hadoop應(yīng)用介紹Hadoop的安裝時要進行環(huán)境配置。
二，os及環(huán)境配置
1，安裝jdk1.5
#cd/usr/ports/java/jdk15
#makeinstallclean
按照要求和提示下載好對應(yīng)的包，如果找不到舊版本的依賴包請現(xiàn)updataports后再下載***安裝包
#portsnapfetchupdate
#portsnapextract
2，安裝rsync，bash，ssh
a,#cd/usr/ports/net/rsync
#makeinstallclean
b,#cd/usr/ports/shells/bash//一般Linux默認已經(jīng)安裝好bash所以可以省略這一步
#makeinstallclean
c,freebsd7默認OpenSSH_4.5p1
3，系統(tǒng)配置
a,本次配置使用2臺服務(wù)器分別為
freebsd7test1.rhinux.com172.16.27.81(用在namenode由于本次測試只有2臺機器所以兼datanode，但實際生產(chǎn)環(huán)境中不推薦兼datanode)
freebsd7test2.rhinux.com172.16.27.82(用在datanode)
b,配置服務(wù)器的hosts文件使namenode能夠通過域名(freebsd7test2和freebsd7test2.rhinux.com）訪問到所有的datanode（如果namenode兼datanode也需要通過域名訪問到自己），
所有的datanode也能通過域名訪問到namenode
c，示例
==========================/etc/hosts===========================================
::1localhostlocalhost.rhinux.com
127.0.0.1localhostlocalhost.rhinux.com
172.16.27.82freebsd7test2.rhinux.comfreebsd7test2
172.16.27.81freebsd7test1.rhinux.comfreebsd7test1
======================172.16.27.82（namenode&datanode）=======================
4，OS配置按原標準安裝，測試階段/services目錄分區(qū)文件系統(tǒng)使用ZFS（文件系統(tǒng)請選擇自己喜歡的目前測試下來Freebsd7的ZFS并不穩(wěn)定），本節(jié)關(guān)于Hadoop應(yīng)用中Hadoop安裝環(huán)境配置介紹完畢，請繼續(xù)關(guān)注下節(jié)Hadoop應(yīng)用介紹。
【編輯推薦】
- Hadoop Hdfs配置過程全程報道
- Hadoop命令手冊使用指南
- 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設(shè)計
- 兩種模式運行Hadoop分布式并行程序
- Hadoop概念及其用法專家講解
標題名稱：Hadoop應(yīng)用介紹之Hadoop安裝環(huán)境配置
瀏覽地址：http://www.dlmjj.cn/article/cdgcoso.html
