建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)接著上節(jié)向大家介紹Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置的方法步驟，上節(jié)介紹了配置的準本工作，接下來該開始配置Hadoop了，這里向大家簡單分享一下，希望本節(jié)的學習可以讓你對Hadoop開發(fā)環(huán)境有新的理解。
目前成都創(chuàng)新互聯(lián)公司已為上千多家的企業(yè)提供了網站建設、域名、網站空間、網站托管、服務器托管、企業(yè)網站設計、新晃網站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置
一，解壓文件
打開一個cygwin，輸入以下命令
cd.
explorer.
會彈出一個新窗口，把原來下載的hadoop壓縮文件放到里面，并解壓。個人認為，其實不一定要放到cygwin的用戶根目錄下，沒試過。
二，配置Hadoop
打開解壓出來的文件夾，在hadoop-0.19.2\conf目錄下有一個hadoop-site.xml文件，打開，在原有的
fs.default.name hdfs://localhost:9100 mapred.job.tracker localhost:9101 dfs.replication 1
保存。
三，格式化NameNode
打開一個cygwin，轉到hadoop目錄下，如果按照前面的解壓，直接用cdhadoop-0.19.2就可以了，接著輸入以下命令：
mkdirlogs
bin/hadoopnamenode-format
四，安裝Eclipse插件
因為本節(jié)介紹的Hadoop開發(fā)環(huán)境配置是基于Eclipse的，所以需要安裝Eclipse插件。打開解壓后的文件夾，把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse-plugin.jar文件拷到eclipse的plugins目錄下，重啟eclipse，在Window-》OpenPerspective-》other，彈出的窗口中應該有一項Map/Reduce項，代表安裝成功了。如果沒有的話，把eclipse下的configuration\org.eclipse.update文件夾刪了，再重啟eclipse。
五，啟動Hudoop集群
啟動五個cygwin。
在***中啟動NameNode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopnamenode
在第二個中啟動SecondaryNameNode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopsecondarynamenode
第三個中啟動jobtracker執(zhí)行：
cdhadoop-0.19.2
bin/hadoopjobtracker
第四個中啟動datanode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopdatanode
***一個啟動tasktracker，執(zhí)行：
cdhadoop-0.19.2
bin/hadooptasktracker
六，在Eclipse中配置Hadoop開發(fā)環(huán)境
啟動eclipse，轉到Map/ReducePerspective,在上圖的Map/ReduceLocations里，新建一個Location，填入以下值
*LocationName--localhost
*Map/ReduceMaster
oHost--localhost
oPort--9101
*DFSMaster
oCheck"UseM/RMasterHost"
oPort--9100
*Username--默認
七，上傳文件到HDFS
打開一個cygwin，執(zhí)行
cdhadoop-0.19.1
bin/hadoopfs-mkdirIn
bin/hadoopfs-put*.txtIn
這時，在eclipse的Projectexplorer的DFSlocation中，應該能反應變化，沒有的話，reconnect一下。Hadoop開發(fā)環(huán)境安全配置的下一步該創(chuàng)建工程了。
八，創(chuàng)建工程
啟動Eclipse，右鍵點擊ProjectExplorer窗口，選擇New->Project..找到Map/ReduceProject，點Next，輸入名字。
點擊下面的ConfigHadoopInstallDirectiory，輸入Hadoop的目錄，如：C:\cygwin\home\User\hadoop-0.19.2
右鍵點擊新創(chuàng)建的Hadoop工程，選擇New->Other轉到Map/Reduce文件夾,選擇MapReduceDriver然后點擊Next，輸入名字，點擊Finish。
新創(chuàng)建了一個文件，但是有錯誤，把
conf.setInputPath(newPath("src"));
conf.setOutputPath(newPath("out"));
換為
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf,newPath("In"));
FileOutputFormat.setOutputPath(conf,newPath("Out"));
右鍵點擊文件，選擇RunAs-->RunonHadoop.在彈出的窗口中選擇"Chooseexistinghadooplocation",然后選擇剛才創(chuàng)建的localhost，點Finish就開始運行了。至此本節(jié)關于Hadoop開發(fā)環(huán)境安全配置就完成了。
當前名稱：Windows下輕松實現(xiàn)Hadoop開發(fā)環(huán)境安全配置
網頁鏈接：http://www.dlmjj.cn/article/djeieds.html
