日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

本篇文章給大家分享的是有關(guān)怎么在Windows環(huán)境中使用IDEA配置一個(gè)Hadoop開(kāi)發(fā)環(huán)境，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

目前成都創(chuàng)新互聯(lián)公司已為上1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)站空間、網(wǎng)站托管維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、天涯網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

1.Hadoop在windows當(dāng)中的安裝

首先在Windows系統(tǒng)里打開(kāi)瀏覽器，下載hadoop的安裝包（二進(jìn)制文件）: http://hadoop.apache.org/releases.html

打開(kāi)網(wǎng)址，我們會(huì)發(fā)現(xiàn)這樣的界面：

由于hadoop在開(kāi)發(fā)當(dāng)中我們常常使用了2.x版本的，因此這里我們這里下載2.10.1版本的。如果你想使用其他版本的進(jìn)行下載，那么在下載之前需要檢查以下maven倉(cāng)庫(kù)里是否有相應(yīng)版本所對(duì)應(yīng)的版本，不然在使用IDEA進(jìn)行開(kāi)發(fā)的時(shí)候，則無(wú)法運(yùn)行。我們打開(kāi)網(wǎng)址：https://mvnrepository.com/

在其中搜索hadoop.則會(huì)出現(xiàn)以下的界面：

鼠標(biāo)往下滑動(dòng),發(fā)現(xiàn)果然！2.10.1的版本出現(xiàn)了！因此我們可以使用找個(gè)版本的hadoop，因?yàn)樵趍aven倉(cāng)庫(kù)里是可以找到的，這樣就不會(huì)出現(xiàn)無(wú)法編程調(diào)用hadoop的問(wèn)題：

2.將下載的文件進(jìn)行解壓

我們下載之后的文件二進(jìn)制文件后綴名為tar.gz，你可以來(lái)到你下載的地方，使用windows下的壓縮包軟件直接進(jìn)行解壓，我使用的是2345壓縮軟件進(jìn)行的解壓。有些教程讓我們必須在windows下模擬的linux環(huán)境下（MinGW）才能夠解壓，其實(shí)完全不用，就把tar.gz當(dāng)作普通的壓縮文件就好了，解壓之后將文件夾更名為hadoop。

3.設(shè)置環(huán)境變量 一方面是要設(shè)置好Java的環(huán)境變量 另一方面是要設(shè)置好剛剛下載的Hadoop的環(huán)境變量

我們?cè)诃h(huán)境變量處分別設(shè)置JAVA_HOME和HADOOP_HOME（目的是為了hadoop在運(yùn)行的時(shí)候能夠找到自己和java的地方在哪兒）:

然后在Path里添加JAVA和hadoop的二進(jìn)制文件夾，bin文件夾，目的是我們這樣就可以使用cmd對(duì)java和haodoop進(jìn)行操作：

4.驗(yàn)證環(huán)境變量的配置

打開(kāi)你的cmd，輸入以下命令，出現(xiàn)我這樣的輸出說(shuō)明配置環(huán)境變量成功：

C:\Users\lenovo>hadoop -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

5.HDFS的配置

接下來(lái)就是配置HDFS的文件，進(jìn)行偽分布式集群以適應(yīng)你的計(jì)算機(jī)。（備注：偽分布式集群也是分布式集群，可以起動(dòng)分布式計(jì)算的效果）

我們來(lái)到之前解壓的hadoop文件夾下，打開(kāi)etc/hadoop文件夾，發(fā)現(xiàn)里面有很多文件：

現(xiàn)在我們的任務(wù)就是修改這些文件當(dāng)中的代碼，務(wù)必修改，不然根本無(wú)法運(yùn)行hadoop??！

6.修改 hadoop-env.cmd

打開(kāi)這個(gè)文件，在找個(gè)文件當(dāng)中的末尾添加上：

set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

7.修改core-site.xml

將configuration處更改為：

  
   fs.defaultFS
   hdfs://0.0.0.0:9000
  

8.hdfs-site.xml

將configuration處更改為如下所示，其中

file:///F:/DataAnalytics/dfs/namespace_logs
file:///F:/DataAnalytics/dfs/data

這兩個(gè)文件夾一定需要是已經(jīng)存在的文件夾，你可以在你的hadoop文件夾下隨意創(chuàng)建兩個(gè)文件夾，然后將下面的這兩個(gè)文件夾的絕對(duì)路徑替換成你的文件夾，這里我也是創(chuàng)建了兩個(gè)新的文件夾，hadoop的下載文件夾里本身是沒(méi)有的。

  
   dfs.replication
   1
  
  
   dfs.name.dir
   file:///F:/DataAnalytics/dfs/namespace_logs
  
  
   dfs.data.dir
   file:///F:/DataAnalytics/dfs/data
  

9. mapred-site.xml

將下方的%USERNAME%替換成你windows的用戶名?。?！這個(gè)十分重要，不要直接復(fù)制?。?！

  
   mapreduce.job.user.name
   %USERNAME%
  
  
   mapreduce.framework.name
   yarn
  
 
   yarn.apps.stagingDir
   /user/%USERNAME%/staging
  
 
   mapreduce.jobtracker.address
   local
  

10.yarn-site.xml

修改為如下所示：

  
   yarn.server.resourcemanager.address
   0.0.0.0:8020
  
 
   yarn.server.resourcemanager.application.expiry.interval
   60000
  
 
   yarn.server.nodemanager.address
   0.0.0.0:45454
  
 
   yarn.nodemanager.aux-services
   mapreduce_shuffle
  
 
   yarn.nodemanager.aux-services.mapreduce.shuffle.class
   org.apache.hadoop.mapred.ShuffleHandler
  
 
   yarn.server.nodemanager.remote-app-log-dir
   /app-logs
  
 
   yarn.nodemanager.log-dirs
   /dep/logs/userlogs
  
 
   yarn.server.mapreduce-appmanager.attempt-listener.bindAddress
   0.0.0.0
  
 
   yarn.server.mapreduce-appmanager.client-service.bindAddress
   0.0.0.0
  
 
   yarn.log-aggregation-enable
   true
  
 
   yarn.log-aggregation.retain-seconds
   -1
  
 
   yarn.application.classpath
   %HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*
  

11.初始化環(huán)境變量

在windows下的cmd，輸入cmd的命令，用于初始化環(huán)境變量。hadoop-env.cmd后綴為cmd，說(shuō)明是cmd下可執(zhí)行的文件：

%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

12.格式化文件系統(tǒng)（File System）

這個(gè)命令在整個(gè)hadoop的配置環(huán)境和之后的使用當(dāng)中務(wù)必僅使用一次?。。?！不然的話后續(xù)會(huì)導(dǎo)致hadoop日志損壞，NameNode無(wú)法開(kāi)啟，整個(gè)hadoop就掛了！

將如下的命令輸入到cmd當(dāng)中進(jìn)行格式化：

hadoop namenode -format

輸出：

2018-02-18 21:29:41,501 INFO namenode.FSImage: Allocated new BlockPoolId: BP-353327356-172.24.144.1-1518949781495
2018-02-18 21:29:41,817 INFO common.Storage: Storage directory F:\DataAnalytics\dfs\namespace_logs has been successfully formatted.
2018-02-18 21:29:41,826 INFO namenode.FSImageFormatProtobuf: Saving image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 using no compression
2018-02-18 21:29:41,934 INFO namenode.FSImageFormatProtobuf: Image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 of size 390 bytes saved in 0 seconds.
2018-02-18 21:29:41,969 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

13.向hadoop文件當(dāng)中注入winutills文件

由于windows下想要開(kāi)啟集群，會(huì)有一定的bug，因此我們?nèi)ゾW(wǎng)站：https://github.com/steveloughran/winutils

下載對(duì)應(yīng)版本的 winutils.exe 文件。打開(kāi)這個(gè)Github倉(cāng)庫(kù)后如下所示：

我們打開(kāi)hadoop2.8.3/bin，選擇其中的 winutils.exe 文件進(jìn)行下載，然后將下載的這個(gè)文件放入到本地的hadoop/bin文件當(dāng)中。不然的話，你打開(kāi)一會(huì)兒你的偽分布式集群，馬上hadoop就會(huì)自動(dòng)關(guān)閉，缺少這兩個(gè)文件的話。

我本地的bin文件最終如下所示：

14.開(kāi)啟hadoop集群

下面就是最激動(dòng)人心的開(kāi)啟hadoop集群了?。。?！我們?cè)赾md當(dāng)中輸入：

C:\Users\lenovo>%HADOOP_HOME%/sbin/start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

這樣就會(huì)跳出來(lái)很多黑色的窗口，如下所示：

然后可以使用JPS工具查看目前開(kāi)啟的node有哪些，如果出現(xiàn)namenode，datanode的話說(shuō)明集群基本上就成功了。如下所示：

15.打開(kāi)本地瀏覽器進(jìn)行驗(yàn)證

我們?cè)跒g覽器輸入localhost:50070,如果能夠打開(kāi)這樣的網(wǎng)頁(yè)，說(shuō)明hadoop已經(jīng)成功開(kāi)啟：

接下來(lái)就可以開(kāi)始IDEA的配置了

 16.創(chuàng)建MAVEN項(xiàng)目工程

打開(kāi)IDEA之后，里面的參數(shù)和項(xiàng)目工程名稱(chēng)隨便寫(xiě)，等待工程創(chuàng)建完畢即可。然后我們編輯pom.xml文件，如下所示：

  4.0.0

  com.atguigu
  hdfs1205
  1.0-SNAPSHOT

  
    8
    8
  
  
    
      junit
      junit
      RELEASE
    
    
      org.apache.logging.log4j
      log4j-core
      2.8.2
    
    
      org.apache.hadoop
      hadoop-common
      2.10.1
    
    
      org.apache.hadoop
      hadoop-client
      2.10.1
    
    
      org.apache.hadoop
      hadoop-hdfs
      2.10.1
    
  

因?yàn)槲沂褂昧?.10.1版本，因此導(dǎo)入的包均為2.10.1，除了log4j，這個(gè)是固定的2.8.2版本的。

然后點(diǎn)擊我箭頭指向的同步maven倉(cāng)庫(kù)，如下所示：

同步完成之后，IDEA左邊的external libararies處就會(huì)顯示大量的有關(guān)hadoop的jar包，如下所示：

這樣就說(shuō)明我們導(dǎo)入maven倉(cāng)庫(kù)成功了。

17.編寫(xiě)代碼

現(xiàn)在我們開(kāi)始編寫(xiě)代碼，在開(kāi)啟hadoop偽分布式集群之后，代碼才可以運(yùn)行哦！

代碼如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class Test {
  public static void main(String[] args) throws Exception {
    FileSystem fs = FileSystem.get(new URI("hdfs://127.0.0.1:9000"), new Configuration());

    FileStatus[] files = fs.listStatus(new Path("/"));
    for (FileStatus f : files) {
      System.out.println(f);
    }
    System.out.println("Compile Over");
  }
}

這段代碼的含義是遍歷hadoop文件系統(tǒng)(HDFS)下的root下所有文件的狀態(tài)，并輸出，由于我目前并沒(méi)有在HDFS下put了任何文件，因此不會(huì)有輸出，出現(xiàn)這樣的輸出，說(shuō)明代碼代碼運(yùn)行成功：

以上就是怎么在Windows環(huán)境中使用IDEA配置一個(gè)Hadoop開(kāi)發(fā)環(huán)境，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享標(biāo)題：怎么在Windows環(huán)境中使用IDEA配置一個(gè)Hadoop開(kāi)發(fā)環(huán)境-創(chuàng)新互聯(lián)
文章來(lái)源：http://www.dlmjj.cn/article/dddcjj.html