日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

什么是Hadoop?

Hadoop是一個(gè)開源的分布式存儲(chǔ)和計(jì)算框架，它可以在大規(guī)模數(shù)據(jù)集上進(jìn)行高效的分布式處理，Hadoop的核心組件包括HDFS(Hadoop Distributed FileSystem)和MapReduce，HDFS是一個(gè)高度容錯(cuò)的分布式文件系統(tǒng)，可以在廉價(jià)的硬件上提供高吞吐量的數(shù)據(jù)訪問，MapReduce是一種編程模型，用于處理和生成大型數(shù)據(jù)集，通過將計(jì)算任務(wù)分布到集群中的多個(gè)節(jié)點(diǎn)上，Hadoop可以有效地處理大量數(shù)據(jù)。

如何安裝Hadoop?

1、下載Hadoop安裝包

從Apache Hadoop官網(wǎng)下載相應(yīng)版本的Hadoop安裝包：https://hadoop.apache.org/releases.html

2、解壓安裝包

將下載的壓縮包解壓到指定目錄，/usr/local/hadoop

3、配置環(huán)境變量

編輯~/.bashrc文件，添加以下內(nèi)容：

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后執(zhí)行source ~/.bashrc使配置生效。

4、配置Hadoop

編輯$HADOOP_HOME/etc/hadoop/core-site.xml文件，添加以下內(nèi)容：

    
        fs.defaultFS
        hdfs://localhost:9000
    

編輯$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，添加以下內(nèi)容：

    
        dfs.replication
        1
    

5、格式化HDFS

執(zhí)行以下命令格式化HDFS:

$HADOOP_HOME/bin/hdfs namenode -format

6、啟動(dòng)Hadoop集群

執(zhí)行以下命令啟動(dòng)Hadoop集群：

$HADOOP_HOME/sbin/start-all.sh

7、驗(yàn)證Hadoop是否安裝成功

執(zhí)行以下命令查看Hadoop集群狀態(tài)：

$HADOOP_HOME/bin/jps

如果看到NameNode、DataNode等進(jìn)程，則說明Hadoop安裝成功。

如何引入第三方j(luò)ar包？

在Hadoop中引入第三方j(luò)ar包有兩種方法：一種是將jar包復(fù)制到Hadoop的lib目錄下；另一種是使用Hadoop的類加載器機(jī)制動(dòng)態(tài)加載jar包，下面分別介紹這兩種方法。

1、將jar包復(fù)制到Hadoop的lib目錄下

將需要引入的第三方j(luò)ar包復(fù)制到Hadoop的lib目錄下，/usr/local/hadoop/lib，在運(yùn)行MapReduce作業(yè)時(shí)，使用-libjars參數(shù)指定需要加載的jar包，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar 
    -files hdfs://localhost:9000/user/input.txt 
    -files hdfs://localhost:9000/user/output.txt 
    -mapper "python my_mapper.py" 
    -reducer "python my_reducer.py" 
    -inputformat org.apache.hadoop.mapred.TextInputFormat 
    -outputformat org.apache.hadoop.mapred.TextOutputFormat 
    -jobconf mapred.job.name="my_job" 
    -libjars /usr/local/hadoop/lib/*.jar 
    -verbose 
    hdfs://localhost:9000/user/my_job_output

2、使用Hadoop的類加載器機(jī)制動(dòng)態(tài)加載jar包

在運(yùn)行MapReduce作業(yè)時(shí)，可以使用-archives參數(shù)指定需要加載的jar包，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar 
    -files hdfs://localhost:9000/user/input.txt 
    -files hdfs://localhost:9000/user/output.txt 
    -mapper "python my_mapper.py" 
    -reducer "python my_reducer.py" 
    -inputformat org.apache.hadoop.mapred.TextInputFormat 
    -outputformat org.apache.hadoop.mapred.TextOutputFormat 
    -jobconf mapred.job.name="my_job" 
    -archives hdfs://localhost:9000/user/my_job_input.zip,hdfs://localhost:9000/user/my_job_output.zip 
    -verbose 
    hdfs://localhost:9000/user/my_job_output

hdfs://localhost:9000/user/my_job_input.zip和hdfs://localhost:9000/user/my_job_output.zip分別是需要加載的兩個(gè)jar包，它們的路徑可以是本地文件系統(tǒng)或者HDFS上的路徑，注意，這兩個(gè)jar包必須是zip格式。

分享標(biāo)題：hadoop2.2.0第三方j(luò)ar包引入的操作方法
瀏覽地址：http://www.dlmjj.cn/article/cccppdp.html