MapReduce，本質就是一種編程模型，也是一個處理大規(guī)模數據集的相關實現。之所以會有這個模型，目的是為了隱藏“并行計算、容錯處理、數據分發(fā)、負載均衡”，從而實現大數據計算的一種抽象。

成都創(chuàng)新互聯擁有網站維護技術和項目管理團隊，建立的售前、實施和售后服務體系，為客戶提供定制化的網站設計、成都網站設計、網站維護、遂寧聯通機房解決方案。為客戶網站安全和日常運維提供整體管家式外包優(yōu)質服務。我們的網站維護服務覆蓋集團企業(yè)、上市公司、外企網站、商城網站建設、政府網站等各類型客戶群體，為全球數千家企業(yè)提供全方位網站維護、服務器維護解決方案。

1、環(huán)境說明

部署節(jié)點操作系統為CentOS，防火墻和SElinux禁用，創(chuàng)建了一個shiyanlou用戶并在系統根目錄下創(chuàng)建/app目錄，用于存放Hadoop等組件運行包。因為該目錄用于安裝hadoop等組件程序，用戶對shiyanlou必須賦予rwx權限（一般做法是root用戶在根目錄下創(chuàng)建/app目錄，并修改該目錄擁有者為shiyanlou(chown –R shiyanlou:shiyanlou /app）。

**Hadoop**搭建環(huán)境：

l 虛擬機操作系統： CentOS6.6 64位，單核，1G內存

l JDK：1.7.0_55 64位

l Hadoop：1.1.2

2、MapReduce原理

2.1 MapReduce簡介

MapReduce 是現今一個非常流行的分布式計算框架，它被設計用于并行計算海量數據。第一個提出該技術框架的是Google 公司，而Google 的靈感則來自于函數式編程語言，如LISP，Scheme，ML 等。MapReduce 框架的核心步驟主要分兩部分：Map 和Reduce。當你向MapReduce 框架提交一個計算作業(yè)時，它會首先把計算作業(yè)拆分成若干個Map 任務，然后分配到不同的節(jié)點上去執(zhí)行，每一個Map 任務處理輸入數據中的一部分，當Map 任務完成后，它會生成一些中間文件，這些中間文件將會作為Reduce 任務的輸入數據。Reduce 任務的主要目標就是把前面若干個Map 的輸出匯總到一起并輸出。從高層抽象來看，MapReduce的數據流圖如下圖所示：

2.2 MapReduce流程分析

2.2.1 Map過程

\1. 每個輸入分片會讓一個map任務來處理，默認情況下，以HDFS的一個塊的大?。J為64M）為一個分片，當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環(huán)形內存緩沖區(qū)中（該緩沖區(qū)的大小默認為100M，由io.sort.mb屬性控制），當該緩沖區(qū)快要溢出時（默認為緩沖區(qū)大小的80%，由io.sort.spill.percent屬性控制），會在本地文件系統中創(chuàng)建一個溢出文件，將該緩沖區(qū)中的數據寫入這個文件；

\2. 在寫入磁盤之前，線程首先根據reduce任務的數目將數據劃分為相同數目的分區(qū)，也就是一個reduce任務對應一個分區(qū)的數據。這樣做是為了避免有些reduce任務分配到大量數據，而有些reduce任務卻分到很少數據，甚至沒有分到數據的尷尬局面。其實分區(qū)就是對數據進行hash的過程。然后對每個分區(qū)中的數據進行排序，如果此時設置了Combiner，將排序后的結果進行Combia操作，這樣做的目的是讓盡可能少的數據寫入到磁盤；

\3. 當map任務輸出最后一個記錄時，可能會有很多的溢出文件，這時需要將這些文件合并。合并的過程中會不斷地進行排序和combia操作，目的有兩個：

l盡量減少每次寫入磁盤的數據量

l盡量減少下一復制階段網絡傳輸的數據量。最后合并成了一個已分區(qū)且已排序的文件。為了減少網絡傳輸的數據量，這里可以將數據壓縮，只要將mapred.compress.map.out設置為true就可以了

\4. 將分區(qū)中的數據拷貝給相對應的reduce任務。有人可能會問：分區(qū)中的數據怎么知道它對應的reduce是哪個呢？其實map任務一直和其父TaskTracker保持聯系，而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整個集群中的宏觀信息。只要reduce任務向JobTracker獲取對應的map輸出位置就可以了。

2.2.2 Reduce過程

\1. Reduce會接收到不同map任務傳來的數據，并且每個map傳來的數據都是有序的。如果reduce端接受的數據量相當小，則直接存儲在內存中（緩沖區(qū)大小由mapred.job.shuffle.input.buffer.percent屬性控制，表示用作此用途的堆空間的百分比），如果數據量超過了該緩沖區(qū)大小的一定比例（由mapred.job.shuffle.merge.percent決定），則對數據合并后溢寫到磁盤中；

\2. 隨著溢寫文件的增多，后臺線程會將它們合并成一個更大的有序的文件，這樣做是為了給后面的合并節(jié)省時間。其實不管在map端還是reduce端，MapReduce都是反復地執(zhí)行排序，合并操作；

\3. 合并的過程中會產生許多的中間文件（寫入磁盤了），但MapReduce會讓寫入磁盤的數據盡可能地少，并且最后一次合并的結果并沒有寫入磁盤，而是直接輸入到reduce函數。

2.3 MapReduce工作機制剖析

1.在集群中的任意一個節(jié)點提交MapReduce程序；

2.JobClient收到作業(yè)后，JobClient向JobTracker請求獲取一個Job ID；

3.將運行作業(yè)所需要的資源文件復制到HDFS上（包括MapReduce程序打包的JAR文件、配置文件和客戶端計算所得的輸入劃分信息），這些文件都存放在JobTracker專門為該作業(yè)創(chuàng)建的文件夾中，文件夾名為該作業(yè)的Job ID；

4.獲得作業(yè)ID后，提交作業(yè)；

5.JobTracker接收到作業(yè)后，將其放在一個作業(yè)隊列里，等待作業(yè)調度器對其進行調度，當作業(yè)調度器根據自己的調度算法調度到該作業(yè)時，會根據輸入劃分信息為每個劃分創(chuàng)建一個map任務，并將map任務分配給TaskTracker執(zhí)行；

6.對于map和reduce任務，TaskTracker根據主機核的數量和內存的大小有固定數量的map槽和reduce槽。這里需要強調的是：map任務不是隨隨便便地分配給某個TaskTracker的，這里有個概念叫：數據本地化（Data-Local）。意思是：將map任務分配給含有該map處理的數據塊的TaskTracker上，同時將程序JAR包復制到該TaskTracker上來運行，這叫“運算移動，數據不移動”；

7.TaskTracker每隔一段時間會給JobTracker發(fā)送一個心跳，告訴JobTracker它依然在運行，同時心跳中還攜帶著很多的信息，比如當前map任務完成的進度等信息。當JobTracker收到作業(yè)的最后一個任務完成信息時，便把該作業(yè)設置成“成功”。當JobClient查詢狀態(tài)時，它將得知任務已完成，便顯示一條消息給用戶；

8.運行的TaskTracker從HDFS中獲取運行所需要的資源，這些資源包括MapReduce程序打包的JAR文件、配置文件和客戶端計算所得的輸入劃分等信息；

9.TaskTracker獲取資源后啟動新的JVM虛擬機；

\10. 運行每一個任務；

網頁題目：Hadoop—MapReduce編程思想
網站網址：http://www.dlmjj.cn/article/djgdses.html