日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
解析Hadoop的集群管理與安全機制

HDFS數(shù)據(jù)管理

創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務，包含不限于網(wǎng)站建設、做網(wǎng)站、洮北網(wǎng)絡推廣、微信小程序、洮北網(wǎng)絡營銷、洮北企業(yè)策劃、洮北品牌公關、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)公司為所有大學生創(chuàng)業(yè)者提供洮北建站搭建服務，24小時服務熱線：028-86922220，官方網(wǎng)址：www.cdcxhl.com

1、設置元數(shù)據(jù)與數(shù)據(jù)的存儲路徑，通過

dfs.name.dir，dfs.data.dir，fs.checkpoint.dir(hadoop1.x)、

hadoop.tmp.dir，dfs.namenode.name.dir，dfs.namenode.edits.dir，dfs.datanode.data.dir(hadoop2.x)等屬性來設置;

2、經(jīng)常執(zhí)行HDFS文件系統(tǒng)檢查工具FSCK，eg：hdfs fsck /liguodong -files -blocks;

 
 
 
 
    
  
  
  
  
  1. [root@slave1 mapreduce]# hdfs fsck /input 
    2.   
  
  
  
  2. Connecting to namenode via http://slave1:50070 
    3.   
  
  
  
  3. FSCK started by root (auth:SIMPLE) from /172.23.253.22 for path /input at Tue Jun 16 21:29:21 CST 2015 
    4.   
  
  
  
  4. .Status: HEALTHY 
    5.   
  
  
  
  5.  Total size:    80 B 
    6.   
  
  
  
  6.  Total dirs:    0 
    7.   
  
  
  
  7.  Total files:   1 
    8.   
  
  
  
  8.  Total symlinks:                0 
    9.   
  
  
  
  9.  Total blocks (validated):      1 (avg. block size 80 B) 
    10.   
  
  
  
  10.  Minimally replicated blocks:   1 (100.0 %) 
    11.   
  
  
  
  11.  Over-replicated blocks:        0 (0.0 %) 
    12.   
  
  
  
  12.  Under-replicated blocks:       0 (0.0 %) 
    13.   
  
  
  
  13.  Mis-replicated blocks:         0 (0.0 %) 
    14.   
  
  
  
  14.  Default replication factor:    1 
    15.   
  
  
  
  15.  Average block replication:     1.0 
    16.   
  
  
  
  16.  Corrupt blocks:                0 
    17.   
  
  
  
  17.  Missing replicas:              0 (0.0 %) 
    18.   
  
  
  
  18.  Number of data-nodes:          1 
    19.   
  
  
  
  19.  Number of racks:               1 
    20.   
  
  
  
  20. FSCK ended at Tue Jun 16 21:29:21 CST 2015 in 1 milliseconds 
    21.   
  
  
  
  21.  
    22.   
  
  
  
  22. The filesystem under path '/input' is HEALTHY 
    23.

3、一旦數(shù)據(jù)發(fā)生異常，可以設置NameNode為安全模式，這時NameNode為只讀模式;

操作命令：hdfs dfsadmin -safemode enter | leave | get | wait

 
 
 
 
    
  
  
  
  
  1. [root@slave1 mapreduce]# hdfs dfsadmin -report 
    2.   
  
  
  
  2. Configured Capacity: 52844687360 (49.22 GB) 
    3.   
  
  
  
  3. Present Capacity: 45767090176 (42.62 GB) 
    4.   
  
  
  
  4. DFS Remaining: 45766246400 (42.62 GB) 
    5.   
  
  
  
  5. DFS Used: 843776 (824 KB) 
    6.   
  
  
  
  6. DFS Used%: 0.00% 
    7.   
  
  
  
  7. Under replicated blocks: 0 
    8.   
  
  
  
  8. Blocks with corrupt replicas: 0 
    9.   
  
  
  
  9. Missing blocks: 0 
    10.   
  
  
  
  10.  
    11.   
  
  
  
  11. ------------------------------------------------- 
    12.   
  
  
  
  12. Datanodes available: 1 (1 total, 0 dead) 
    13.   
  
  
  
  13.  
    14.   
  
  
  
  14. Live datanodes: 
    15.   
  
  
  
  15. Name: 172.23.253.22:50010 (slave1) 
    16.   
  
  
  
  16. Hostname: slave1 
    17.   
  
  
  
  17. Decommission Status : Normal 
    18.   
  
  
  
  18. Configured Capacity: 52844687360 (49.22 GB) 
    19.   
  
  
  
  19. DFS Used: 843776 (824 KB) 
    20.   
  
  
  
  20. Non DFS Used: 7077597184 (6.59 GB) 
    21.   
  
  
  
  21. DFS Remaining: 45766246400 (42.62 GB) 
    22.   
  
  
  
  22. DFS Used%: 0.00% 
    23.   
  
  
  
  23. DFS Remaining%: 86.61% 
    24.   
  
  
  
  24. Last contact: Tue Jun 16 21:27:17 CST 2015 
    25.   
  
  
  
  25.  
    26.   
  
  
  
  26. [root@slave1 mapreduce]# hdfs dfsadmin -safemode get 
    27.   
  
  
  
  27. Safe mode is OFF 
    28.

4、每一個DataNode都會運行一個數(shù)據(jù)掃描線程，它可以檢測并通過修復命令來修復壞塊或丟失的數(shù)據(jù)塊，通過屬性設置掃描周期;

dfs.datanode.scan.period.hourses， 默認是504小時。

MapReduce作業(yè)管理

查看Job信息：mapred job -list;

殺死Job：mapred job -kill;

查看指定路徑下的歷史日志匯總：mapred job -history output-dir;

打印map和reduce完成的百分比和所有計數(shù)器：mapred job -status job_id;

 
 
 
 
    
  
  
  
  
  1. [root@slave1 mapreduce]# mapred job 
    2.   
  
  
  
  2. Usage: CLI   
    3.   
  
  
  
  3.         [-submit ] 
    4.   
  
  
  
  4.         [-status ] 
    5.   
  
  
  
  5.         [-counter   ] 
    6.   
  
  
  
  6.         [-kill ] 
    7.   
  
  
  
  7.         [-set-priority  ]. Valid values for priorities are: VERY_HIGH HIGH NORMAL LOW VERY_LOW 
    8.   
  
  
  
  8.         [-events   <#-of-events>] 
    9.   
  
  
  
  9.         [-history ] 
    10.   
  
  
  
  10.         [-list [all]] 
    11.   
  
  
  
  11.         [-list-active-trackers] 
    12.   
  
  
  
  12.         [-list-blacklisted-trackers] 
    13.   
  
  
  
  13.         [-list-attempt-ids   ]. Valid values for  are REDUCE MAP. Valid values for  are running, completed 
    14.   
  
  
  
  14.         [-kill-task ] 
    15.   
  
  
  
  15.         [-fail-task ] 
    16.   
  
  
  
  16.         [-logs  ] 
    17.   
  
  
  
  17.  
    18.   
  
  
  
  18. Generic options supported are 
    19.   
  
  
  
  19. -conf      specify an application configuration file 
    20.   
  
  
  
  20. -D             use value for given property 
    21.   
  
  
  
  21. -fs       specify a namenode 
    22.   
  
  
  
  22. -jt     specify a job tracker 
    23.   
  
  
  
  23. -files     specify comma separated files to be copied to the map reduce cluster 
    24.   
  
  
  
  24. -libjars     specify comma separated jar files to include in the classpath. 
    25.   
  
  
  
  25. -archives     specify comma separated archives to be unarchived on the compute machines. 
    26.   
  
  
  
  26.  
    27.   
  
  
  
  27.  
    28.   
  
  
  
  28. [root@slave1 mapreduce]# mapred job -list 
    29.   
  
  
  
  29. 15/06/16 21:33:25 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
    30.   
  
  
  
  30. Total jobs:0 
    31.   
  
  
  
  31. JobId  State  StartTime  UserName  Queue  Priority  UsedContainers  RsvdContainers  UsedMem RsvdMem    NeededMem    AM info 
    32.

#p#

Hadoop集群安全

Hadoop自帶兩種安全機制：Simple機制、Kerberos機制

1、Simple機制：

Simple機制是JAAS協(xié)議與delegation token結(jié)合的一種機制，JAAS(Java Authentication and Authorization Service)java認證與授權(quán)服務;

(1)用戶提交作業(yè)時，JobTracker端要進行身份核實，先是驗證到底是不是這個人，即通過檢查執(zhí)行當前代碼的人與JobConf中的user.name中的用戶是否一致;

(2)然后檢查ACL(Access Control List)配置文件(由管理員配置)看你是否有提交作業(yè)的權(quán)限。一旦你通過驗證，會獲取HDFS或者mapreduce授予的delegation token(訪問不同模塊有不同的delegation token)，之后的任何操作，比如訪問文件，均要檢查該token是否存在，且使用者跟之前注冊使用該token的人是否一致。

2、Kerberos機制：

Kerberos機制是基于認證服務器的一種方式;

Princal(安全個體)：被認證的個體，有一個名字和口令;

KDC(key distribution center)：是一個網(wǎng)絡服務，提供ticket和臨時會話密鑰;

Ticket：一個記錄，客戶用它來向服務器證明自己的身份，包括客戶標識、會話密鑰、時間戳;

AS(Authentication Server)：認證服務器;

TSG(Ticket Granting Server)：許可認證服務器;

[[137086]]

(1)Client將之前獲得TGT和要請求的服務信息(服務名等)發(fā)送給KDC，

KDC中的Ticket Granting Service將為Client和Service之間生成一個Session Key用于Service對Client的身份鑒別。

然后KDC將這個Session Key和用戶名，用戶地址(IP)，服務名，有效期, 時間戳一起包裝成一個Ticket(這些信息最終用于Service對Client的身份鑒別)發(fā)送給Service，

不過Kerberos協(xié)議并沒有直接將Ticket發(fā)送給Service，而是通過Client轉(zhuǎn)發(fā)給Service，所以有了第二步。

(2)此時KDC將剛才的Ticket轉(zhuǎn)發(fā)給Client。

由于這個Ticket是要給Service的，不能讓Client看到，所以KDC用協(xié)議開始前KDC與Service之間的密鑰將Ticket加密后再發(fā)送給Client。

同時為了讓Client和Service之間共享那個密鑰(KDC在***步為它們創(chuàng)建的Session Key)，

KDC用Client與它之間的密鑰將Session Key加密隨加密的Ticket一起返回給Client。

(3)為了完成Ticket的傳遞，Client將剛才收到的Ticket轉(zhuǎn)發(fā)到Service。

由于Client不知道KDC與Service之間的密鑰，所以它無法算改Ticket中的信息。

同時Client將收到的Session Key解密出來，然后將自己的用戶名，用戶地址(IP)打包成Authenticator用Session Key加密也發(fā)送給Service。

(4)Service 收到Ticket后利用它與KDC之間的密鑰將Ticket中的信息解密出來，從而獲得Session Key和用戶名，用戶地址(IP)，服務名，有效期。

然后再用Session Key將Authenticator解密從而獲得用戶名，用戶地址(IP)將其與之前Ticket中解密出來的用戶名，用戶地址(IP)做比較從而驗證Client的身份。

(5)如果Service有返回結(jié)果，將其返回給Client。

#p#

Hadoop集群內(nèi)部使用Kerberos進行認證

[[137087]]

好處：

可靠：Hadoop本身并沒有認證功能和創(chuàng)建用戶組功能，使用依靠外圍的認證系統(tǒng);

高效：Kerberos使用對稱鑰匙操作，比SSL的公共密鑰快;

操作簡單：用戶可以方便進行操作，不需要很復雜的指令。比如廢除一個用戶只需要從Kerbores的KDC數(shù)據(jù)庫中刪除即可。

HDFS安全

1、Client獲取namenode初始訪問認證(使用kerberos)后，會獲取一個delegation token，這個token可以作為接下來訪問HDFS或提交作業(yè)的憑證;

2、同樣為了讀取某個文件，Client首先要與namenode交互，獲取對應block的block access token，

然后到相應的datanode上讀取各個block ，

而datanode在初始啟動向namenode注冊時候，已經(jīng)提前獲取了這些token，

當client要從TaskTracker上讀取block時，首先驗證token，通過才允許讀取。

MapReduce安全

1、所有關于作業(yè)的提交或者作業(yè)運行狀態(tài)的追蹤均是采用帶有Kerberos認證的RPC實現(xiàn)的。

授權(quán)用戶提交作業(yè)時，JobTracker會為之生成一個delegation token，該token將被作為job的一部分存儲到HDFS上并通過RPC分發(fā)給各個TaskTracker，一旦job運行結(jié)束，該token失效。

2、用戶提交作業(yè)的每個task均是以用戶身份啟動的，這樣一個用戶的task便不可以向TaskTracker或者其他用戶的task發(fā)送操作系統(tǒng)信號，給其他用戶造成干擾。這要求為每個用戶在所有的TaskTracker上建一個賬號;

3、當一個map task運行結(jié)束時，它要將計算結(jié)果告訴管理它的TaskTracker，之后每個reduce task會通過HTTP向該TaskTracker請求自己要處理的那塊數(shù)據(jù)，Hadoop應該確保其他用戶不可以獲取map task的中間結(jié)果，

其執(zhí)行過程是：reduce task對“請求URL”和“當前時間”計算HMAC-SHA1值，并將該值作為請求的一部分發(fā)動給TaskTracker，TaskTracker收到后會驗證該值的正確性。

博文出處：http://blog.csdn.net/scgaliguodong123_/article/details/46523569


網(wǎng)頁名稱：解析Hadoop的集群管理與安全機制
標題URL：http://www.dlmjj.cn/article/djpjsic.html