建站
咨詢
售后
建站咨詢
新聞中心
Hadoop 是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。
1、系統(tǒng)安裝類型選擇及自定義額外包組
進(jìn)入如圖 1-1 所示界面。 上半部分是系統(tǒng)定制的不同的系統(tǒng)安裝類型選擇項(xiàng)，默認(rèn)是“ Desktop”，這里我們選擇“ Minimal”，即最小化安裝，下半部分是在上面系統(tǒng)安裝類型確定后， 額外想添加的軟件包組選擇項(xiàng)，我們選擇“ Customize now”即立即自定義。
圖 1-1 系統(tǒng)安裝包類型選擇及自定義額外包組。
在下圖 1-2 的自定義額外的包組界面，我們首先需要選擇左邊的大的分類，然后在勾選右邊對應(yīng)的小的包組。注意：右邊小包組里的內(nèi)容默認(rèn)即可，選擇結(jié)果如圖（1）、圖（2）所示。
圖 1-2 自定義安裝包組選擇界面I
1.1 根據(jù)經(jīng)驗(yàn)，選擇安裝包時(shí)應(yīng)該按最小化原則，即不需要的或者不確定是否需要的就不安裝，這樣可以最大程度上確保系統(tǒng)安全。
1.2 如果安裝過程落了部分包組或者其他伙伴安裝時(shí)沒選
安裝后可以按如下方式補(bǔ)上安裝時(shí)未安裝的包組：
yum groupinstall "Compatibility libraries" "Base" "Development tools"
yum groupinstall "debugging Tools" "Dial-up Networking Support"
可以通過 yum groupinfo 包組查看具體安裝的組件。
1.3 下面安裝 6.7 后登陸系統(tǒng)的時(shí)候查看選包的情況
yum grouplist:
Installed Groups:
Base
Compatibility libraries
Debugging Tools
Development tools
E-mail server
Graphical Administration Tools
Hardware monitoring utilities
Legacy UNIX compatibility
Networking Tools
Performance Tools
Perl Support
Scientific support
Security Tools
可以看到除了我們選擇的外，系統(tǒng)還是默認(rèn)安裝了一些必須的軟件包組。
2、網(wǎng)絡(luò)設(shè)置
[root@centos ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:6D:58:E4
TYPE=Ethernet
UUID=5236fdbb-76ee-4f98-90cf-6bed4fb62661
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.2.200
GATEWAY=192.168.2.1
NETMASK=255.255.255.0
3、Linux系統(tǒng)優(yōu)化 Supper Hadoop
3.1 環(huán)境檢查
3.1.1 操作系統(tǒng)
# cat /etc/redhat-release
CentOS release 6.6 (Final)
3.1.2 所有主機(jī)能夠相互ping通
3.1.3 linux內(nèi)核版本
# uname -r
2.6.32-504.el6.x86_64
3.2 添加安裝集群用戶&&關(guān)閉selinux&&修改Linux啟動(dòng)級(jí)別為3
useradd hadoop
echo "hadoop123"|passwd --stdin hadoop
yum grouplist
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0
grep SELINUX=disabled /etc/selinux/config
grep id:3:initdefault: /etc/inittab
**3.3 優(yōu)化開機(jī)自動(dòng)啟動(dòng)服務(wù)&&增大文件描述符(Hadoop并行讀取數(shù)據(jù)文件)&&sudo權(quán)限管理
**
chkconfig --list|grep 3:on |wc –l
chkconfig --list|grep 3:on | cut -d " " -f1
for name in `chkconfig --list|grep 3:on | cut -d " " -f1` ;do chkconfig $name off;done
chkconfig --list|grep 3:on
#如果系統(tǒng)基于lvm邏輯卷管理需要開啟lvm2-monitor blk-availability兩個(gè)服務(wù)
for name in crond ntpd lvm2-monitor blk-availability network rsyslog sshd;do chkconfig $name on;done
iptables -L -n
/etc/init.d/iptables stop
iptables -L -n
chkconfig --list|grep iptables
echo 'hadoop ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers
echo '* - nofile 65535' >> /etc/security/limits.conf
tail -1 /etc/security/limits.conf
3.4 配置ntp服務(wù)器，讓所有服務(wù)器時(shí)間保持一致，如果是非內(nèi)網(wǎng)服務(wù)器可以直接安裝啟動(dòng)ntp
yum install htpd -y
/etc/init.d/ntpd start
chkconfig ntpd on
$ ntpq –p #公網(wǎng)自動(dòng)時(shí)間同步
如果是內(nèi)網(wǎng)服務(wù)器，需要配置一臺(tái)ntp服務(wù)器，所有服務(wù)器到ntp服務(wù)器定期同步時(shí)間，內(nèi)網(wǎng)ntp服務(wù)器配置：
vim /etc/ntp.conf
restrict default ignore //默認(rèn)不允許修改或者查詢ntp,并且不接收特殊封包
restrict 127.0.0.1 //給于本機(jī)所有權(quán)限
restrict 192.168.2.0 mask 255.255.255.0 notrap nomodify //給于局域網(wǎng)機(jī)的機(jī)器有同步時(shí)間的權(quán)限
server 192.168.2.124 # local clock
driftfile /var/lib/ntp/drift
fudge 127.127.1.0 stratum 10
ntpq -p 查詢網(wǎng)絡(luò)中的NTP服務(wù)器：
$ ntpq –p
所有機(jī)器服務(wù)器需要和ntp服務(wù)時(shí)間保持一致：
$ ntpdate 192.168.1.124 #剛剛配置好ntp服務(wù)器,大概需要5min后才能正常提供服務(wù);報(bào)錯(cuò)"no server suitable for synchronization found"
所有大數(shù)據(jù)服務(wù)器設(shè)置cron同步ntp服務(wù)器時(shí)間：
$ crontab -l
00 1 * * * root /usr/sbin/ntpdate 192.168.1.124 >> /root/ntpdate.log 2>&1
3.5 關(guān)閉防火墻
/etc/init.d/iptables status
/etc/init.d/iptables stop
chkconfig iptables off
3.6 關(guān)閉Swap
swapoff -a
3.7 Linux overcommit-memory
echo 0 > /proc/sys/vm/overcommit_memory
3.8 所有主機(jī)做好hosts ip映射&&repo文件
# tail -6 /etc/hosts
192.168.1.124 apache-server archive.cloudera.com archive-primary.cloudera.com
192.168.1.201 server1
192.168.1.202 server2
192.168.1.203 server3
192.168.1.204 server4
所有主機(jī)同步hosts文件一致
# scp -r /etc/hosts hostname:/etc/
所有主機(jī)repo文件同步
# scp -r CentOS-httpd.repo cloudera-cdh5.repo hostname:/etc/yum.repos.d/
3.9 swappiness && transparent_hugepage
#sudo echo '0' > /proc/sys/vm/swappiness
#sudo sysctl vm.swappiness=0
#sudo echo '#by whoami 2015-10-30'>> /etc/sysctl.conf
#sudo echo 'vm.swappiness=0'>> /etc/sysctl.conf
# cat /sys/kernel/mm/redhat_transparent_hugepage/defrag
[always] never
# echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
# cat /sys/kernel/mm/redhat_transparent_hugepage/defrag
always [never]
# echo '#by whoami 2015-10-30'>> /etc/rc.local
# echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag ' >> /etc/rc.local
4、克隆虛擬機(jī)
虛擬機(jī)eth0無法啟動(dòng)解決，其實(shí)是因?yàn)榭寺『驧ac地址一致，導(dǎo)致沖突，而無法啟動(dòng)，報(bào)錯(cuò)信息如下：
Bring up interface eth0: Device eth0 does not seem to be present,delaying initialization.
刪除兩項(xiàng)ifcfg-eth0的配置，重啟系統(tǒng)即可：
rm -f /etc/udev/rules.d/70-persistent-net.rules
刪除／etc/sysconfig/network-scripts/ifcfg-eth0中，HWADDR、UUID兩項(xiàng)內(nèi)容，重啟網(wǎng)卡即可解決。
／etc/init.d/network restart
網(wǎng)站名稱：Centos優(yōu)化Hadoop方案
當(dāng)前URL：http://www.dlmjj.cn/article/dpehohg.html
