建站
咨詢
售后
建站咨詢
新聞中心
小編給大家分享一下Hadoop怎么優(yōu)化，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
我們提供的服務(wù)有：成都網(wǎng)站建設(shè)、成都網(wǎng)站制作、微信公眾號(hào)開(kāi)發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、萬(wàn)年ssl等。為數(shù)千家企事業(yè)單位解決了網(wǎng)站和推廣的問(wèn)題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的萬(wàn)年網(wǎng)站制作公司
在用hadoop測(cè)試些程序，但是，用的數(shù)據(jù)都是小數(shù)據(jù)，用hadoop處理起來(lái)相當(dāng)慢，每個(gè)文件就只有幾KB，而文件有幾百個(gè)，這樣，20MB的數(shù)據(jù)運(yùn)行完就要40多分鐘，而且即使是4臺(tái)機(jī)器，運(yùn)行完也要14分鐘，這完全是浪費(fèi)了hadoop，最后發(fā)現(xiàn)，每臺(tái)電腦只有兩個(gè)Map，這就讓Map過(guò)很相當(dāng)漫長(zhǎng)。查了一些資料，發(fā)現(xiàn)暫時(shí)有兩項(xiàng)現(xiàn)在我用得著
1、設(shè)置Map數(shù)：
在conf文件夾中的mapred-site.xml文件里加入
mapred.tasktracker.map.tasks.maximum
格式如下：
mapred.tasktracker.map.tasks.maximum 10
這里只設(shè)置了10個(gè)，看網(wǎng)上說(shuō)的一般一個(gè)節(jié)點(diǎn)的map數(shù)是30到300個(gè)，大家可以根據(jù)具體情況自行設(shè)置
2、設(shè)置JVM重用
默認(rèn)是1，表示一個(gè)JVM上最多可以順序執(zhí)行的task數(shù)目（屬于同一個(gè)Job）是1。也就是說(shuō)一個(gè)task啟一個(gè)JVM。
顯然，這樣每次用一次就重啟JVM很浪費(fèi)時(shí)間，所以可以把這個(gè)的重用次數(shù)設(shè)置大一點(diǎn)，我這里設(shè)置成-1，表示無(wú)限適用，直到最后把程序跑完。
和設(shè)置Map數(shù)差不多，同樣是在mapred-site.xml中設(shè)置，如下：
mapred.job.reuse.jvm.num.tasks -1
不用再次格式化，可以直接運(yùn)行?，F(xiàn)在，即使是偽分布，運(yùn)行剛才的程序只需要11分30秒。
筆者將繼續(xù)學(xué)習(xí)，找到更合理的辦法。同時(shí)，可以把數(shù)據(jù)進(jìn)行壓縮過(guò)后在運(yùn)行程序，但是筆者暫時(shí)還沒(méi)搞懂這個(gè)方法怎么用。
參考網(wǎng)址：
http://blog.csdn.net/wangqiaoshi/article/details/18142885
http://jerrylead.iteye.com/blog/1195335
3、Java heap space的解決辦法：
這個(gè)表明java的虛擬的空間不夠了。下面有兩種方法可以解決:
①修改hadoop/bin文件夾中的hadoop文件：
找到“export HADOOP_OPTS=”這一行，修改如下：
export HADOOP_OPTS="-Xmx4096m"http://將jvm的空間設(shè)置為4GB，也可以設(shè)置成你想要的
②（建議使用此方法）也可以修改mapred-site.xml文件：
加入如下內(nèi)容：
mapred.child.java.opts -Xmx4096m
保存退出重啟hadoop即可。
4、修改HDFS的塊的大?。?/p>
默認(rèn)是64MB，但是一般用128MB，而且有些特殊情況要把塊改小一點(diǎn)?？傊芏嗲闆r，需要更改塊的大小，方法如下：
修改conf文件夾中hdfs-site.xml的內(nèi)容，加入如下內(nèi)容:
dfs.block.size 自己想要的大小，單位是B
保存退出，格式化HDFS
以上是“Hadoop怎么優(yōu)化”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
新聞標(biāo)題：Hadoop怎么優(yōu)化
網(wǎng)站地址：http://www.dlmjj.cn/article/ijohpi.html
