日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
糟了，線上服務(wù)出現(xiàn)OOM了

前言

前一段時間，公司同事的一個線上服務(wù)OOM的問題，我覺得挺有意思的，在這里跟大家一起分享一下。

成都創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站設(shè)計、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的連山網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

我當(dāng)時其實也參與了一部分問題的定位。

1、案發(fā)現(xiàn)場

他們有個mq消費(fèi)者服務(wù)，在某一天下午，出現(xiàn)OOM了，導(dǎo)致服務(wù)直接掛掉。

當(dāng)時我們收到了很多內(nèi)存的報警郵件。

發(fā)現(xiàn)問題之后，運(yùn)維第一時間，幫他們dump了當(dāng)時的內(nèi)存快照，以便于開發(fā)人員好定位問題。

之后，運(yùn)維重啟了該服務(wù)，系統(tǒng)暫時恢復(fù)了正常。

大家都知道，如果出現(xiàn)了線上OOM問題，為了不影響用戶的正常使用，最快的解決辦法就是重啟服務(wù)。

但重啟服務(wù)治標(biāo)不治本，只能臨時解決一下問題，如果不找到真正的原因，難免下次在某個不經(jīng)意的時間點，又會出現(xiàn)OOM問題。

所以，有必要定位一下具體原因。

2、初步定位問題

當(dāng)時運(yùn)維dump下來的內(nèi)存快照文件有3G多，太大了，由于公司內(nèi)網(wǎng)限制，沒辦法及時給到開發(fā)這邊。

沒辦法，只能先從日志文件下手了。

在查日志之前，我們先查看了prometheus上的服務(wù)監(jiān)控。查到了當(dāng)時那個mq消費(fèi)者服務(wù)的內(nèi)存使用情況，該服務(wù)的內(nèi)存使用率一直都比較平穩(wěn)，從2022-09-26 14:16:29開始，出現(xiàn)了一個明顯的內(nèi)存飆升情況。

根據(jù)以往經(jīng)驗總結(jié)出來的，在追查日志時，時間點是一個非常重要的過濾條件。

所以，我們當(dāng)時重點排查了2022-09-26 14:16:29前后5秒鐘的日志。

由于這個服務(wù)，并發(fā)量不大，在那段時間的日志量并不多。

所以，我們很快就鎖定了excel文件導(dǎo)入導(dǎo)出功能。

該功能的流程圖如下：

  1. 用戶通過瀏覽器上傳excel，調(diào)用文件上傳接口。
  2. 該接口會上傳excel到文件服務(wù)器。然后將文件url，通過mq消息，發(fā)送到mq服務(wù)器。
  3. mq消費(fèi)者消費(fèi)mq消息，從文件服務(wù)器中獲取excel數(shù)據(jù)，做業(yè)務(wù)處理，然后把結(jié)果寫入新的excel中。
  4. mq消費(fèi)者將新excel文件上傳到文件服務(wù)器，然后發(fā)websocket消息通知用戶。
  5. 用戶收到通知結(jié)果，然后可以下載新的excel。

經(jīng)過日志分析，時間點剛好吻合，從excel文件導(dǎo)入之后，mq消費(fèi)者服務(wù)的內(nèi)存使用率一下子飆升。

3、打不開dump文件

從上面分析我們得出初步的結(jié)論，線上mq消費(fèi)者服務(wù)的OOM問題，是由于excel導(dǎo)入導(dǎo)出導(dǎo)致的。

于是，我們查看了相關(guān)excel文件導(dǎo)入導(dǎo)出代碼，并沒有發(fā)現(xiàn)明顯的異常。

為了找到根本原因，我們不得不把內(nèi)存快照解析出來。

此時，運(yùn)維把內(nèi)存快照已經(jīng)想辦法發(fā)給了相關(guān)的開發(fā)人員（我的同事）。

那位同事用電腦上安裝的內(nèi)存分析工具：MAT（Memory Analyzer Tool），準(zhǔn)備打開那個內(nèi)存快照文件。

但由于該文件太大，占了3G多的內(nèi)存，直接打開失敗了。

MemoryAnalyzer.ini文件默認(rèn)支持打開的內(nèi)存文件是1G，后來它將參數(shù)-xmx修改為4096m。

修改之后，文件可以打開了，但打開的內(nèi)容卻有問題。

猛然發(fā)現(xiàn)，原來是JDK版本不匹配導(dǎo)致的。

他用的MAT工具是基于SunJDK，而我們生成環(huán)境用的OpenJDK，二者有些差異。

SunJDK采用JRL協(xié)議發(fā)布，而OpenJDK則采用GPL V2協(xié)議發(fā)布。兩個協(xié)議雖然都是開放源代碼的，但是在使用上的不同，GPL V2允許在商業(yè)上使用，而JRL只允許個人研究使用。

所以需要下載一個基于OpenJDK版本的MAT內(nèi)存分析工具。

4、進(jìn)一步分析

剛好，另一個同事的電腦上下載過OpenJDK版本的MAT內(nèi)存分析工具。

把文件發(fā)給他幫忙分析了一下。

最后發(fā)現(xiàn)org.apache.poi.xssf.usermodel.XSSFSheet類的對象占用的內(nèi)存是最多的。

目前excel的導(dǎo)入導(dǎo)出功能，大部分是基于apache的POI技術(shù)，而POI給我們提供了WorkBook接口。

常用的WorkBook接口實現(xiàn)有三種：

  • HSSFWorkbook：它是早期使用最多的工具，支持Excel2003以前的版本，Excel的擴(kuò)展名是.xls。只能導(dǎo)出65535條數(shù)據(jù)，如果超過最大記錄條數(shù)會報錯，但不會出現(xiàn)內(nèi)存溢出。
  • XSSFWorkbook：它可以操作Excel2003-Excel2007之間的版本，Excel的擴(kuò)展名是.xlsx。最多可以導(dǎo)出104w條數(shù)據(jù)，會創(chuàng)建大量的對象存放到內(nèi)存中，可能會導(dǎo)致內(nèi)存溢出。
  • SXSSFWorkbook：它可以操作Excel2007之后的所有版本，Excel的擴(kuò)展名是.xlsx。SXSSFWorkbook是streaming版本的XSSFWorkbook，它只會保存最新的rows在內(nèi)存里供查看，以前的rows都會被寫入到硬盤里。用磁盤空間換內(nèi)存空間，不會導(dǎo)致內(nèi)存溢出。

看到了這個類，可以驗證之前我們通過日志分析問題，得出excel導(dǎo)入導(dǎo)出功能引起OOM的結(jié)論，是正確的。

那個引起OOM問題的功能，剛好使用了XSSFWorkbook處理excel，一次性創(chuàng)建了大量的對象。

關(guān)鍵代碼如下：

XSSFWorkbook wb = new XSSFWorkbook(new FileInputStream(file));
XSSFSheet sheet = wb.getSheetAt(0);

我們通過MAT內(nèi)存分析工具，已經(jīng)確定OOM問題的原因了。接下來，最關(guān)鍵的一點是：如何解決這個問題呢？

5、如何解決問題？

根據(jù)我們上面的分析，既然XSSFWorkbook在導(dǎo)入導(dǎo)出大excel文件時，會導(dǎo)致內(nèi)存溢出。那么，我們改成SXSSFWorkbook不就行了？

關(guān)鍵代碼改動如下：

XSSFWorkbook wb = new XSSFWorkbook(new FileInputStream(file));
SXSSFWorkbook swb = new SXSSFWorkbook(wb,100);
SXSSFSheet sheet = (SXSSFSheet) swb.createSheet("sheet1");

使用SXSSFWorkbook將XSSFWorkbook封裝了一層，其中100表示excel一次讀入內(nèi)存的最大記錄條數(shù)，excel中其余的數(shù)據(jù)將會生成臨時文件保存到磁盤上。這個參數(shù)，可以根據(jù)實際需要調(diào)整。

還有一點非常重要：

sheet.flushRows();

需要在程序的結(jié)尾處加上上面的這段代碼，不然生成的臨時文件是空的。

這樣調(diào)整之后，問題被暫時解決了。

此外，順便說一句，在使用WorkBook接口的相關(guān)實現(xiàn)類時，用完之后，要記得調(diào)用close方法及時關(guān)閉喔，不然也可能會出現(xiàn)OOM問題。

6、后續(xù)思考

其實，當(dāng)時我建議過使用阿里開源的EasyExcel解決OOM的問題。

但同事說，excel中有很多樣式，在導(dǎo)出的新excel中要保留之前的樣式，同時增加一列，返回導(dǎo)入的結(jié)果。

如果使用EasyExcel不太好處理，使用原始的Workbook更好處理一些。

但是使用mq異步導(dǎo)入excel文件這套方案，如果并發(fā)量大的話，任然可能會出現(xiàn)OOM問題，有安全隱患。

因此，有必要調(diào)整一下mq消費(fèi)者。

后來，mq消費(fèi)者的線程池，設(shè)置成4個線程消費(fèi)，避免消費(fèi)者同時處理過多的消息，讀取大量的excel，導(dǎo)致內(nèi)存占用過多的問題。當(dāng)然線程個數(shù)參數(shù)，可以根據(jù)實際情況調(diào)整。


網(wǎng)頁標(biāo)題：糟了，線上服務(wù)出現(xiàn)OOM了
分享地址：http://www.dlmjj.cn/article/cdgocdi.html