日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

最近一直在跟進(jìn)storm的問題，從storm集群的穩(wěn)定性到監(jiān)控到升級(jí)到bolt寫redis的問題,因?yàn)楣灸壳皼]有專業(yè)運(yùn)維redis的，只能我們數(shù)據(jù)部門自己搞了。。下面記錄下遇到的幾個(gè)問題:

愛民網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站開發(fā)等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)于2013年成立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

總結(jié)下目前storm寫redis問題:

1.redis高峰寫入異常，增加redis監(jiān)控，發(fā)現(xiàn)cpu性能瓶頸(redis單線程，最高10w/s的處理量)

2.之前redis bolt的并發(fā)在200以上，過多的并發(fā)對(duì)redis的性能造成比較大的影響，現(xiàn)在已經(jīng)減少為5

3.關(guān)閉了redis的monitor監(jiān)控,常駐的monitor監(jiān)控對(duì)redis的性能損耗在30%左右

4.關(guān)閉了redis的rdb持久化方式，開啟了aof的方式，在低峰aofrewrite

5.擴(kuò)容到8個(gè)實(shí)例，使用jedissharding的方式，高峰時(shí)單機(jī)超過5W/s處理量

6.去掉select操作，使用默認(rèn)db0

7.對(duì)高峰時(shí)的數(shù)據(jù)進(jìn)行分析，40w/s的處理量中，ping操作占50%以上，調(diào)整jedispool的設(shè)置，基本上屏蔽了ping的操作

8.bolt端batch處理，減少寫入量

9.40%的expire操作，測(cè)試ttl+expire vs expire的性能，基于ttl+expire的方式在一個(gè)操作里面的性能損耗在35%左右，

如果是同一個(gè)key在一個(gè)線程里面順序操作會(huì)有性能的提升（目前我們沒有這種場(chǎng)景）

1)直接expire

hardedJedis.set(key,value)

hardedJedis.expire(key,1000)

2)ttl+expire

hardedJedis.set(key,value)

Long re = shardedJedis.ttl(key);

if ((re == -1)||(re == -2)){hardedJedis.expire(key,1000)};

10.從第8點(diǎn)測(cè)試來(lái)看40%的expire操作是省不了了，只能從提高單次處理量(pipline)來(lái)做優(yōu)化了

11.測(cè)試了lvs->twemproxy->redis的方案，不太穩(wěn)定，考慮引用到的組件比較多，twemproxy相對(duì)來(lái)說對(duì)于我們這邊也是一個(gè)黑盒

12.jedissharding的方案在高峰時(shí)會(huì)有一些延遲，單機(jī)方案相對(duì)來(lái)說比較穩(wěn)定，如果接入數(shù)據(jù)量變大的話還是要走sharding模式，延遲的原因需要繼續(xù)跟進(jìn)

最后附幾個(gè)監(jiān)控圖：

1.redis cpu

2.redis conns

3.redis command/s

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前標(biāo)題：storm寫redis問題小結(jié)-創(chuàng)新互聯(lián)
文章地址：http://www.dlmjj.cn/article/deshch.html