建站
咨詢
售后
建站咨詢
新聞中心
監(jiān)控不告警，系統(tǒng)就一定沒有問題么?怎樣的監(jiān)控，才真正說明系統(tǒng)有問題?今天和大伙聊聊多維度立體化監(jiān)控。
什么是多維度立體化監(jiān)控?
不同公司或多或少有一些自動化監(jiān)控手段，例如：
- http接口監(jiān)控;
- log關(guān)鍵字監(jiān)控;
- 操作系統(tǒng)，進(jìn)程，端口;
- http狀態(tài)碼;
- 服務(wù)存活性;
- 接口處理時(shí)間;
- RPC接口監(jiān)控;
- 用戶層面監(jiān)控;
如果只監(jiān)控一個或少數(shù)幾個維度：
- 監(jiān)控到異常時(shí)，基本確信系統(tǒng)出現(xiàn)了問題;
- 反過來，沒有監(jiān)控到異常，不能確信系統(tǒng)沒有問題;
例如：
- 監(jiān)控到操作系統(tǒng)CPU100%，系統(tǒng)大概率出現(xiàn)了問題，但CPU正常，并不能說明系統(tǒng)正常，例如tomcat掛了，CPU肯定是正常的，但操作系統(tǒng)監(jiān)控卻探測不到，于是需要進(jìn)程，端口，存活性等其他監(jiān)控予以輔助;
- 進(jìn)程，端口監(jiān)控到異常，系統(tǒng)大概率出現(xiàn)了問題，但進(jìn)程在運(yùn)行，端口在監(jiān)聽，并不能說明系統(tǒng)正常，例如程序死鎖，進(jìn)程和端口是正常的，于是需要接口處理時(shí)間等其他監(jiān)控予以輔助;
- 接口處理時(shí)間監(jiān)控到超時(shí)，系統(tǒng)大概率出現(xiàn)了問題，但接口處理時(shí)間不超時(shí)，并不能說明系統(tǒng)正常，例如數(shù)據(jù)庫掛了，數(shù)據(jù)庫連接拿不到，服務(wù)層每個接口都很快返回，并不超時(shí);
這里的觀點(diǎn)是：單維度監(jiān)控易漏報(bào)，多維度立體化監(jiān)控才是監(jiān)控平臺的根本之道。
接下來介紹的四個維度的監(jiān)控，在設(shè)計(jì)上也是看重“通用”“非侵入性”，即被監(jiān)控的站點(diǎn)和服務(wù)無需任何埋點(diǎn)，無需任何修改，被監(jiān)控模塊的負(fù)責(zé)人無需配合做任何事情，就能全方位cover住。
維度一，如何進(jìn)行操作系統(tǒng)，進(jìn)程，端口監(jiān)控?
監(jiān)控需求：
- 系統(tǒng)的網(wǎng)絡(luò)是否被打滿，磁盤是否有空間，CPU是否繁忙，內(nèi)存是否用完，負(fù)載值是否過高，JVM是否正常;
- 服務(wù)進(jìn)程是否運(yùn)行;
- 監(jiān)聽端口是否正常;
- 機(jī)器間是否聯(lián)通;
常見方案一：zabbix
搞運(yùn)維的都懂，不展開細(xì)聊了，聊多了怕被罵。
常見方案二：shell
寫一些非常簡單的腳本，就能夠獲取到網(wǎng)絡(luò)、磁盤、CPU、內(nèi)存、load、JVM的信息，在配合一些閾值的配置，就能實(shí)現(xiàn)超出閾值告警的功能。
如果配合集群信息管理服務(wù)，通過ps, netstat, telnet等命令，也能快速實(shí)現(xiàn)進(jìn)程，端口，連通性的簡易監(jiān)控。
實(shí)現(xiàn)要點(diǎn)：
- 重點(diǎn)考慮擴(kuò)展性，可配置性，非侵入性;
- 集群信息管理服務(wù)(或者，集群信息配置文件);
維度二，如何進(jìn)行404狀態(tài)碼監(jiān)控?
監(jiān)控需求：監(jiān)控http異常狀態(tài)碼。
監(jiān)控方案：nginx日志統(tǒng)一監(jiān)控。
如果實(shí)現(xiàn)了http接口統(tǒng)一監(jiān)控，404監(jiān)控的必要性并不是這么強(qiáng)，但畢竟實(shí)現(xiàn)簡單，整一個通用的花不了多少時(shí)間。
在聊存活性監(jiān)控，接口處理時(shí)間監(jiān)控之前，多說幾句系統(tǒng)架構(gòu)，如果實(shí)現(xiàn)了框架與組件的統(tǒng)一，統(tǒng)一監(jiān)控會省非常多的力氣。
上圖是一個典型的互聯(lián)網(wǎng)分層架構(gòu)圖：
- 最上游是APP和browser;
- 反向代理層是nginx，統(tǒng)一http404狀態(tài)碼監(jiān)控就實(shí)現(xiàn)在這一層;
- web層，假設(shè)自研了web-framework;
- service層，假設(shè)自研了service-framework，web層會通過RPC-client調(diào)用service;
- 數(shù)據(jù)層db，假設(shè)自研了Daojia-DAO組件調(diào)用db;
- 緩存層cache，假設(shè)自研了Daojia-KV組件調(diào)用cache;
D-DAO和D-KV兩個組件并沒有大伙想的復(fù)雜，初期只是簡單的封裝了一層而已。
維度三，如何進(jìn)行服務(wù)存活性監(jiān)控?
監(jiān)控需求：進(jìn)程和端口的監(jiān)控，只能保證進(jìn)程在，端口在，但并不能確定服務(wù)是否能響應(yīng)請求，需要確定服務(wù)“活著”。
監(jiān)控方案：ping-pong式監(jiān)控，在站點(diǎn)框架，服務(wù)框架層面統(tǒng)一實(shí)現(xiàn)，提供keepalive接口：
- 在框架層面就可以實(shí)現(xiàn)ping-pong接口;
- 監(jiān)控中心通過集群信息管理服務(wù)(或者是配置文件)獲取集群類型(web/service)，集群IP列表;
- 監(jiān)控中心統(tǒng)一往集群發(fā)送內(nèi)置的ping-pong請求;
強(qiáng)調(diào)兩點(diǎn)：
- 如果開源框架不提供ping-pong接口，可以二次開發(fā)(要慎重，任何開源框架的二次開發(fā)，都是大坑的開始);
- 統(tǒng)一集群信息管理服務(wù)，或者，統(tǒng)一集群信息管理配置文件，真的很重要，是技術(shù)體系統(tǒng)一的基石;
維度四，如何進(jìn)行接口執(zhí)行時(shí)間監(jiān)控?
監(jiān)控需求：
- http站點(diǎn)接口有沒有超時(shí);
- RPC服務(wù)接口有沒有超時(shí);
- db訪問有沒有超時(shí);
- cache訪問有沒有超時(shí);
- 除了超時(shí)，還要監(jiān)控同一個接口的執(zhí)行時(shí)間有沒有同比、環(huán)比的大幅度波動，例如：一個接口平均響應(yīng)時(shí)間是100ms，突然有一天增加到300ms，即使沒有超時(shí)，也有理由懷疑接口出現(xiàn)了問題;
監(jiān)控方案：框架組件統(tǒng)一上報(bào)(如上圖1,2,3,4)。
- 在web-framework里，對所有http接口進(jìn)行數(shù)據(jù)上報(bào)，可以上報(bào)url，參數(shù)，執(zhí)行時(shí)間等核心數(shù)據(jù);
- 在service-framework里，對所有RPC接口進(jìn)行數(shù)據(jù)上報(bào)，可以上報(bào)接口，參數(shù)，執(zhí)行時(shí)間等核心數(shù)據(jù);
- 在DAO里，對所有數(shù)據(jù)庫SQL訪問進(jìn)行數(shù)據(jù)上報(bào)，可以上報(bào)sql，參數(shù)，執(zhí)行時(shí)間等核心數(shù)據(jù);
- 在KV-client里，對所有cache訪問進(jìn)行數(shù)據(jù)上報(bào)，可以上報(bào)key，執(zhí)行時(shí)間等核心數(shù)據(jù);
統(tǒng)一上報(bào)是思路，具體上報(bào)細(xì)節(jié)，是通過flume刷日志，還是storm/spark實(shí)時(shí)流處理，都可以。
總結(jié)
監(jiān)控是一個技術(shù)活：
- 監(jiān)控平臺的思路是多維度立體化監(jiān)控;
- “統(tǒng)一操作系統(tǒng)、http404，服務(wù)存活性，接口處理時(shí)間”等四大類統(tǒng)一監(jiān)控的設(shè)計(jì)核心是“非侵入性”，不需要任何人配合修改，就能實(shí)現(xiàn)諸多功能的技術(shù)平臺，才是好技術(shù)平臺;
- 統(tǒng)一集群信息管理服務(wù)，統(tǒng)一人員信息管理服務(wù)，統(tǒng)一告警策略服務(wù)(或者配置文件)，是統(tǒng)一技術(shù)體系的基石;
【本文為專欄作者“58沈劍”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】
戳這里，看該作者更多好文
名稱欄目：怎樣的監(jiān)控，才真正說明系統(tǒng)有問題？
網(wǎng)址分享：http://www.dlmjj.cn/article/djhoodp.html
