日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
淺談Node框架接入ELK實(shí)踐總結(jié)-創(chuàng)新互聯(lián)

我們都有過(guò)上機(jī)器查日志的經(jīng)歷，當(dāng)集群數(shù)量增多的時(shí)候，這種原始的操作帶來(lái)的低效率不僅給我們定位現(xiàn)網(wǎng)問(wèn)題帶來(lái)極大的挑戰(zhàn)，同時(shí)，我們也無(wú)法對(duì)我們服務(wù)框架的各項(xiàng)指標(biāo)進(jìn)行有效的量化診斷，更無(wú)從談?dòng)嗅槍?duì)性的優(yōu)化和改進(jìn)。這個(gè)時(shí)候，構(gòu)建具備信息查找，服務(wù)診斷，數(shù)據(jù)分析等功能的實(shí)時(shí)日志監(jiān)控系統(tǒng)尤為重要。

創(chuàng)新互聯(lián)公司主營(yíng)東陽(yáng)網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,成都APP應(yīng)用開(kāi)發(fā),東陽(yáng)h5成都微信小程序搭建,東陽(yáng)網(wǎng)站營(yíng)銷推廣歡迎東陽(yáng)等地區(qū)企業(yè)咨詢

ELK （ELK Stack: ElasticSearch, LogStash, Kibana, Beats） 是一套成熟的日志解決方案，其開(kāi)源及高性能在各大公司廣泛使用。而我們業(yè)務(wù)所使用的服務(wù)框架，如何接入 ELK 系統(tǒng)呢？

業(yè)務(wù)背景

我們的業(yè)務(wù)框架背景：

  • 業(yè)務(wù)框架是基于 NodeJs 的 WebServer
  • 服務(wù)使用 winston 日志模塊將日志本地化
  • 服務(wù)產(chǎn)生的日志存儲(chǔ)在各自機(jī)器的磁盤(pán)上
  • 服務(wù)部署在不同地域多臺(tái)機(jī)器

我們將整個(gè)框架接入 ELK 簡(jiǎn)單歸納為下面幾個(gè)步驟：

  • 日志結(jié)構(gòu)設(shè)計(jì)：由傳統(tǒng)的純文本日志改成結(jié)構(gòu)化對(duì)象并輸出為 JSON.
  • 日志采集：在框架請(qǐng)求生命周期的一些關(guān)鍵節(jié)點(diǎn)輸出日志
  • ES 索引模版定義：建立 JSON 到 ES 實(shí)際存儲(chǔ)的映射

一、日志結(jié)構(gòu)設(shè)計(jì)

傳統(tǒng)的，我們?cè)谧鋈罩据敵龅臅r(shí)候，是直接輸出日志的等級(jí)（level）和日志的內(nèi)容字符串（message）。然而我們不僅關(guān)注什么時(shí)間，發(fā)生了什么，可能還需要關(guān)注類似的日志發(fā)生了多少次，日志的細(xì)節(jié)與上下文，以及關(guān)聯(lián)的日志。 因此我們不只是簡(jiǎn)單地將我們的日志結(jié)構(gòu)化一下為對(duì)象，還要提取出日志關(guān)鍵的字段。

1. 將日志抽象為事件

我們將每一條日志的發(fā)生都抽像為一個(gè)事件。事件包含：

事件元字段

  • 事件發(fā)生時(shí)間：datetime, timestamp
  • 事件等級(jí)：level， 例如: ERROR, INFO, WARNING, DEBUG
  • 事件名稱: event, 例如：client-request
  • 事件發(fā)生的相對(duì)時(shí)間（單位：納秒）：reqLife, 此字段為事件相對(duì)請(qǐng)求開(kāi)始發(fā)生的時(shí)間（間隔）
  • 事件發(fā)生的位置: line，代碼位置; server, 服務(wù)器的位置

請(qǐng)求元字段

  • 請(qǐng)求唯一ID: reqId, 此字段貫穿整個(gè)請(qǐng)求鏈路上發(fā)生的所有事件
  • 請(qǐng)求用戶ID: reqUid, 此字段為用戶標(biāo)識(shí)，可以跟蹤用戶的訪問(wèn)或請(qǐng)求鏈路

數(shù)據(jù)字段


不同類型的事件，需要輸出的細(xì)節(jié)不盡相同，我們將這些細(xì)節(jié)（非元字段）統(tǒng)一放到d -- data，之中。使我們的事件結(jié)構(gòu)更加清晰，同時(shí)，也能避免數(shù)據(jù)字段對(duì)元字段造成污染。

e.g. 如 client-init事件，該事件會(huì)在每次服務(wù)器接收到用戶請(qǐng)求時(shí)打印，我們將用戶的 ip, url等事件獨(dú)有的統(tǒng)一歸為數(shù)據(jù)字段放到 d 對(duì)象中

舉個(gè)完整的例子

{
  "datetime":"2018-11-07 21:38:09.271",
  "timestamp":1541597889271,
  "level":"INFO",
  "event":"client-init",
  "reqId":"rJtT5we6Q",
  "reqLife":5874,
  "reqUid": "999793fc03eda86",
  "d":{
    "url":"/",
    "ip":"9.9.9.9",
    "httpVersion":"1.1",
    "method":"GET",
    "userAgent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36",
    "headers":"*"
  },
  "browser":"{"name":"Chrome","version":"70.0.3538.77","major":"70"}",
  "engine":"{"version":"537.36","name":"WebKit"}",
  "os":"{"name":"Mac OS","version":"10.14.0"}",
  "content":"(Empty)",
  "line":"middlewares/foo.js:14",
  "server":"127.0.0.1"
}

網(wǎng)頁(yè)名稱：淺談Node框架接入ELK實(shí)踐總結(jié)-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://www.dlmjj.cn/article/hodjd.html