日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
阿里云日志服務(wù)日志過濾器配置

日志收集流程

對于日志收集的客戶端，其work pipeline通常包括三個過程：input，process，output。

專注于為中小企業(yè)提供網(wǎng)站設(shè)計、做網(wǎng)站服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)費縣免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上1000+企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。
  • input： 適配各類日志接入源，目前l(fā)ogtail支持文本文件、syslog（tcp流式）兩種形式數(shù)據(jù)寫入。
  • process：自定義日志處理邏輯，常見的有：日志切分、日志編碼轉(zhuǎn)換、日志結(jié)構(gòu)化解析、日志過濾等等。
  • output：定義日志輸出，例如logtail以http協(xié)議寫數(shù)據(jù)到日志服務(wù)。

今天要介紹logtail在日志處理階段的兩個新功能：轉(zhuǎn)碼、過濾

日志轉(zhuǎn)碼

日志服務(wù)限制數(shù)據(jù)的字符編碼為utf-8，這也是logtail在發(fā)送數(shù)據(jù)階段對于字符編碼的要求。

但可能一些較老的應(yīng)用組件在處理中文的時候，會打印gbk編碼的數(shù)據(jù)到日志文件。

這種情況下，你可以在logtail配置的高級選項中，選擇日志文件編碼為”gbk“。那么，logtail在采集日志時，會對日志內(nèi)容先做gbk到utf-8的編碼轉(zhuǎn)換，再進行后續(xù)處理。

logtail目前支可以支持utf-8和gbk兩種文件編碼格式。對于gbk格式，logtail使用linux系統(tǒng)的iconv api，編碼轉(zhuǎn)換過程中會額外消耗機器計算資源。

問：如何判斷我的gbk日志文件是否可以通過logtail收集？
答：在linux shell下使用iconv命令進行轉(zhuǎn)碼測試，假設(shè)日志文件名為gbk.log，執(zhí)行命令：成都服務(wù)器托管

?
1
iconv -f gbk -t utf-8 gbk.log -o gbk_to_utf8.log

如果執(zhí)行成功則說明文件編碼是gbk；如執(zhí)行失敗（類似iconv: illegal input sequence at position 2743錯誤），則說明文件不是合法的gbk編碼，無法通過logtail做編碼轉(zhuǎn)換，請嘗試調(diào)整應(yīng)用輸出的日志文件編碼格式為utf-8。

日志過濾

舉一個web服務(wù)器的例子，nginx每時每刻接收大量請求，并在access.log記錄這些請求：成都服務(wù)器托管

?
1
2
3
4
5
6
7
8
10.200.98.220 - - [25/may/2016:14:55:42 +0800] "head sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 200 37 "-" "aliyun-sdk-java" 13605
10.200.98.220 - - [25/may/2016:14:55:42 +0800] "post sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 404 37 "-" "ali-log-logtail" 13608
10.200.98.220 - - [25/may/2016:14:55:42 +0800] "put sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 401 37 "-" "aliyun-sdk-java" 13609
10.200.98.220 - - [25/may/2016:14:55:42 +0800] "put sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 502 37 "-" "aliyun-sdk-java" 13610
10.200.98.220 - - [25/may/2016:14:55:42 +0800] "get sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 401 37 "-" "cpp-sdk-0.6" 13612
10.200.98.220 - - [25/may/2016:14:55:42 +0800] "put sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 400 37 "-" "cpp-sdk-0.6" 13614
10.200.98.220 - - [25/may/2016:14:55:42 +0800] "post sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 400 37 "-" "ali-log-logtail" 13615
10.200.98.220 - - [25/may/2016:14:55:42 +0800] "head sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 200 37 "-" "cpp-sdk-0.6" 13616

對于問題調(diào)查的場景，http 200請求的日志量通常是巨大的，如果我們希望降低日志存儲的成本，只上傳發(fā)生異常的請求日志，應(yīng)該怎么來做呢？

在今天，你可以打開logtail配置的高級選項，設(shè)置過濾器來解決數(shù)據(jù)過濾的問題。

如上圖所示，分別對url字段和status字段設(shè)置了兩個過濾器。指定字段key存在且value符合正則表達式的日志會被保留。

定義多個過濾器的時候，判斷條件是“與”的關(guān)系，滿足所有過濾器設(shè)置的日志是合法的，否則被丟棄。

對于一條日志，當url字段與"(posts.）|(gets.)"匹配成功且status字段與"[345]d+"匹配成功的時候（只采集post、get請求且狀態(tài)碼非200的日志），logtail將該日志上傳至日志服務(wù)，如下圖所示：成都服務(wù)器托管

如果設(shè)置過濾器的字段名在日志里找不到，那么這條日志也是不合法的，需要被丟棄。默認情況下，用戶沒有任何過濾器設(shè)置的情況下，所有被logtail讀取并解析成功的日志數(shù)據(jù)都會寫入日志服務(wù)。

實例配置：成都服務(wù)器托管

只收集匹配到 topic 為 action 或者 plugin 的日志

更多關(guān)于阿里云日志服務(wù)日志過濾器配置技術(shù)文章請查看下面的相關(guān)鏈接

原文鏈接：https://www.cnblogs.com/weifeng1463/p/10577272.html


文章標題：阿里云日志服務(wù)日志過濾器配置
當前路徑：http://www.dlmjj.cn/article/chgjc.html