日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
ELK系統(tǒng)分析nginx日志

建站服務器

ELK系統(tǒng)在安裝完成后需要處理相關的日志文件，本文主要對nginx日志文件進行處理并進行可視化操作，來滿足日常的業(yè)務需求,長話短說，接下來介紹我的環(huán)境

創(chuàng)新互聯(lián)長期為千余家客戶提供的網(wǎng)站建設服務，團隊從業(yè)經(jīng)驗10年，關注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為民豐企業(yè)提供專業(yè)的成都網(wǎng)站設計、成都網(wǎng)站制作，民豐網(wǎng)站改版等技術服務。擁有10多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

具體的網(wǎng)絡拓撲圖如下：

具體配置如下：

serverOSVersionIP備注logstashCentOS release 6.4 (Final)logstash 2.2.2192.168.180.2logstash客戶端用來收集日志elasticsearchCentOS release 6.4 (Final)elasticsearch 2.2.1192.168.180.3
kibanaCentOS release 6.4 (Final)kibana4.4.2192.168.180.3

具體步驟如下：

（一）配置nginx服務器日志的格式（log_format）為統(tǒng)一格式：

[root@ittestserver1local]#vim/usr/local/nginx2/conf/nginx.conf
http{
includemime.types;
default_typeapplication/octet-stream;
#includeproxy.conf;
log_formatmain\'$remote_addr-$remote_user[$time_local]$request\'
\'$status$body_bytes_sent$http_referer\'
\'$http_user_agent$http_x_forwarded_for\';
access_loglogs/access.logmain;
access_logon;

（二）安裝配置logstash:

1， 安裝步驟省略具體參考上篇文章

2，配置如下：

[root@ittestserver1local]#vim/usr/local/logstash/etc/nginx-access0518.conf
input{
file{
path=>/usr/local/nginx2/logs/access.log
type=>nginx-access
start_position=>beginning
sincedb_path=>/usr/local/logstash/sincedb
codec=>json
}
}
filter{
if[type]==nginx-access{
geoip{
source=>clientip
target=>geoip
database=>/usr/local/logstash/etc/GeoLiteCity.dat
add_field=>[[geoip][coordinates],%{[geoip][longitude]}]
add_field=>[[geoip][coordinates],%{[geoip][latitude]}]
}
mutate{
convert=>[[geoip][coordinates],float]
}
}
}
output{
if[type]==nginx-access{
elasticsearch{
hosts=>[192.168.180.3:9200]
manage_template=>true
index=>logstash-nginx-access-%{+YYYY-MM}
}
}
}

具體解釋如下：

Logstash 分為 Input、Output、Filter、Codec 等多種plugins。
Input：數(shù)據(jù)的輸入源也支持多種插件，如elk官網(wǎng)的beats、file、graphite、http、kafka、Redis、exec等等等、、、
Output：數(shù)據(jù)的輸出目的也支持多種插件，如本文的elasticsearch，當然這可能也是最常用的一種輸出。以及exec、stdout終端、graphite、http、zabbix、nagios、redmine等等、、、
Filter：使用過濾器根據(jù)日志事件的特征，對數(shù)據(jù)事件進行處理過濾后，在輸出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、
Codec：編碼插件，改變事件數(shù)據(jù)的表示方式，它可以作為對輸入或輸出運行該過濾。和其它產(chǎn)品結合，如rubydebug、graphite、fluent、nmap等等。
具體以上插件的細節(jié)可以去官網(wǎng)，介紹的挺詳細的。下面說下該篇中的配置文件的含義：

input段：
file：使用file 作為輸入源
path： 日志的路徑，支持/var/log*.log，及[ /var/log/messages, /var/log/*.log ] 格式
start_position: 從文件的開始讀取事件。另外還有end參數(shù)

filter段：
grok：數(shù)據(jù)結構化轉換工具
match：匹配條件格式，將nginx日志作為message變量，并應用grok條件NGINXACCESS進行轉換
geoip：該過濾器從geoip中匹配ip字段，顯示該ip的地理位置
source：ip來源字段，這里我們選擇的是日志文件中的最后一個字段，如果你的是默認的nginx日志，選擇第一個字段即可
target：指定插入的logstash字斷目標存儲為geoip
database：geoip數(shù)據(jù)庫的存放路徑
add_field: 增加的字段，坐標經(jīng)度
add_field: 增加的字段，坐標緯度
mutate： 數(shù)據(jù)的修改、刪除、型轉換
convert： 將坐標轉為float類型
convert： http的響應代碼字段轉換成 int
convert： http的傳輸字節(jié)轉換成int
replace： 替換一個字段
remove_field： 移除message 的內(nèi)容，因為數(shù)據(jù)已經(jīng)過濾了一份，這里不必在用到該字段了。不然會相當于存兩份
date: 時間處理，該插件很實用，主要是用你日志文件中事件的事件來對timestamp進行轉換，導入老的數(shù)據(jù)必備！在這里曾讓我困惑了很久哦。別再掉坑了
match：匹配到timestamp字段后，修改格式為dd/MMM/yyyy:HH:mm:ss Z
mutate：數(shù)據(jù)修改
remove_field： 移除timestamp字段。

output段：
elasticsearch：輸出到es中
host： es的主機ip＋端口或者es 的FQDN＋端口
index： 為日志創(chuàng)建索引logstash-nginx-access-＊，這里也就是kibana那里添加索引時的名稱

3，創(chuàng)建logstash配置文件之后，我們還要去建立grok使用的表達式，因為logstash 的配置文件里定義的使用轉換格式語法，先去logstash的安裝目錄，默認安裝位置：/usr/local/logstash/下，在該位置創(chuàng)建一個目錄patterns:

[root@ittestserver1local]#mkdir-pv/usr/local/logstash/patterns
NGUSERNAME[a-zA-Z\\.\\@\\-\\+_%]+
NGUSER%{NGUSERNAME}
NGINXACCESS%{IPORHOST:remote_addr}--\\[%{HTTPDATE:time_local}\\]%{WORD:method}%{URIPATHPARAM:request}HTTP/%{NUMBER:httpversion}%{INT:status}%{INT:body_bytes_sent}%{QS:http_referer}%{QS:http_user_agent

4,測試下腳步是否成功并啟動該服務，服務啟動后會一直刷日志。

[root@ittestserver1log]#/usr/local/logstash/bin/logstash-t-f/usr/local/logstash/etc/nginx-access0518.conf
ConfigurationOK
[root@ittestserver1log]#/usr/local/logstash/bin/logstash-f/usr/local/logstash/etc/nginx-access0518.conf

nux;Android5.1.1;R7PlusmBuild/LMY47V)AppleWebKit/537.36(KHTML,likeGecko)Version/4.0Chrome/37.0.0.0MobileMQQBrowser/6.9TBS/036906Safari/537.36hsp\\\\-\\,:level=>:error}
JSONparsefailure.Fallingbacktoplain-text{:error=>#,:data=>175.155.181.151--[12/Jan/2017:01:28:05+0800]\\GET/resources/p_w_picpaths/m/landing/landingm20161221/header.pngHTTP/1.1\\200233816\\https://m.guojinbao.com/landingm.html?s=NDg4MDU2\\\\Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)AppleWebKit/601.1.46(KHTML,likeGecko)Mobile/13B143\\\\-\\,:level=>:error}
JSONparsefailure.Fallingbacktoplain-text{:error=>#,:data=>223.67.223.215--[12/Jan/2017:01:28:05+0800]\\GET/resources/js/Crypto.jsHTTP/1.1\\2008703\\https://m.guojinbao.com/landingm.html?s=MzIxODQ=\\\\Mozilla/5.0(Linux;Android5.1.1;R7PlusmBuild/LMY47V)AppleWebKit/537.36(KHTML,likeGecko)Version/4.0Chrome/37.0.0.0MobileMQQBrowser/6.9TBS/036906Safari/537.36hsp\\\\-\\,:level=>:error}
JSONparsefailure.Fallingbacktoplain-text{:error=>#,:data=>223.67.223.215--[12/Jan/2017:01:28:05+0800]\\GET/resources/p_w_picpaths/m/landing/landingm20161221/btn1.pngHTTP/1.1\\20010194\\https://m.guojinbao.com/resources/css/landingm20161221.css\\\\Mozilla/5.0(Linux;Android5.1.1;R7PlusmBuild/LMY47V)AppleWebKit/537.36(KHTML,likeGecko)Version/4.0Chrome/37.0.0.0MobileMQQBrowser/6.9TBS/036906

(三）kibana配置

（1）登錄192.168.180.3:5601登錄kibana

（2），添加一個索引，這個索引的名字就是之前導入的ES中的那個，本文中是logstash-nginx-access-*。

查看索引，目前有三個，設置為加星，即是discover默認突出顯示的。

（3）點擊discover既可以看到我們所導入的日志數(shù)據(jù)了，


分享標題：ELK系統(tǒng)分析nginx日志
網(wǎng)頁鏈接：http://www.dlmjj.cn/article/cgpiih.html