建站
咨詢
售后
建站咨詢
新聞中心
通過訪問日志，你可以得到用戶地域來源、跳轉(zhuǎn)來源、使用終端、某個URL訪問量等相關(guān)信息；通過錯誤日志，你可以得到系統(tǒng)某個服務(wù)或server的性能瓶頸等。因此，將日志好好利用，你可以得到很多有價值的信息。
創(chuàng)新互聯(lián)長期為上1000家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為荊州企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)，荊州網(wǎng)站改版等技術(shù)服務(wù)。擁有10余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。
Nginx 日志相關(guān)配置有 2 個地方：access_log 和 log_format 。
默認(rèn)的格式：
access_log /data/logs/nginx-access.log;
log_format old '$remote_addr [$time_local] $status $request_time $body_bytes_sent '
'"$request" "$http_referer" "$http_user_agent"';
相信大部分用過 Nginx 的人對默認(rèn) Nginx 日志格式配置都很熟悉，對日志的內(nèi)容也很熟悉。但是默認(rèn)配置和格式雖然可讀，但是難以計算。
Nginx 日志刷盤相關(guān)策略可配置：
比如，設(shè)置 buffer，buffer 滿 32k 才刷盤；假如 buffer 不滿 5s 鐘強制刷盤的配置如下：
access_log /data/logs/nginx-access.log buffer=32k flush=5s;
這決定了是否實時看到日志以及日志對磁盤 IO 的影響。
Nginx 日志能夠記錄的變量還有很多沒出現(xiàn)在默認(rèn)配置中：
比如：
-
請求數(shù)據(jù)大?。?request_length
-
返回數(shù)據(jù)大?。?bytes_sent
-
請求耗時：$request_time
-
所用連接序號：$connection
-
當(dāng)前連接發(fā)生請求數(shù)：$connection_requests
Nginx 的默認(rèn)格式不可計算，需要想辦法轉(zhuǎn)換成可計算格式，比如用控制字符 ^A (Mac 下 ctrl+v ctrl+a 打出)分割每個字段。
log_format 的格式可以變成這樣：
log_format new '$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A'
'$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent';
這樣之后就通過常見的 Linux 命令行工具進(jìn)行分析了：
查找訪問頻率最高的 URL 和次數(shù)：
cat access.log | awk -F ‘^A’ ‘{print $10}’ | sort | uniq -c
查找當(dāng)前日志文件 500 錯誤的訪問：
cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’
查找當(dāng)前日志文件 500 錯誤的數(shù)量：
cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | wc -l
查找某一分鐘內(nèi) 500 錯誤訪問的數(shù)量:
cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | grep ’09:00’ | wc-l
查找耗時超過 1s 的慢請求：
tail -f access.log | awk -F ‘^A’ ‘{if($6>1) print $0}’
假如只想查看某些位：
tail -f access.log | awk -F ‘^A’ ‘{if($6>1) print $3″|”$4}’
查找 502 錯誤最多的 URL：
cat access.log | awk -F ‘^A’ ‘{if($5==502) print $11}’ | sort | uniq -c
查找 200 空白頁
cat access.log | awk -F ‘^A’ ‘{if($5==200 && $8 print $3″|”$4″|”$11″|”$6}’
查看實時日志數(shù)據(jù)流
tail -f access.log | cat -e
或者
tail -f access.log | tr ‘^A’ ‘|’
總結(jié)
照著這個思路可以做很多其他分析，比如 UA 最多的訪問；訪問頻率最高的 IP；請求耗時分析；請求返回包大小分析；等等。
這就是一個大型 Web 日志分析系統(tǒng)的原型，這樣的格式也是非常方便進(jìn)行后續(xù)大規(guī)模 batching 和 streaming 計算
文章題目：手動分析Nginx日志
分享路徑：http://www.dlmjj.cn/article/ccoedie.html
