建站
咨詢
售后
建站咨詢
新聞中心
前言
專門實操了一波，這玩意看起來簡單，但是里面的流程步驟還是很多的，而且遇到了很多坑。在此記錄和總結下。
創(chuàng)新互聯(lián)建站堅持“要么做到，要么別承諾”的工作理念，服務領域包括：成都網站制作、成都網站設計、企業(yè)官網、英文網站、手機端網站、網站推廣等服務，滿足客戶于互聯(lián)網時代的南康網站設計、移動媒體設計的需求，幫助企業(yè)找到有效的互聯(lián)網解決方案。努力成為您成熟可靠的網絡建設合作伙伴！
本文亮點：一步一圖、帶有實操案例、踩坑記錄、與開發(fā)環(huán)境的日志結合，反映真實的日志場景。
日志收集平臺有多種組合方式：
- ELK Stack 方式：Elasticsearch + Logstash + Filebeat + Kibana，業(yè)界最常見的架構。
- Elasticsearch + Logstash + Kafka + Kibana，用上了消息中間件，但里面也有很多坑，放到下一講。
這次先講解 ELK Stack 的方式，這種方式對我們的代碼無侵入，核心思想就是收集磁盤的日志文件，然后導入到 Elasticsearch。
比如我們的應用系統(tǒng)通過 logback 把日志寫入到磁盤文件，然后通過這一套組合的中間件就能把日志采集起來供我們查詢使用了。
整體的架構圖如下所示：
流程如下：
- 先使用 Filebeat 把日志收集起來，然后把數(shù)據再傳給 Logstash。
- 通過 Logstash 強大的數(shù)據清洗功能。
- 最終把數(shù)據寫入到 Elasticsearch 中。
- 并由 Kibana 進行可視化。
溫馨提示：以下案例都在一臺 ubuntu 虛擬機上完成，內存分配了 6G。
一、部署 Elasticsearch
數(shù)據庫獲取 elasticsearch 鏡像：
docker pull elasticsearch:7.7.1
創(chuàng)建掛載目錄：
mkdir -p /data/elk/es/{config,data,logs}賦予權限：
chown -R 1000:1000 /data/elk/es
創(chuàng)建配置文件：
cd /data/elk/es/config
touch elasticsearch.yml
-----------------------配置內容----------------------------------
cluster.name: "my-es"
network.host: 0.0.0.0
http.port: 9200
啟動 elasticsearch 容器：
docker run -it -d -p 9200:9200 -p 9300:9300 --name es -e ES_JAVA_OPTS="-Xms1g -Xmx1g" -e "discovery.type=single-node" --restart=always -v /data/elk/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /data/elk/es/data:/usr/share/elasticsearch/data -v /data/elk/es/logs:/usr/share/elasticsearch/logs elasticsearch:7.7.1
驗證 elasticsearch 是否啟動成功：
curl http://localhost:9200
二、部署 Kibana 可視化工具
2.1 安裝 Kibana
獲取 kibana 鏡像：
docker pull kibana:7.7.1
獲取elasticsearch容器 ip：
docker inspect --format '{{ .NetworkSettings.IPAddress }}' es結果：172.17.0.2；
創(chuàng)建 kibana 配置文件：
mkdir -p /data/elk/kibana/
vim /data/elk/kibana/kibana.yml
配置內容：
#Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: ["http://172.17.0.2:9200"]
xpack.monitoring.ui.container.elasticsearch.enabled: true
2.2 運行 kibana
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kibana -p 5601:5601 -v /data/elk/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.7.1
訪問 http://192.168.56.10:5601。這個 IP 是服務器的 IP。Kibana 控制臺的界面如下所示，打開 kibana 時，首頁會提示讓你選擇加入一些測試數(shù)據，點擊 try our sample data 按鈕就可以了。
Kibana 界面上會提示你是否導入樣例數(shù)據，選一個后，Kibana 會幫你自動導入，然后就可以進入到 Discover 窗口搜索日志了。
image-20220427161645270
三、部署 logstash 日志過濾、轉換工具
3.1 安裝 Java JDK
$ sudo apt install openjdk-8-jdk
修改 /etc/profile 文件：
sudo vim /etc/profile
添加如下的內容到你的 .profile 文件中：
# JAVA
JAVA_HOME="/usr/lib/jdk/jdk-12"
PATH="$PATH:$JAVA_HOME/bin"
再在命令行中打入如下的命令：
source /etc/profile
查看 java 是否配置成功：
java -version
3.2 安裝 logstash
下載 logstash 安裝包：
curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.7.1.tar.gz
解壓安裝：
tar -xzvf logstash-7.7.1.tar.gz
要測試 Logstash 安裝，請運行最基本的 Logstash 管道。例如：
cd logstash-7.7.1
bin/logstash -e 'input { stdin { } } output { stdout {} }'
等 Logstash 完成啟動后，我們在 stdin 里輸入以下文字，我們可以看到如下的輸出：
當我們打入一行字符然后回車，那么我們馬上可以在 stdout 上看到輸出的信息。如果我們能看到這個輸出，說明我們的 Logstash 的安裝是成功的。
我們進入到 Logstash 安裝目錄，并修改 config/logstash.yml 文件。我們把 config.reload.automatic 設置為 true。
另外一種運行 Logstash 的方式，也是一種最為常見的運行方式，運行時指定 logstash 配置文件。
3.3 配置 logstash
Logstash 配置文件有兩個必需元素，輸入(inputs)和輸出(ouputs)，以及一個可選元素 filters。輸入插件配置來源數(shù)據，過濾器插件在你指定時修改數(shù)據，輸出插件將數(shù)據寫入目標。
我們首先需要創(chuàng)建一個配置文件，配置內容如下圖所示：
創(chuàng)建 kibana 配置文件 weblog.conf：
mkdir -p /logstash-7.7.1/streamconf
vim /logstash-7.7.1/streamconf/weblog.conf
配置內容如下：
input {
tcp {
port => 9900
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
mutate {
convert => {
"bytes" => "integer"
}
}
geoip {
source => "clientip"
}
useragent {
source => "agent"
target => "useragent"
}
date {
match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
}
}
output {
stdout { }
elasticsearch {
hosts => ["localhost:9200"]
}
}在上面，我們同時保留兩個輸出：stdout 及 elasticsearch。事實上，我們可以定義很多個的輸出。stdout 輸出對于我們初期的調試是非常有幫助的。等我們完善了所有的調試，我們可以把上面的 stdout 輸出關掉。
等更新完這個配置文件后，我們在另外一個 console 中發(fā)送第一個 log：
head -n 1 weblog-sample.log | nc localhost 9900
這個命令的意思：我們使用 nc 應用讀取第一行數(shù)據，然后發(fā)送到 TCP 端口號 9900，并查看 console 的輸出。
這里的 weblog-sample.log 為樣例數(shù)據，內容如下，把它放到本地作為日志文件。
14.49.42.25 - - [12/May/2019:01:24:44 +0000] "GET /articles/ppp-over-ssh/
HTTP/1.1" 200 18586 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US;
rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5"
logstash 控制臺打印出了 weblog-samle.log 中的內容：
這一次，我們打開 Kibana，執(zhí)行命令，成功看到 es 中的這條記錄。
GET logstash/_search
四、部署 Filebeat 日志收集工具
4.1 安裝 Filebeat
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.7.1-linux-x86_64.tar.gz
tar xzvf filebeat-7.7.1-linux-x86_64.tar.gz
請注意：由于 ELK 迭代比較快，我們可以把上面的版本 7.7.1 替換成我們需要的版本即可。我們先不要運行 Filebeat。
4.2 配置 Filebeat
我們在 Filebeat 的安裝目錄下，可以創(chuàng)建一個這樣的 filebeat_apache.yml 文件，它的內容如下，首先先讓 filebeat 直接將日志文件導入到 elasticsearch，來確認 filebeat 是否正常工作。
filebeat.inputs:
- type: log
enabled: true
paths:
- /home/vagrant/logs/*.log
output.elasticsearch:
hosts: ["192.168.56.10:9200"]
paths 對應你的日志文件夾路徑，我配置的是這個：/home/vagrant/logs/*.log，之前配置成 /home/vagrant/logs 不能正常收集。另外這里可以放入多個日志路徑。
4.3 測試 Filebeat
在使用時，你先要啟動 Logstash，然后再啟動 Filebeat。
bin/logstash -f weblog.conf
然后，再運行 Filebeat， -c 表示運行指定的配置文件，這里是 filebeat_apache.yml。
./filebeat -e -c filebeat_apache.yml
運行結果如下所示，一定要確認下控制臺中是否打印了加載和監(jiān)控了我們指定的日志。如下圖所示，有三個日志文件被監(jiān)控到了：error.log、info.log、debug.log
我們可以通過這個命令查看 filebeat 的日志是否導入成功了：
curl http://localhost:9200/_cat/indices?v
這個命令會查詢 Elasticsearch 中所有的索引，如下圖所示，filebeat-7.7.1-* 索引創(chuàng)建成功了。因為我沒有配置索引的名字，所以這個索引的名字是默認的。
在 kibana 中搜索日志，可以看到導入的 error 的日志了。不過我們先得在 kibana 中創(chuàng)建 filebeat 的索引(點擊 create index pattern 按鈕，然后輸入 filebeat 關鍵字，添加這個索引)，然后才能在 kibana 的 Discover 控制臺查詢日志。
創(chuàng)建查詢的索引
搜索日志
4.4 Filebeat + Logstash
接下來我們配置 filebeat 收集日志后，輸出到 logstash，然后由 logstash 轉換數(shù)據后輸出到 elasticsearch。
filebeat.inputs:
- type: log
enabled: true
paths:
- /home/vagrant/logs/*.log
output.logstash:
hosts: ["localhost:9900"]
修改 logstash 配置文件：
vim /logstash-7.7.1/streamconf/weblog.conf
配置了 input 為 beats，修改了 useragent：
input {
beats {
port => "9900"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
mutate {
convert => {
"bytes" => "integer"
}
}
geoip {
source => "clientip"
}
useragent {
source => "user_agent"
target => "useragent"
}
date {
match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
}
}
output {
stdout {
codec => dots {}
}
elasticsearch {
hosts=>["192.168.56.10:9200"]
index => "apache_elastic_example"
}
}然后重新啟動 logstash 和 filebeat。有個問題，這次啟動 filebeat 的時候，只監(jiān)測到了一個 info.log 文件，而 error.log 和 debug.log 沒有監(jiān)測到，導致只有 info.log 導入到了 Elasticsearch 中。
filebeat 只監(jiān)測到了 info.log 文件
logstash 輸出結果如下，會有格式化后的日志：
我們在 Kibana dev tools 中可以看到索引 apache_elastic_example，說明索引創(chuàng)建成功，日志也導入到了 elasticsearch 中。
另外注意下 logstash 中的 grok 過濾器，指定的 message 的格式需要和自己的日志的格式相匹配，這樣才能將我們的日志內容正確映射到 message 字段上。
例如我的 logback 的配置信息如下：
logback 配置
而我的 logstash 配置如下，和 logback 的 pettern 是一致的。
grok {
match => { "message" => "%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger -%msg%n" }
}然后我們在 es 中就能看到日志文件中的信息了。如下圖所示：
至此，Elasticsearch + Logstash + Kibana + Filebeat 部署成功，可以愉快地查詢日志了~
后續(xù)升級方案：
- 加上 Kafka。
- 加上 Grafana 監(jiān)控。
- 鏈路追蹤。
五、遇到的問題和解決方案
5.1 拉取 kibana 鏡像失敗
failed to register layer: Error processing tar file(exit status 2): fatal error: runtime: out of memory
原因是 inodes 資源耗盡 ， 清理一下即可：
df -i
sudo find . -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -n
curl -s https://raw.githubusercontent.com/ZZROTDesign/docker-clean/v2.0.4/docker-clean |
sudo tee /usr/local/bin/docker-clean > /dev/null && \
sudo chmod +x /usr/local/bin/docker-clean
docker-clean
5.2 拉取 kibana 鏡像失敗
docker pull runtime: out of memory
增加虛擬機內存大小。
5.3 Kibana 無法啟動
"License information could not be obtained from Elasticsearch due to Error: No Living connections error"}
看下配置的 IP 地址是不是容器的 IP。
文章題目：一文帶你搭建一套ELKStack日志平臺
分享地址：http://www.dlmjj.cn/article/coidoge.html
