centos安裝Filebeat收集日志到Kafka

作者：linux運維菜 2021-09-07 09:34:04

系統(tǒng)

Linux

Kafka filebeat是日志數(shù)據(jù)采集器，可代替logstash收集日志，部署起來比較方便。一般日志量比較大，會先收集到kafka然后再進行消費。

成都創(chuàng)新互聯(lián)專注于通渭企業(yè)網(wǎng)站建設,成都響應式網(wǎng)站建設公司,成都做商城網(wǎng)站。通渭網(wǎng)站建設公司,為通渭等地區(qū)提供建站服務。全流程按需求定制制作，專業(yè)設計，全程項目跟蹤，成都創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務

簡介

filebeat是日志數(shù)據(jù)采集器，可代替logstash收集日志，部署起來比較方便。

一般日志量比較大，會先收集到kafka然后再進行消費。

安裝

  
 
 
 

   
  
  
  
yum -y install https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.14.0/filebeat-7.14.0-x86_64.rpm 
  
 
 
 

配置filebeat

  
 
 
 

   
  
  
  
vim /etc/filebeat/filebeat.yml 
  
 
 
 

  
 
 
 

   
  
  
  
filebeat.inputs: 
   
  
  
  
- type: log 
   
  
  
  
  paths: 
   
  
  
  
    - /var/log/*.log 
   
  
  
  
    - /var/log/messages 
   
  
  
  
  fields: 
   
  
  
  
    type: "systemlog" 
   
  
  
  
    log_topic: "systemlog" 
   
  
  
  
  fields_under_root: true 
   
  
  
  
  exclude_lines: ["^DBG"] 
   
  
  
  
  exclude_files: [".gz$"] 
   
  
  
  
name: 192.168.122.100 
   
  
  
  
output.kafka: 
   
  
  
  
  enabled: true 
   
  
  
  
  hosts: ["192.168.122.200:9092"] 
   
  
  
  
  topic: "%{[log_topic]}" 
   
  
  
  
  partition.round_robin: 
   
  
  
  
    reachable_only: true 
   
  
  
  
  worker: 2 
   
  
  
  
  required_acks: 1 
   
  
  
  
  compression: gzip 
   
  
  
  
  max_message_bytes: 10000000 
  
 
 
 

服務管理

  
 
 
 

   
  
  
  
systemctl enable filebeat 
   
  
  
  
systemctl start filebeat 
  
 
 
 

總結(jié)

filebeat是Go寫的，部署起來很方便，沒什么依賴，批量部署簡單。

本文題目：CentOS安裝filebeat收集日志到kafka
文章網(wǎng)址：http://www.dlmjj.cn/article/djhedjj.html