filebeat.inputs:- type: log paths: - /opt/data/data.jsonoutput.kafka: version: 0.11.0.2 enabled: true hosts: [\"node01:9092\
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation-configuration.html#other-installation-options
与Flume对比
工作原理
启动FlieBeat时 它会启动一个或多个输入 这些输入在指定的位置查找日志文件定位的每一个日志 都会启动一个收割机 每个harvester 读取单个日志以获取新内容并将新日志数据发送到libbeat libbeat 聚合事件并将聚合数据发送到您为Filebeat 配置的输出
advertised.listeners=PLAINTEXT://192.168.190.152:9092sasl.enabled.mechanisms=SCRAM-SHA-512sasl.mechanism.inter.broker.protocol=SCRAM-SHA-512
简介
安装
FlieBeat
1.安装curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.9.1-x86_64.rpmsudo rpm -vi filebeat-8.9.1-x86_64.rpm2.进入目录 默认目录cd /etc/filebeat3.开启Kafkafilebeat modules enable kafka4.设置数据源mkdir /opt/data/5.修改kafka的server.properties配置 注意-->Kafka3.0y以下版本需要配置sals认证6.编写脚本 输入端 输出端 注意-->Kafka3.0以下版本 脚本需要添加 版本 开启认证 以及sala认证https://www.elastic.co/guide/en/beats/filebeat/current/kafka-output.html7.启动zookeeper kafka 启动filebeat执行文件sudo filebeat -e -c 文件
文件地址
用于转发和集中日志的轻量级传送器 作为代理安装在本地服务器监控本地路径 收集日志事件 将它们转发到 es 或 Logstash 以进行索引
