3-实时采集方案

filebeat.inputs:- type: log  paths:    - /opt/data/data.jsonoutput.kafka:  version: 0.11.0.2  enabled: true  hosts: [\"node01:9092\

https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation-configuration.html#other-installation-options

与Flume对比

工作原理

启动FlieBeat时 它会启动一个或多个输入 这些输入在指定的位置查找日志文件定位的每一个日志 都会启动一个收割机 每个harvester 读取单个日志以获取新内容并将新日志数据发送到libbeat libbeat 聚合事件并将聚合数据发送到您为Filebeat 配置的输出

advertised.listeners=PLAINTEXT://192.168.190.152:9092sasl.enabled.mechanisms=SCRAM-SHA-512sasl.mechanism.inter.broker.protocol=SCRAM-SHA-512

简介

安装

FlieBeat

1.安装curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.9.1-x86_64.rpmsudo rpm -vi filebeat-8.9.1-x86_64.rpm2.进入目录 默认目录cd /etc/filebeat3.开启Kafkafilebeat modules enable kafka4.设置数据源mkdir /opt/data/5.修改kafka的server.properties配置   注意-->Kafka3.0y以下版本需要配置sals认证6.编写脚本 输入端  输出端     注意-->Kafka3.0以下版本 脚本需要添加 版本 开启认证 以及sala认证https://www.elastic.co/guide/en/beats/filebeat/current/kafka-output.html7.启动zookeeper  kafka 启动filebeat执行文件sudo filebeat -e -c 文件

文件地址

用于转发和集中日志的轻量级传送器 作为代理安装在本地服务器监控本地路径  收集日志事件 将它们转发到 es 或 Logstash 以进行索引