整体agent
2016-10-09 10:36:50 0 举报整体Agent是一种智能系统，它能够自主地感知和理解环境，并根据其目标和约束进行决策和行动。这种Agent通常包括感知模块、决策模块和执行模块三个部分。感知模块负责从环境中获取信息，决策模块根据这些信息和目标生成行动策略，执行模块则负责将这些策略转化为实际的动作。整体Agent可以应用于各种领域，如机器人导航、自动驾驶、智能家居等。它具有自主性、适应性和学习能力，能够在复杂的环境中实现高效、稳定和灵活的任务执行。
作者其他创作
大纲/内容
某个topic某一个分区的message
推送数据
缓存（channel）
kafka
形成event
ES
数据源方式2
event过滤
使用JavaAPI读取文件信息
验证文件是否存在和权限
入库ES
event根据不同topic添加相应的头部信息
通讯验证
获取数据
event确认和修改
发送到下一个节点
数据入库
读取topic信息
service2
实时计算
连接（db，kafka，hadoop，ftp）
service3
验证获取数据权限
连接，监听，验证
验证
kafka集群
其他接收端
该过程：每一次获取数据是独立的，所以要保证每一批数据都是完整的event
flume_service
getservice
判断是否过滤
发送数据
获取合适的service
其他接收端（kafka）
自动识别和提取（数据加工）
service1
source
通配符目录（实时和非实时）：directory，file，rule，
获取message
event确定
下一个接收节点
NULL（本地文件）
共用字段信息：租户Id，tag（索引），logTypid，eventId，code，collectKeys，filterKeys
getservice（每一个topic 多个线程获取分区数据）
数据源方式1
本地操作，kafka连接，syslog端口监听等
一行，多行，csv，json，xml，对形成的event进行修改
event修改
agent子流程
抓取kafka数据
avro_service
实时计算节点
agent
zookeeper
kafka（连接）
kafka配置：zookeeperConnect，topic，groudid，timeout
入库
source子流程
event根据主机IP添加相应的头部信息
采集服务器端
syslog(监听)
本地文件
汇报负载情况
数据源方式3
sink
根据key获取相应的日志信息
每一个线程的过程
其他方式
PS:浅红色的说明是可以变化的
web
0 条评论
下一页
