实时计算流程
2016-11-18 17:02:37 0 举报
实时计算流程是一种数据处理方式,它能够在数据生成的瞬间立即进行处理和分析。这种流程通常包括数据采集、数据清洗、数据分析和数据可视化等步骤。在数据采集阶段,系统会实时收集各种数据;在数据清洗阶段,会对收集到的数据进行筛选和整理,去除无效和错误的数据;在数据分析阶段,会利用各种算法对数据进行深入分析,提取出有价值的信息;最后,在数据可视化阶段,会将分析结果以图表等形式展现出来,便于人们理解和使用。实时计算流程能够快速响应各种变化,为企业决策提供及时准确的支持。
作者其他创作
大纲/内容
计算输入源
内存缓冲区
批量写中间计算结果
实时计算节点
清洗节点
字节流
转换输入
存取数据并清理
Redis
结果推送
获取输入
资源管理器
加载任务信息
缓存数据
模拟读取数据
数据源节点
数据接收
待清洗列表
批量写工况
算法库
推送节点
排序队列
加载计算算法
实时计算
STORM
订阅判断是否有工况缓存和计算任务
输入源
输入编号输入主题输入转化方式(类路径)
Kafka
redis
计算
获取实时计算对应任务需要的窗口
推送
等待执行
获取输入源列表
加载转换算法
批量读数据
Storm
缓存
按设备分发
标记清洗
封装推送信息
模拟插入数据
订阅判断
0 条评论
下一页
为你推荐
查看更多