实时+离线处理架构
2016-08-08 22:16:49 0 举报
实时+离线处理架构是一种数据处理方式,它结合了实时处理和离线处理的优点。实时处理是指在数据产生后立即进行处理,以便快速响应用户需求。而离线处理则是指将数据存储起来,然后在适当的时候进行处理。这种架构可以在满足实时性要求的同时,也能够对大量数据进行深入分析。 在实际应用中,实时+离线处理架构可以根据业务需求灵活配置。例如,对于一些对实时性要求较高的业务,可以采用实时处理方式;而对于一些对数据分析要求较高的业务,则可以采用离线处理方式。此外,实时+离线处理架构还可以通过引入缓存技术来提高系统性能。总之,实时+离线处理架构为企业提供了一种高效、灵活的数据处理方案。
作者其他创作
大纲/内容
微博分词
Pgsql数据库(大规模/恶意炒作/一般规则)
outer_topic 境外
partition2
第三方日志平台
统一测试平台
客户微博数据源RocketMQ
聚类
Pgsql数据库(境内/境外规则)
恶意炒作
过滤结果落地
本地部署分类RocketMQ
inner_topic 境内
增量更新Redis
partition4
API接口
partition1
一般
partition3
CT类
Elasticsearch
过滤进程(多个并行)
大规模
WF类
上层应用
话题发现
告警预警
分类算法(调服务)
0 条评论
下一页