Amazon-Storm
2016-09-22 16:16:50 0 举报
登录查看完整内容
Amazon-Storm是一个开源的分布式实时流处理系统，由亚马逊公司开发。它能够处理大量的实时数据流，并提供低延迟的数据处理能力。Amazon-Storm具有高度可扩展性和容错性，能够在多个节点上运行，并且能够自动恢复故障。它还提供了丰富的API和工具，方便用户进行数据流的创建、管理和监控。Amazon-Storm广泛应用于实时数据分析、日志处理、事件驱动的应用程序等领域。
作者其他创作
大纲/内容
shuffleGrouping
ZKPathListener
kafkaChannel
zookeeper
HBase
fieldGrouping(word)
s_task
topics/
新单词在ZK上创建新节点
/
WordsSumBolt(多线程统计词频)
Flume Agent
UserReviewBolt(多线程存储用户评论)
zkClient
kafkaSink
为该单词编号
写入总体词频信息
ReviewTopology
kafka spout
. . .
review_topic
(/opt/flume/review.txt)
写入用户词频及评分信息
模拟实时评论信息每三秒发送一条评论
words/
u_task
ZK集群
Musical_Instruments_5.json
Source
StopWordsBolt(去停用词)
fieldGrouping(reviewerID)
CHILD_ADDED
0 条评论
回复 删除
下一页
