大数据闭环处理流程
2017-01-19 15:39:04 0 举报
登录查看完整内容
大数据闭环处理流程主要包括数据采集、数据清洗、数据分析、模型训练和结果反馈五个步骤。首先,通过各种手段采集大量数据;然后,对数据进行清洗,去除无效、重复或错误的信息;接着,利用统计学和机器学习等方法对数据进行分析,挖掘出有价值的信息;在此基础上,建立预测模型并进行训练;最后,将模型的预测结果反馈到实际业务中,以指导决策或优化业务流程。这个流程形成一个闭环,不断迭代优化,以提高数据处理的效率和准确性。
作者其他创作
大纲/内容
0.0.0.0:100010.0.0.0:100020.0.0.0:10003
数据价值
Data results
DM
ArtReport
FineBI
Log Server 1
DIM
Machine learning
Data warehouse
Collaborative filtering
Yarn
ODS
业务 Server 2
业务 Server 1
HDFS
A 类用户
Hive
Log Server 2
FlumeAgent
文本挖掘
DA
Dataproducts
业务 Server
Flume Cluster
Logistic
B 类用户
FlumeThrift Slink
数据清洗 Server
用户数据
数据收集Server
Flume
HDFS Slink
N 类用户
指导业务产品前进
relationaldatabaseCluster
Spark
HadoopCluster
业务 Server 3
metastore
业务 Server N
DW
朴素贝叶斯分类器
0 条评论
回复 删除
下一页