2345 - 大数据日志流程
2017-01-04 15:51:41 0 举报
登录查看完整内容
大数据日志流程主要包括数据采集、数据预处理、数据存储、数据处理和数据分析五个步骤。首先,通过各种方式收集大量数据,这些数据可能来自不同的源,格式也各不相同。然后,对原始数据进行清洗和格式化,以便于后续处理。接下来,将处理后的数据存储在适当的数据库或文件中,以便于后续查询和分析。在数据处理阶段,可能会使用各种算法和模型来挖掘数据中的有用信息。最后,通过数据分析,可以从数据中提取有价值的洞见,支持决策制定。整个过程需要高效的硬件资源和强大的数据处理能力。
作者其他创作
大纲/内容
安全卫士
推广日志
使用
NodeManager
Yarnresource manager
pinyingTable
ClusterMysql
安装
输入法
FlumeCollector
browserTable
Flume-Agent
集群管理
Zookeeper
?
JDBC编程接口
大数据平台服务分布
分析师和工程师们
卸载
promotionTable
其他r日志
Hive-Server2
Spark
NameNode
Hive
dw04
dw02
上层业务数据
dw06
HA
Spark-ThriftServer
dw03
DataNode
pcsafeTable
调度服务
浏览器
dw01
Hue 基于 SQL 查询分析工具
dw05
ODS 数据源
Hive-MetaStore
CDHManager
0 条评论
回复 删除
下一页