数据平台
2016-09-13 14:06:51 0 举报
数据平台是一个集成、管理和分析数据的系统。它提供了一个统一的视图,使用户能够从多个来源收集、清洗、存储和分析数据。数据平台通常包括数据仓库、数据集市、数据湖等组件,以及用于数据挖掘、机器学习和人工智能的工具。通过使用数据平台,企业可以更好地理解其业务运营情况,发现潜在的商业机会,并做出更明智的决策。总之,数据平台是一个强大的工具,可以帮助企业充分利用其数据资产,实现可持续发展。
作者其他创作
大纲/内容
hbase
LifecycleAware
kafka
PartitionManager
MonitorRunnable
topic
生成对应的MonitorRunnable放入线程池中运行
CalcSpout
client
supervisedProcesses
mysql
calc_task_field
LifecycleSupervisor
参数1
fileWatcherRunnable.run
target表schema
log
canalClient
flume
结合
monitorService
storm
calc_task_sup
processor
样本n
KafkaSpout
先停止所有component,再启动所有component和monitorService
Application.handleConfigurationEvent
MonitorService
gp
directory
source表schema
kafkaManager
Supervisoree
Application.start
PollingPropertiesFileConfigurationProvider.run
LifecycleSupervisor.supervise
日志补全
task
同质/异质量,序列化/并行化
canalServer
参数n
Purger
MaterializedConfiguration
agent
eventBus.post
LoadConfigureFromHttp.confUpdate
instance
components
一个task对应一个KafkaSpout
canal_task
ScheduledThreadPoolExecutor
基学习器n
对应topic里面的多个分区,根据当前storm task的id进行取模
Application
样本1
基学习器1
0 条评论
下一页