安个家 - ETL - 框架 UML
2016-09-28 10:46:05 0 举报
安个家ETL框架是一个基于UML的数据处理工具,它主要用于从各种数据源中提取、转换和加载数据。该框架的设计目标是提供一个灵活、可扩展和易于使用的解决方案,以满足不同类型和规模的数据处理需求。在UML图中,安个家ETL框架主要包括三个主要组件:数据源接口、数据处理引擎和目标数据库接口。数据源接口负责与各种数据源进行通信,如关系数据库、文件系统等;数据处理引擎负责执行实际的数据提取、转换和加载操作;目标数据库接口负责将处理后的数据存储到目标数据库中。通过这三个组件的协同工作,安个家ETL框架能够实现高效的数据处理流程,帮助企业快速完成数据分析和挖掘任务。
作者其他创作
大纲/内容
ExtractRun
- init() 初始化- process() 业务流程- shutdown() 结束和资源释放
实现抽取逻辑
DwServiceCore 基础服务类
- setService() 设置服务- setModule() 设置模块- setParameter() 设置参数
- run() 调用服务- init() 初始化- process() 业务流程- shutdown() 结束和资源释放
Model 公共数据源模型
- BiDbModel- DateModel- HadoopModel- HiveDbModel- MailModel- SqoopModel- SparkModel
Core
业务 Service
通讯
Conf 公共配置
- getConf- setConf
Util 基础工具
- Hive- log- mail- mysql
index.py 入口
--service 服务 --module 模块--par 参数
OtherClass 继承
其他逻辑
0 条评论
下一页