MetaETLSubJob.sh
2016-12-08 12:20:05 0 举报MetaETLSubJob.sh是一个Shell脚本，用于执行元数据提取、转换和加载（ETL）的子任务。这个脚本通常用于处理大量数据，将原始数据转换为易于分析的格式。它可以帮助用户自动化数据清洗、数据整合和数据转换的过程，从而提高数据处理的效率和准确性。MetaETLSubJob.sh可以根据用户的需求定制，支持多种数据源和目标，如关系型数据库、文件系统、Hadoop等。通过使用这个脚本，用户可以快速地将复杂的数据处理任务分解为多个子任务，并在不同的服务器上并行执行，以实现更高的处理性能。总之，MetaETLSubJob.sh是一个强大的工具，可以帮助用户简化ETL过程，提高数据处理效率。
作者其他创作
大纲/内容
（如果运行失败则退出程序）
调用Java类：td.enterprise.dmp.etl.tools.GenerateEtlJobProperties生成/home/hadoop/dmp/etl/tmp/MetaETL/4770/user_info_props_2016120216.tmp
Not Stop
Stop
调用output.sh根据user_info_props_2016120216.tmp里面的$hql和$outputPath把$hql查出数据生成到$outpuPath（导出来有什么用？）
End
MetaETLSubJob.sh（以user_info为例）
判断子计算对象是否需要skip
Not Skip
判断子计算对象是否需要stop
生成子计算对象
Skip
调用attributevalue_import.sh里面调用了Java类：td.enterprise.dmp.etl.task.AttributeValueMetadataTask
0 条评论
下一页
