Spark2ESSubJob.sh
2016-12-12 17:55:29 0 举报Spark2ESSubJob.sh是一个用于处理大规模数据处理的脚本。它基于Apache Spark框架，通过与Elasticsearch进行集成，实现了高效的数据导入和查询功能。该脚本支持多种数据源，包括HDFS、HBase等，并提供了丰富的数据处理操作，如过滤、聚合、转换等。同时，它还具备良好的可扩展性和容错性，能够自动进行任务调度和故障恢复。Spark2ESSubJob.sh的使用可以提高数据处理效率，适用于大数据分析和挖掘等领域。
作者其他创作
大纲/内容
Skip
Not Skip
Spark2ESSubJob.sh（以传入参数device_init_profileToHBase，调用Spark2HbaseSubJob.sh为例）
End
Stop
（如果运行失败则退出程序）
生成计算对象
定义三个数组：tableName、hql、subCalcObjectCodes，循环遍历这三个数组，拿到和入参“device_init_profileToHBase”相匹配的tableName和hql。把tableName、hql、outputPath作为入参，调用Spark2HbaseFunc.shSpark2ESFunc.sh做了下面两件事1、调用output.sh，执行hql，把结果输出到outputPath2、调用Java类，把outputPath的内容导进Hbase的表：tableName
Not Stop
判断子计算对象是否需要skip
0 条评论
下一页
