UserBehaviorViewSpark2EsSubJob.sh

2016-12-13 18:28:38   0  举报





仅支持查看

`UserBehaviorViewSpark2EsSubJob.sh` 是一个用于处理用户行为数据的脚本文件。该脚本使用 Apache Spark 作为数据处理框架，将用户行为数据从原始格式转换为可分析的格式，并将其存储到 Elasticsearch 数据库中。通过这个脚本，用户可以方便地对用户行为数据进行查询和分析，以便更好地了解用户的需求和行为习惯。此外，该脚本还支持将处理后的数据导出到其他存储介质，如 HDFS、本地文件系统等。总之，`UserBehaviorViewSpark2EsSubJob.sh` 是一个功能强大且易于使用的工具，可以帮助用户快速分析和处理用户行为数据。

作者其他创作

大纲/内容

End

判断子计算对象是否需要skip

Stop

Skip

根据UserBehaviorViewSpark2ESJob.sh传递过来subCalcObjectCode（这三个值之一：user_profile，user_session，user_log）走不同的逻辑（以subCalcObjectCode=user_profile为例）

UserBehaviorViewSpark2EsSubJob.sh

生成子计算对象

（如果运行失败则退出程序）

调用Spark2HbaseFunc.sh -date \"$date\" -tableName \"user_profile\" \\-hql \"$user_profile_file_hql\" -outputPath \"$userProfileOutputPath\"运行hql把数据先导进hdfs目录outputPath，然后再把outputPath下面的数据导进表user_profile（由于subCalcObjectCode=user_profile，所以下面三个参数：-tableName、-hql 、 -outputPat都和user_profile相关。Spark2HbaseFunc.sh有单独的流程图）

Not Skip

Not Stop