UserBehaviorViewSpark2HbaseSubJob.sh

2016-12-13 16:54:12   0  举报





仅支持查看

`UserBehaviorViewSpark2HbaseSubJob.sh` 是一个用于处理用户行为数据的 Shell 脚本。它的主要功能是将 Spark 计算引擎处理后的用户行为数据导入到 HBase 数据库中。在这个脚本中，首先会启动 Spark 任务，对用户行为数据进行清洗、转换和聚合等操作。然后，将处理后的数据转换为 HBase 支持的格式，并调用 HBase API 将数据写入到 HBase 表中。这个脚本可以帮助企业快速分析用户行为数据，为产品优化和营销决策提供有力支持。

作者其他创作

大纲/内容

（如果运行失败则退出程序）

End

生成子计算对象

判断子计算对象是否需要skip

Not Skip

调用Spark2HbaseFunc.sh -date \"$date\" -tableName \"user_profile\" \\-hql \"$user_profile_file_hql\" -outputPath \"$userProfileOutputPath\"运行hql把数据先导进hdfs目录outputPath，然后再把outputPath下面的数据导进表user_profile（由于subCalcObjectCode=user_profile，所以下面三个参数：-tableName、-hql 、 -outputPat都和user_profile相关。Spark2HbaseFunc.sh有单独的流程图）

Stop

根据UserBehaviorViewSpark2HbaseJob.sh传递过来subCalcObjectCode（这三个值之一：user_profile，user_session，user_log）走不同的逻辑（以subCalcObjectCode=user_profile为例）

Skip

UserBehaviorViewSpark2HbaseSubJob.sh

Not Stop