Spark2HbaseFunc.sh
2016-12-13 17:21:00 0 举报
Spark2HbaseFunc.sh是一个用于在Apache Spark和Apache HBase之间进行数据转换和同步的Shell脚本。该脚本主要用于将Spark中的数据批量写入HBase,或者从HBase中读取数据并加载到Spark中进行处理。它支持各种数据格式,如CSV、JSON、Avro等,并且可以自定义数据的分区和排序方式,以满足不同的业务需求。此外,该脚本还提供了一些高级功能,如数据过滤、字段映射和类型转换等,使得数据转换过程更加灵活和高效。总的来说,Spark2HbaseFunc.sh是一个强大的工具,可以帮助用户轻松地在Spark和HBase之间进行数据交换和处理。
作者其他创作
大纲/内容
Spark2HbaseFunc.sh入参:tableName、hql 、 outputPat
调用Java类:td.enterprise.dmp.etl.task.FactTableDataImportTask把上一步骤$outputPath的内容输出到tableName
调用output.sh -h \"$hql\" -o \"$outputPath\"执行$hql,把sql的运行结果输出到$outputPath
(如果运行失败则退出程序)
0 条评论
下一页