对账spark
2016-12-04 22:33:21 0 举报
Apache Spark是一个大数据处理框架,它具有高效、易用和通用的特点。Spark可以与Hadoop数据湖集成,支持多种数据处理任务,包括批处理、交互式查询、流处理和机器学习等。Spark的核心是弹性分布式数据集(RDD),它是一个不可变的分布式对象集合,可以在集群中进行并行计算。Spark还提供了丰富的API和工具,如Spark SQL、Spark Streaming、MLlib和GraphX等,以满足不同场景的需求。总之,Spark是一个强大的大数据处理引擎,可以帮助企业快速分析和处理海量数据。
作者其他创作
大纲/内容
spark平台数据清算数据核对(核销)
spark
对账Core(1、差错处理2、结果下载 3、差错下载)
提交获取清算数据任务
提交对账任务
开始对账
开始
按rowkey过滤
对账条件
根据任务类型选择spark作业
web应用
获取清算、平台数据任务
存储errordetail
HBase
提交获取平台数据任务
结束
对账系统
读取结果展示
数据库存储
对账Core
pull对账结果
0 条评论
下一页
为你推荐
查看更多