视频数据流程图

mongoDB

redisKey

所需拼装数据

前端生成的视频原始数据

视频元数据

客户端

Redis

将从redis里获取的原始记录数据和rpc接口接入的拼装数据集合，进行数据处理计算

生成redisKey

数据统计层应用

产生视频数据

元数据入库

rpc接口传输

PostgreSQL

kafka

1、通过消息单播的方式，从kafka消息队列里获取redisKey，保证单一消费者2、为防止redis过载和key冲突， redisKey通过uuid生成，数据统计应用从redis里拿到数据以后，立即进行销毁3、数据统计层应用进行数据处理和计算时，采用队列模式，防止高并发时资源占用过大。4、rpc接口加缓存，rpc接口调用设置并发量上限，超出上限的进入队列5、需要前端额外添加接口，记录进入视频时间和退出观看时间，并在所有请求附加用户设备信息

覆盖更新视频进度数据

业务层应用