小视频个性化推荐流程图
2024-04-24 18:04:39 0 举报
小视频个性化推荐流程图
作者其他创作
大纲/内容
否
数据预处理
Data_struct.xml
结构化数据提取
Topic:dp_api
model_filter.xml
model_sort.xml
模型过滤
模型排序
model_merger.xml
model_train.xml
模型融合
Model_data_process.xml
推荐引擎1
实时推荐引擎
RDS
Flume
Topic：dp_api
大鹏业务系统
实时数据清洗模块
LogStash
Log文件
FileBeat
输出推荐结果
推荐引擎2
是
Hbase表:Dp_train_data_2
Hbase表:Dp_dirty
Hbase表:Dp_video_filter
Hbase表:Dp_video_scaned
Hbase表:Dp_video_info
Topic:dp_video_info
Hbase表:Dp_vmodel_result_1
Hbase表:Dp_vmodel_result_candidate
Hbase表:Dp_vrecom_result
RedisDataBase:13
Hbase表:Dp_vmodel_merge
Data_duplicate.xml
数仓模块
脏数据?
Hbase表:Dp_vmodel_result_rt
Topic：dp_rt_log
Topic：dp_video_info
Data_dirty.xml
离线数据清洗模块
API模块
数据清洗模块--定时任务
Kafka
批次内去重
0 条评论
回复 删除
下一页
