布隆过滤器
2017-04-03 15:03:43 0 举报
布隆过滤器(Bloom Filter)是一种空间效率极高的概率型数据结构,用于判断一个元素是否在一个集合中。它由一个很长的二进制向量和一组哈希函数组成。当新元素加入集合时,通过哈希函数将其映射到位数组的多个位置并标记为1;查询元素时,同样通过哈希函数映射到位数组的多个位置,如果所有位置都为0,则认为该元素不在集合中,否则可能存在于集合中。由于存在误判率,所以布隆过滤器可能会将不存在的元素误判为存在于集合中。
作者其他创作
大纲/内容
实时数据处理
原始日志收集服务
中间层数据表
每周使用前一周的历史数据进行模型训练
输入特征为广告在线服务相关信息,广告位id,设备终端,服务的版本号,日期,广告素材曝光成功率,广告服务的id
广告投放数据接口(AMP、ADX、DSP)
业务数据中间层
离线清洗Spark任务
用户数据中间层
将实时的需检测系统的特征输入模型得到结果
ERP系统
DMP和用户画像系统(用户各维度定向)
数据服务API
ADX投放报告
媒体
00000000100000000100000000100000000······0000000001000000000
芒果短视频
MapReduce(分布式计算框架)
HDFS(分布式存储系统)
千万DAU高并发处理、视频推荐系统落地方案
Flume(日志收集)
联盟数据报告
Hash3
短视频电商带货反哺电商购物平台、长效发展
正向:丰富短视频平台内容建设
2020年短视频关键字
URL地址
丰富平台内容,电影节目宣传
基础层数据表
广告数据任务状态服务
数据中间层(用户数据)
Hash1
DSP投放报告
节目艺人宣传推广资源支持
丰富平台内容、游戏直播与赛事推广
······
各个业务Web系统To-Do恺暄
根据特定数据模型训练
收入数据报告
美食
短视频内容生产
Hash11
广告曝光日志和所有广告系统运行日志
AMP投放报告
数据中间层(业务数据)
明星
艺人宣传与品牌推广
Hash2
应用层数据表
提供短视频平台搭建等融资支持
数据服务API接口
输入监测系统的历史数据
2018年短视频关键字
用户画像系统
研发人员直接处理
快乐购提供货源商家支持
Kafka(分布式数据传递系统)
0 条评论
下一页