一点资讯
2022-03-03 20:30:09 3 举报
xxx
作者其他创作
大纲/内容
central集群
newTopicValue == null
刷新API缓存接口
封面图API
u2n blender
delete
removeChannel
清除相应频道下的相应的docId
结束
其他服务
离线以及其他业务
parkAndCheckInterrupt
SSDB
返回有效docId
r1-mongo
写入
周越(算法)
物理删除兴趣点表
cover相似文章查询合并
blender
读取相似链
逻辑删除快照
kafka
数据解析+数据存储逻辑
读取
历史文章标题SortedTitle
topic: doc_similar_chain
生产
消费
update
查询codis
index-predict
from_change_log表
key: channelId
设置channelData属性
服务
index-logger
cronJob
True
推荐在线
Apollo_prod
获取锁失败addWaiter
发送相似链
index-negotiator
True_相同docId_REMOVE_DOC
Yes
doc-feature-server-u2v集群
下线状态
查询knn
dedupClient
消费向量
com.yidian.serving.index.writer.service.AddDocumentToIndexFromIdService#addDocument
消费相似关系
根据频道ID映射关系 获取指定kv池docId数据
prod
对频道下的文章列表整体做过滤、去重、打分、排序后，整体更新数据库
yes
createIndexTimes++
获取本地缓存的频道信息
normal集群
历史文章写入
fromId是否已经存在?
index_docs_fromId
图文视频内容API
视频
http请求
重制API meta缓存
cron任务
all in one
Mongo_app_3rd
读配置
更新倒排索引(codis+Mongo)
API订阅表删除
查DF
create
kafka(from_id_doc_save)
tail != null
updateChannel(更新订阅表逻辑)
存储
DedupInfoDAO
knn topN: 300codis topN: 100阀值: 0.987
knn库cover_dedup
index-manager
当前线程前面没有别的线程在等待锁
broadcastReloadChannelData
更新频道docId
发送doc向量
DedupInfoDao
client
process
写入docId
构建
wait
cpp
发送docId
写入Codis过期时间:30min
codis
去重逻辑
取数据
更新下chanelDate缓存
根据倒排索引获得fromId
cover(封面图)
上线状态
video_content(视频内容)
false
获取相似链
过滤掉D_开头docId
mongo_base
index-predictor
Codis
aio集群
定时任务dedup-knn-build
CANCELLED(1)
异步执行
倒排索引 words -->fromId
JAR包
http调用
doc-feature-server-aio-oppo集群
all in one oppo
codis-rs1
当前没有线程持有锁
新召回文章标题SortedTitle
doAdd
查询相似文章
CPP
不操作
Morpheus
JACCARD_THRESHOLD阀值默认是: 0.45
Mysql
doc-feature
doc-feature-server
分词逻辑
ws = SIGNAL(-1)
FLUSH_CHANNEL_SCORE
消费docId
aio-oppo集群
ADD_DOC
fromId : dig_pool_id
写入cache
请求
写频道doc
u2v
No
waitStatus
index-filter
返回有效文章
compareAndSetTail
MogoDB
写入过期时间:60day启用LRU
1. 先删除
resetApiCache
当日结果写DB
video_content相似文章查询合并
过期时间:60day开始LRU
参数
标题API
将新建频道写入API
持有锁的线程是当前线程
doc_id;docIddate;datectype;ctypesceneId:sceneId
不去重的doc写入cache
spider_channel_snapshot(快照表)
Apollo_prod_app
频道配置逻辑过滤
apiChannelDeleteInteerface
index-writer
topic:video_posters
topic: 标题
频道ChannelController
words写入快照表
acquireQueued
index-reader
prod环境
index_docs_digPool
将相似文章存到了本地
add
释放
ws=0 or PROPAGATE
add/remove场景进行回写
非自媒体频道
Hbase
Redis
2
title
MongoDB
doc-feature-server-predict集群
ReloadChannelData
从Mogo中获取docIds
channelDataList
根据scenId映射关系将docId写入不同的KV池子
apiChannelCreateInterface
查询相关数据
取标题数据
topic: indata_str_cover_feature
remove
RedisLock(fromId)
静态字段kafka
获取全量聚类ID
读图文doc
doc-feature-server-central集群
u2v集群
http://a4.go2yd.com/Website/channel/
DedupServer服务
内容中台
Apollo配置
内容中台维护
动态字段kafka
type==\"theme\"
状态转换
docId格式检查
False
doUpdate
doRemove
codis-r1-cache
清理倒排索引
fail_task
cb
cover
API订阅表新增
topic: dedup_dataprocessor
newHash== oldHash
spider_word_channels
codis-r2-cache
JAR
写入数据
新建一个Node节点保存当前Thread
一个单独的入口(定时调度)/spider/flushScore
create/update
fromId
按key取val
tv_content(图文视频内容)
topic: 封面图
调用/manage/doc/add接口
doc-feature-client
blender
本地cache
metrics.count(\"doc_id_illegal\
sceneId : dig_pool_id
dedupServer
图文
过滤频道isMatchTokenQuery()
metrics.count(\"channel_lag\
predict集群
knn topN: 300codis topN: 100阀值: 0.95
keyword_index_id
PushChannelNews
读视频doc
doc-feature-server-aio集群
1. doc-feature服务2. index-reader服务
com.yidian.serving.index.writer.service.SearchServiceImpl#searchDocIdsByChannel
调用API
执行成功
记录执行action
tv_content
索引项目
newrawlog_str_video
直接写入
写入Hbase
等级过滤isSourceLevelLimit
doc-feature-writer
前驱节点的状态设置成SIGNAL
l1 l2 l3 rank
查询knn失败的怎么处理的?
similarity服务
addChannelToApiCache
DedupInfo
线程池Math.abs(fromId.hashCode()) % innerThreadSize;
prod_app环境
oldTopicValue==newTopicValue
thrift rpc调用
addChannel
记录next_action
isPerf===false
新召回数据+相似链数据+历史数据
调用http接口清本地缓存
clusterservices
定时调度/job/statistic/vivo_cluster
key: 标题分词value: docIdList
dedup-dataprocessor服务
codis-rs2
执行addChannel流程
compareAndSetHeadcompareAndSetTail
使用HTTP接口的服务
metrics.count(\"lag_miss_df\
jokedoublewriteindex
更新频道快照
ADD/REMOVE
updateChannel
knn库video_dedup
获取锁成功
resetChannelMetaCache
根据docId words获取频道ID
algorithm/video_frames_feature计算向量
fidSize
直接删除索引docs
RedisLock(wordKey)
newChannelSnap
3
ADD_DOC || REMOVE_DOC ||FLUSH_CHANNEL_SCORE
ES中获取docIds
docId+fromId
doc-feature-server-normal集群
新召回文章
Fail
redis
业务前缀key图文视频内容:tv_content封面图: cover标题: title
tryAcquire
index-info
0 条评论
回复 删除
下一页
