搜索架构图2
2017-03-13 12:08:10 0 举报搜索系统后台数据处理
作者其他创作
大纲/内容
搜索日志：目前没做
logstash
Kafka
1. ESTols: 开发配置的包括es集群控制脚本，索引过期删除等工具集合2.data-processor:logstash+自己开发的日志处理程序3.各个环节的监控报警由对应的运维团队负责4.破解shield插件完成权限控制的限制
业务一数据处理
计算编辑距离sort. Top5
数据源2
Mysql/MarinDB
Log
MutiThread
datda-processor
Spider+挖掘 Dict
LucenceIndexer
KafkaCluster
类似flume支持不同的source源。写到不同的sink.中间多线程处理不同的业务的数据处理
数据源3
ESCluster
拼音转换/不考虑多音字
ES
业务二数据处理
业务三数据处理
DataProcessor数据处模块图
ELK统一架构图
Dict搜狗
日志搜索API
LucenceSearch
数据源1
Words候选集TopN
ngram index
Kibana
没命中词典，汉语转拼音，short query split n-gram
ESTools
0 条评论
下一页
