语义搜索的系统架构设计图
2024-02-23 18:49:01 0 举报登录查看完整内容
大模型时代的语义搜索的系统架构设计图
作者其他创作
大纲/内容
爬虫池
分页检索结果
结构化查询
Web Query
Cross Embedding LLM
组装检索结果
消息队列
STR场景文本识别人脸识别及目标侦测表格结构重建
再次生成对话
全文索引
交叉QA编码向量生成
多媒体文件
定制解析器
业务系统API
生成式回答结果
语义搜索的泛文档入库流程
相关性/安全性检查LLM
否
多媒体切片ASR及关键帧提取人脸识别及目标侦测
多模态向量化
迭代查询
回答结果是否相关，是否安全？
Prompt生成
知识图谱构建
对话微调语言大模型LLM
总结摘要（多模态转文字）
短文本纠错
大模型
多模态建模
语义搜索的内容检索流程
Top-N上下文
优化全文检索关键词优化向量生成方式优化Prompt类型
图像文件
检索结果预览：PDF预览器及其他
多语言token化
是
关键词抽取
未命中
搜索建议生成
基于向量检索机制发起查询
持久化
切面及聚合索引
中文分词及多语言token化
基于全文检索机制发起查询
首轮查询
统一对象索引
混合检索结果并通过神经网络再排序
OCR处理及版面分析长文本切片表格信息抽取图表及内嵌对象抽取元素定位索引表
Web上传
HTTP API (SSE)
意图分析与分类
SDK
Query分析
关系型数据库+向量数据库+分布式+开源PostgreSQL（或其他准替代品如ElasticSearch）
用户检索
高亮精确定位
SQL界面
办公文档
检索条件过滤：用户权限过滤切面过滤检索结果权重调整（用户画像）分页处理
缓存命中，直接返回，更新统计
基于检索表的精准定位文内二次搜索
其他：日志，源代码等等
中文分词
Text2SQL图查询框计算
版面布局控制：平铺及切片折叠
同义词/停用词处理
敏感规则命中：拒答
文档主题分析
大模型插件调用
泛文档导入及分类
是否命中缓存？
检索偏好本地持久化
Web渲染：Markdown转HTML
Query缓存：Redis（可选件）
词性及权重分析
多关键词逻辑表达式
图像及长文本检索的向量化
Agent事件监听
Rerank LLM
检索建议生成
系统人工置顶
元数据生成（NER）
结果颗粒度控制：概述/摘要，段落，页面，图谱展现
收藏
0 条评论
回复 删除
下一页
