向量数据库选型
RAG 演进路线与未来方向
Embedding 向量化模型
上下文注入 Prompt
核心使命
MySQL、PostgreSQL、MongoDB支持 CDC 增量同步REST/GraphQL API 对接网页爬虫与第三方 SaaS 接口
标准流水线
上下文注入与权限控制
OpenAI text-embedding-3-largeBGE-M3（多语言、混合检索）Cohere embed-v3Sentence Transformers
弥补纯语义检索缺陷，支持复杂关联查询
不同租户/用户权限隔离基于角色的访问控制数据安全与合规性保障企业级数据安全标准
流程：Query → 向量检索 → 直接拼接 → LLM短板：信息丢失、语义歧义、召回噪声高适用场景：简单问答、原型验证
解析清洗与文本处理
将企业私有数据转换为模型可理解的上下文解决 LLM 不懂企业内部知识的痛点消除模型幻觉，提升回答准确性构建知识库与 RAG 应用的基础设施
文本分块与向量化
异构数据源统一接入
Marker、PyMuPDF 解析库OCR 文字识别技术表格结构化数据提取
数据库与在线数据
朴素 RAG（基础版）
Prompt 工程与安全机制
核心价值
混合检索策略
层级定位
文档解析技术
对接 L3 Agent 层，自主决策检索支持多步骤业务问答、跨知识库任务Agent 应用标配，面向复杂场景
文件源支持
Cohere Rerank：商用高性能方案BGE-Reranker：开源轻量化方案Cross-Encoder：通用技术方案二次精细打分过滤无关片段
Advanced RAG（生产标准）
向量化与存储技术
Agentic RAG（智能体场景）
去除水印与乱码清理无效页眉页脚文本规范化与编码统一质量筛选与去重
Rerank 重排序技术
覆盖 SaaS 与自建两大类方案
Chunking 分块策略
数据源 → 解析清洗 → Chunking 分块Embedding 向量化 → 向量索引存储混合检索 → Rerank 重排序上下文注入 Prompt → L1 层 LLM 推理
固定长度分割（基础方案）递归字符分割语义分割（最优方案）滑动窗口策略
决定检索粒度的关键环节
层级定位与核心使命
文本转高维向量实现语义检索
L2 在 AI Agent 架构中的承上启下作用
数据清洗策略
混合检索与重排序技术
文档级 ACL 权限控制
技术目标
实现多路召回融合，提升检索准确率
检索与排序优化
流程：Query 改写 → 混合检索 → Rerank → 引用溯源优势：准确率高、支持复杂查询当前企业知识库主流方案
承接 L1 模型推理层向上支撑 L3 智能体编排层企业知识处理与检索的标准底座
数据接入与预处理技术
Chunking 策略 | Embedding 模型 | 向量存储方案
三大演进路线对比分析
知识片段按模板填充传递给 L1 层 LLM 进行回答引用溯源 (Citation) 实现支持多轮对话上下文
Pinecone（全托管 SaaS）Qdrant（高吞吐线上服务）Milvus（十亿级向量）pgvector（Postgres插件）
PDF、Word、TXT、PPT、HTML扫描件与图片 OCR 识别表格结构化数据提取
向量检索：语义相似度 Top-K 召回全文检索（BM25）：精准关键词匹配知识图谱检索：实体关系关联推理多路召回结果融合
