数据路由
2024-03-15 09:21:07 12 举报登录查看完整内容
数据路由架构设计
作者其他创作
大纲/内容
将结果保存至json文件中
txt
用户输入
输入文档目录
web server
User
大模型交互
服务jar包
提交参数，触发master中shell脚本的执行，提交flink任务
slave2
master
ROBOT-PC-UI
根据标识查找数据源、字段、目标源
Docx2txtLoader
flink集群
docx
mysql
doc
ChatGLM3
slave1
CharacterTextSplitter分词
rest业务接口
将用户配置的数据保存，同时生成唯一标识ID
触发flink任务执行
遍历目录下所有文件
判断文件扩展名
hdfs
whiper
配置数据源、字段、目标源
word2vec-large-chinese
循环读取文件
TextLoader
向量化交互
提交jar包启动flink任务
RapidOCRPDFLoader
语音交互
UnstructuredWordDocumentLoader
遍历分词内容，调用大模型
预设prompt
robot-platform
slave3
Langchain-Chatchat
pdf
知识库问答
收藏
职业：硕士
0 条评论
回复 删除
下一页
