LangChain4J-大模型开发工程师

https://docs.spring.io/spring-ai/reference/index.html

无代码的AI开发平台

痛点

https://docs.langchain4j.dev/

https://github.com/langchain4j/langchain4j

https://docs.langchain4j.dev/tutorials/spring-boot-integration/

官网

Docker Hub玩镜像

Ollama Hub玩模型

产品定位

实现原理

说明：Ollama的运行会受到所使用模型大小的影响； 
1. 例如，运行一个7B（70亿参数）的模型至少需要8GB的可用内存(RAM)，而运行一个13B（130亿参数）的模型需要16GB的内存，33B（330亿参数）的模型需要32GB的内存；
2. 需要考虑有足够的磁盘空间，大模型的文件大小可能比较大，建议至少为Ollama和其模型预留50GB的磁盘空间；
3. 性能较高的CPU可以提供更好的运算速度和效率，多核处理器能够更好地处理并行任务，选择具有足够核心数的CPU；
4. 显卡（GPU）：Ollama支持纯CPU运行，但如果电脑配备了NVIDIA GPU，可以利用GPU进行加速，提高模型的运行速度和性能；

https://ollama.com/download

新建一个环境变量

OLLAMA_MODELS

D:\devSoft\Ollama\models

ollama run qwen:4b

ollama run qwen:32b

ollama pull <model_name>

ollama rm <model_name>

ollama run <model_name>

运行后，会进入交互式对话模式，可以直接与模型对话。
在交互模式下，输入 /bye 或按下 Ctrl+D 退出。

ollama list

ollama show <model_name>

https://docs.openwebui.com/getting-started/#quick-start-with-docker-

https://github.com/open-webui/open-webui

子主题

openwebui.com

window下安装Docker DeskTop 先下载到本地

https://www.docker.com/products/docker-desktop/

本地直接安装即可+安装完后启动验证

本地win虚拟化支持必须打开

修改image镜像保存地址

修改docker镜像下载地址

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:\44\open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

子主题

子主题

国内访问

科学上网

子主题

qwen-turbo-0624

langchain4j-01helloworld

阿里百炼

知识出处

跨域问题(可选)

ChatLanguageModelConfig(本例使用)

https://docs.langchain4j.dev/tutorials/ai-services#simplest-ai-service

https://docs.langchain4j.dev/tutorials/ai-services

目前有四种类型的聊天消息，每个消息的“来源”对应一种

高级LLM API

配置

ChatLanguageModelController

https://docs.langchain4j.dev/tutorials/logging/

配置

https://docs.langchain4j.dev/tutorials/observability

https://docs.langchain4j.dev/tutorials/spring-boot-integration#observability

代码

配置

https://docs.langchain4j.dev/tutorials/model-parameters

默认重试3次

配置

https://docs.langchain4j.dev/tutorials/model-parameters

timeout(Duration.ofSeconds(10)) // 设置10秒超时creep

low level

high level

官方总结

ChatLanguageModel

AI Service

UserMessage

SystemMessage

AiMessage

EmbeddingModel

ImageModel

ModerationModel

ScoringModel

qwen-vl-max

static/images/1.png

https://docs.langchain4j.dev/tutorials/rag#embedding-model

说人话

https://docs.langchain4j.dev/tutorials/rag#embedding-store

翻译

说人话

https://docs.langchain4j.dev/tutorials/rag#embeddingsearchrequest

捕捉复杂的词汇关系（如语义相似性、同义词、多义词）

超越传统词袋模型的简单计数方式

动态嵌入模型（如BERT）可根据上下文生成不同的词向量

向量嵌入为现代搜索和检索增强生成 (RAG) 应用程序提供支持

将文本映射到高维空间中的点，使语义相似的文本在这个空间中距离较近。

例如，“肯德基”和”麦当劳”的向量可能会比”肯德基”和”新疆大盘鸡”的向量更接近

https://docs.langchain4j.dev/integrations/embedding-stores/

文本搜索

推荐电影

匹配图片和标题

将相似项目归类

langchain4j-10chat-embedding

Qdrant向量库存储

阿里云百炼平台向量大模型

配置类

controller

http://localhost:9010/embedding/embed

新建向量数据库实例和创建索引：test-qdrant，类似mysql create database test-qdrant
http://localhost:9010/embedding/createCollection

往向量数据库新增文本记录
http://localhost:9010/embedding/add

查询

@SystemMessage+@UserMessage+@V

新建接口LawAssistant

controller

新建带着@StructuredPrompt的业务实体类

修改接口LawAssistant

controller

使用 PromptTemplate 渲染

controller

langchain4j-08chat-functioncalling

新建大模型调用的功能接口FunctionAssistant

配置类

controller

测试

使用注解 @Tool，可以更方便地集成函数调用，只需将Java方法标注为 @Tool，LangChain4j 就会自动将其转换为ToolSpecification

第3方接口

新建类

配置类

http://localhost:9008/chatfunction/test1

https://docs.langchain4j.dev/tutorials/rag/

RAG技术就像给AI装上了「实时百科大脑」，通过先查资料后回答的机制，让AI摆脱传统模型的”知识遗忘”困境

langchain4j-11chat-rag01

新建接口ChatAssistant

配置类

controller

http://localhost:9010/embedding/embed

https://docs.langchain4j.dev/category/document-loaders

Here is a simplified diagram of the indexing stage

Retrieval

Easy RAG: the easiest way to start with RAG

Naive RAG: a basic implementation of RAG using vector search

Advanced RAG: a modular RAG framework that allows for additional steps such as query transformation, retrieval from multiple sources, and re-ranking

Document Loader (文档加载器)

Document Parser (文档解析器)

Document Transformer (文档转换器)

Document Splitter (文档拆分器)

小总结

langchain4j-14chat-rag02

新建接口ChatAssistant

配置类

controller

流程如下：

转换

具体代码落地

RRF

Rerank

小总结

Query，用户输入的提示词
List<Content>，从数据源（向量数据库）找到了满足i条件的，比如符合余玄相似度分数的，多个结果集

源码查看

https://docs.langchain4j.dev/tutorials/rag#content-aggregator

是什么

案例Case

结论

是什么

落地实现

langchain4j-14chat-rag03

新建接口ChatAssistant

配置类

controller

MCP就像是AI世界的"万能适配器"。
想象你有很多不同类型的服务和数据库，每个都有自己独特的"说话方式"。AI需要和这些服务交流时就很麻烦因为要学习每个服务的"语言"。
MCP解决了这个问题 - 它就像一个统一的翻译官，让AI只需学一种"语言"就能和所有服务交流。
这样开发者不用为每个服务单独开发连接方式，AI也能更容易获取它需要的信息。
如果你是一个后端同学，那么应该接触或听说过gRPC。gRPC通过标准化的通信方式可以实现不同语言开发的服务之间进行通信，那么MCP专门为AI模型设计的"翻译官和接口管理器"，让AI能以统一方式与各种应用或数据源交互。

总

分

总

案例

子主题

Spring AI MCP 采用模块化架构，包括以下组件

MCP 服务端存在两种通信方式

子主题

子主题

原理说明

npm install -g mysql-mcp-server

知识出处

命令

知识出处

查看安装包位置

查看index.js位置

mcp-client-demo

\src\main\resources\db03-prompt.txt

MysqlMCP调用接口

controller

https://www.docker.com/get-started/

https://milvus.io/docs/zh/install_standalone-windows.md

https://milvus.io/docs/zh/install_standalone-docker.md

Invoke-WebRequest https://raw.githubusercontent.com/milvus-io/milvus/refs/heads/master/scripts/standalone_embed.bat -OutFile standalone.bat

.\standalone.bat start

运行安装脚本后，包含以下内容：
·名为Milvus-standalone的docker容器已在19530端口启动。
·嵌入式etcd与Milvus安装在同一个容器中服务端口为2379。
其配置文件被映射到当前文件夹中的embedEtcd.yaml。
Milvus数据卷映射到当前文件夹中的volumes/milvus。

https://github.com/zilliztech/attu/releases/tag/v2.4.12

1

2

langchain4j-18rag4

MilvusConfig

EmbeddingModelConfig

controller

相似度去重V2

http://localhost:9018/milvus/chat?prompt=%E6%88%91%E7%88%B1%E5%90%83%E9%9D%A2%E6%9D%A1

用户积分列表

积分相同时，如何处理？

积分相同时，按最后更新时间升序，解决思路

进一步V2优化修改

测试·

查询过程：先redis → 再mysql
查询到的数据并不是数据库中的真实数据导致数据不一致的严重问题

在多线程并发情况下，假设有两个数据库修改请求，为保证数据库与redis的数据一致性，

修改请求的实现中需要修改数据库后，级联修改Redis中的数据。

请求一：A修改数据库数据 B修改Redis数据

请求二：C修改数据库数据 D修改Redis数据

正常情况：A —> B—>C —> D 

并发情况下就会存在A —> C —> D —> B的情况，问题在哪里？

一定要理解线程并发执行多组原子操作执行顺序是可能存在交叉现象的

请求一：A修改数据库数据 B修改Redis数据

请求二：C修改数据库数据 D修改Redis数据

正常情况：A —> B—>C —> D 

并发情况下就会存在A —> C —> D —> B的情况，问题在哪里？

A修改数据库的数据最终保存到了Redis中，但是在A没有修改完成是不会同步进mysql的，
C在AB操作之间来查询，缓存redis数据没有删除，那A已经修改新数据了但是没有同步进B步骤进redis
导致C查看的还是老数据，此时出现了Redis中数据和数据库数据不一致的情况，从而出现查询到的数据并不是数据库中的真实数据的严重问题。

步骤

为何要两次删除缓存？

小总结

question-delayDoubleDel

配置类RedisConfig2

RedisUtils

统一返回值和entity实体类

假设不采用

注解

切面类CacheAspect

注解

切面类ClearAndReloadCacheAspect