AI大模型应用工程化路线图思维导图模板

1. 前置知识

编程语言

Python编程基础

变量、数据类型、控制流语句、函数等基础语法

Anaconda、Jupyter、PyCharm 等开发环境的安装与配置

熟悉 Python 编程规范（如 PEP8），进行简单编程练习

Java编程基础

基础语法：变量、运算符、流程控制

面向对象编程：类与对象、封装&继承&多态、接口

集合、IO、多线程、StreamAPI

Go、C#、JavaScript、....

数学基础

高等数学

导数、偏导、梯度

线性代数

标量与向量、矩阵与张量、矩阵求导

概率与统计

概率分布

贝叶斯定理

似然函数

2-大模型应用基础

基础认知

AI与大模型的发展历程

从机器学习到深度学习的飞跃

深度学习的诞生与发展

大模型与通用人工智能

大模型的起源与发展

认知与解析、大模型与AGI关系、发展趋势

AI应用场景

自然语言处理-NLP

分词、词性标注、命名实体识别等NLP基础概念

文本分类、文本生成、问答系统、信息摘要、机器翻译

计算机视觉-CV

熟悉图像分类、目标检测、语义分割等CV基本概念

图像识别、视频分析

语音识别与合成

语音到文本、文本到语音

主流大模型的使用

国际知名

Meta：Llama系列

OpenAI：GPT系列

Google：Gemini

Anthropic：Claude系列

国产主流

深度求索：DeepSeek

阿里：Qwen系列

百度：文心大模型

智谱清言：GLM系列

主流大模型平台的功能特点、优势与适用场景

大模型的发展历程、关键推动因素与趋势

GPT为例

架构原理

Transformer架构讲解与动手实现

编码器 - 解码器结构

自注意力机制与多头注意力机制

大模型如何理解和表示单词

大模型如何理解并预测输入的内容

Transformer 变体之 Bert架构

使用上文与下文的双向预测模式（类似于填空）

Transformer 变体之 GPT 架构

使用从前到后的单向预测模式（类似于补全）

MoE模型

MoE模型的工作原理

MoE模型的优点

MoE模型的应用

自然语言处理

计算机视觉

推荐系统

硬件基础

GPU加速原理

GPU与CPU计算核心的区别对比

CUDA核心/显存管理

混合精度训练

FP16/FP32混合使用

提示词工程设计

提示词工程基础

Prompt基本概念、在大模型应用中的重要性

Prompt 四要素：角色、目标、执行方案、输出格式

Prompt设计的基本原则：简洁性、上下文与语境的设计、问题明确性、结构化与非结构化prompt

Prompt调优与技巧

常见的Prompt 工程设计策略

零样本提示(Zero-Shot)

少样本提示(Few-Shot)

链式思考(思维链COT)

自我一致性(自洽性，Self-Consistency)

思维树(Tree-of-thought,ToT)

优化Prompt的输出效果

调整Prompt中的语句顺序

指令和示例的数量与多样性

负面提示与约束

增强输出的精确度

高级Prompt工程技巧

指令模型 vs 推理模型的prompt的不同设计

复杂任务的多步骤Prompt设计

解构提示词对AI大模型反馈结果的影响

用 prompt 调优 prompt

Prompt攻击与防范

提示词注入

提示词防范

项目实战

案例：短剧脚本生成

案例：网络爆款文案生成

案例：数据库查询SQL语句生成

案例：文本生成任务的Prompt设计（如编写文章、故事生成)

案例：情感分析与文本分类的Prompt优化

案例：复杂任务的多步骤Prompt设计（如数据分析报告生成）

3-大模型应用实战之主流开发框架

LangChain框架

LangChain框架简介

构建大模型应用的完整流程：大模型交互、数据整合、应用部署

LangChain的安装

调用大模型三要素：base_url、api_key、model_name

LangChain核心组件

模型IO操作

几种不同的Message

invoke、stream、batch、ainvoke等

Prompt Template

Output Parsers

FunctionCaling

链架构：Chains / LCEL

Chains的设计理念

传统的Chain

SequentialChain

RouterChain

Chains功能实战

Memory记忆功能

不借助LangChain，如何实现记忆功能

Memory模块的设计理念

如何自定义Memory模块

spacy工具安装

内置的Memory模块

智能体Agents

Agent架构设计理念的背景

基于LangChain的Agent抽象

自定义基于ReAct范式的Agents

使用LangChain定义的ReAct策略

Retrieval

RAG架构

Source 与 data loaders

Text Splitters

Text embedding models

vector store

项目实战

案例1：LangChain构建智能问答系统

案例2：LangChain实现文档摘要生成

案例3：LangChain实现AI销售助手

LangChain4J框架

LangChain4J框架简介

LangChain4J的定位

核心特性：低代码API、内存优化、本地模型支持

安装：Maven/Gradle依赖配置

核心组件

LangChain4J基础架构

LLM接口：支持 OpenAI、DeepSeek、ZhiPu AI、Anthropic

内存管理：维护对话上下文（Memory），支持短期 / 长期记忆

提示模板：动态生成 prompt（PromptTemplate），支持变量替换和格式控制

链（Chain）：串联多个组件（如 LLM + 数据库查询），实现复杂逻辑

智能体（Agent）：根据用户输入动态选择工具（API / 数据库）执行任务

聊天与语言模型

LLM API类型：LanguageModel、ChatLanguageModel

ChatLanguageModel核心方法

消息类型：UserMessage、AiMessage、SystemMessage、ToolExecutionResultMessage、CustomMessage

ChatMemory组件

ChatMemory的作用：消息管理、持久化存储、特殊消息处理

核心实现与特性

AI Services的使用

AI Services的定位与优势

注解支持：@SystemMessage、@UserMessage

RAG

什么是RAG

RAG核心流程：索引阶段、检索阶段

RAG类型：EasyRAG、NaiveRAG、AdvancedRAG

核心API与组件：Document、Metadata、Document Loader、Embedding Model等

与SpringBoot3集成

项目实战

案例1：本地知识库问答系统（RAG+ChromaDB）

案例2：自动化报表分析（代理+表格工具）

案例3：多模态AI助手（集成TTS/OCR）

SpringAI & SpringAI Alibaba框架

Spring AI框架简介

Spring AI的定位

核心优势

安装与配置

核心组件

模型交互（Model I/O）

统一接口设计：AiClient与AiStreamClient

多模型支持：OpenAI、HuggingFace、本地模型集成

提示工程：动态提示模板（PromptTemplate）与输出解析（OutputParser）

数据整合（Retrieval）

向量数据库集成：RedisVectorStore、PgVector

文档处理链：文本分块（TextSplitter）、嵌入模型（EmbeddingModel）

RAG实现：检索器（Retriever）与生成器组合

链式执行（Chains）

链式抽象：Chain接口与SequentialChain

路由链（RouterChain）：多任务动态路由

实战：文档总结链、问答链构建

代理（Agents）

代理机制：基于ReAct的决策框架

工具集成：自定义工具（如数据库查询、API调用）

案例：销售顾问代理实现

记忆管理（Memory）

对话状态存储：ChatMemory接口

存储后端：Redis、In-Memory配置

项目实战

案例1：基于Spring AI的智能客服系统（集成RAG）

案例2：文档自动摘要生成（链式调用+文本分割）

案例3：企业级RAG问答系统（向量库+代理）

4-大模型应用实战之RAG开发

EmbeddingModels嵌入模型

嵌入表示的基本概念与工作原理

常见的嵌入技术

词嵌入：Word2Vec、GloVe、FastText等经典方法

文本嵌入：BERT、GPT等预训练模型的嵌入

图像和音频的嵌入表示

特征嵌入：如何将结构化数据转换为嵌入表示

VectorStore向量存储

向量数据库介绍

如何存储和检索嵌入向量

常见的向量数据库：Milvus、Chroma、Pinecone、FAISS等

向量数据库与传统数据库的区别与优劣对比

向量数据库的核心操作

Add添加数据

Query查询数据

Update/Delete管理数据

使用向量数据库进行相似性检索

向量存储应用

文本相似度搜索：基于向量的文档匹配

图像识别与检索：特征向量提取与匹配

推荐系统：基于用户与物品的向量表示

RAG 工程化

RAG技术概述

LLM面临的主要问题

信息偏差/幻觉、知识更新滞后性、内容不可追溯

领域专业知识能力欠缺、长文本处理能力较弱

什么是RAG技术？

RAG技术优势

外部知识的利用、生成内容的准确性

数据及时更新、模型的可解释性

高度定制能力、减少成本

RAG的核心原理与工作流程解析

RAG应用流程

数据准备阶段

数据提取

文本分割

向量化（Embedding)

数据入库

检索生成阶段

问题向量化

数据检索

注入Prompt

LLM生成答案

RAG技术关键环节

数据检索

Prompt设计

RAG技术迭代

NaiveRAG→AdvancedRAG→ModularRAG

GraphRAG

知识图谱

GraphRAG原理与工作流

AgenticRAG

RAG使用效果评估

质量指标

上下文相关性、答案忠诚度、答案相关性

能力指标

噪声的鲁棒性、负面信息的排除能力、面对假设情况的健壮性

评估工具

RAGS评估、TruLens评估

RAG在AI对话系统中的应用

使用RAG提升对话系统的表现与智能化

结合检索与生成的实际案例分析

项目实战

案例1：QAnything+Chroma+LLM构建本地私有知识库问答系统

案例2：Dify + DeepSeek快速构建企业私有知识库/客服助手

案例3：RAGFlow+DeepSeek构建企业级知识库

5-大模型应用实战之Agent开发

认识智能体

智能体的定义与作用

智能体的基本架构与功能

规划（Planning）

记忆(Memory)

工具使用（Tools)

执行（Action）

工具调用：Funcation Calling

FunctionCalling的概念与应用

Function Calling简单理解

FunctionCalling的实现过程

跨系统与跨语言的FunctionCalling

FunctionCalling支持的国产模型介绍

如何实现不同模型、不同系统间的功能调用

Function Calling的优化

提升FunctionCalling的性能与稳定性

设计高效的FunctionCalling机制

多Function Calling的使用

工作流Workflow的搭建与使用

为什么我们需要工作流？

大模型应用工作流的关键要素解析

Agently Workflow的工作流要素图示

项目实战

案例1：一键生成学术论文

案例2：一键生成爆款视频

Agent系统

什么是多Agent?

AutoGen框架

MetaGPT框架

Multi-Agent会话

LangGraph框架

LangGraph基础使用

LangChain与langGraph的区别

LangGraph对象：图（节点、边、状态）的定义与使用

LangGraph进阶：检查点（记忆功能）与中断点（手动介入）

LangGraph工具：搜索引擎

LangGraph 调试：结合LangSmith查看Agent调用栈

LangGraph实践与延展

LangGraph Agent架构

基于LangGraph构建生产级的AI Agent

基于LangGraph构建Multi Agent（多智能体）

项目实战

案例1：基于LangGraph实现多轮对话聊天机器人

案例2：基于LangGraph构建企业级复杂多代理应用

项目实战

案例1：基于Dify快速构建智能体应用

案例2：数据分析助手

案例3：携程APP 智能体

案例4：基于LangChain Agent构建下一代AI助手

6-大模型微调

模型微调基础

模型微调的概念

模型微调的概念与意义

微调和 RAG 的关系

不同场景下微调的必要性

什么是训练/预训练/微调/轻量化微调

数据工程

数据采集与清洗

数据标注与增强

数据集划分

微调的核心流程

数据准备与清洗：选择高质量的数据集

微调技术要点：设置超参数、选择合适的训练方法

模型评估与验证：确保微调后模型的效果

微调框架的选择

pyTorch框架

张量的创建、索引、运算等操作

搭建神经网络，定义模型结构、前向传播、反向传播的流程

案例：基于 PyTorch 的模型构建与训练之手写数字识别

HuggingFace Transformers工具

unsloth 框架

unsloth 的开箱可用与高度可定制化

LLaMA-Factory 框架

DeepSpeed

大模型训练技术

分布式训练

数据并行与模型并行

梯度累积与同步

DeepSeed分布式训练/Llama Factory/Xtuner

混合精度训练

FP32与FP16混合使用

动态损失缩放

模型压缩与加速

剪枝技术

量化技术

知识蒸馏

微调技术与应用

微调策略

基于预训练模型的微调

基于特定数据集进行模型微调，包括数据准备、参数设置、训练过程

解决微调过程中过拟合、训练不收敛等常见问题的方法

轻量化微调技术详解

Prompt Tuning、P-Tuning、Prefix Tuning

LoRA、QLoRA

大模型微调实战篇

案例1：基于 LoRA 微调Qwen2 7B

案例2：基于 QLoRA 微调 Llama3 8B

案例3：基于 QLoRA 微调GLM4 9B

Huggingface模块开发实战

Huggingface 的安装和开发流程

掌握Huggingface库中各种API的调用

Huggingface工具集：批量编码，Loadding，评价指标，管道等

Transformer加载模型、数据集合预处理

项目实战

案例1：动手微调一个GPT

模型加载

数据加载

训练器

案例2：医疗问诊助手

基础应用：理解并应用大模型的微调与预训练

核心实操：定制化微调和预训练模型

优化技巧：提升微调与预训练的效率与效果

DeepSeek深度解析

DeepSeek的基础架构MoE深度解析

DeepSeek核心优势

DeepSeek-V3的关键技术解析

DeepSeek-R1的关键技术解析

Deepseek中的创新点分析

模型架构

训练数据优势

通俗理解模型蒸馏技术以及实现原理

蒸馏模型基本概述

蒸馏模型的变体与特征

详解Deepseek-r1的四阶段训练流程

训练目标

数据处理方式

模型参数调整策略

7-大模型实战工具

Ollama工具

Ollama定义与安装

如何调用私有大模型

云端部署（AWS、阿里云）、本地部署等模型部署流程与方法

Ollama Java or python Rest API-与模型对话

Dify Al 平台

Dify 定义与搭建

Dify本地部署与服务器部署

Dify 工作流构建以及工具调用

Dify导入外部知识库

项目实战

案例：如何搭建Al Agent

案例：搭建智能AI客服

Claude Al 工具

Claude注册和使用

Claude 模型与Claude API Key

Claude Function Calling原理与实现

实战项目-天气查询

Anthropic MCP

FunctionCalling vs MCP

Function calling 是如何工作的?

Function Calling企业级应用的关注点

如何使用FunctionCalling

MCP 概念、原理剖析与C/S架构

案例：多种MCP Servers部署与测试

案例：自定义MCP

AI代码编程工具-Cursor Al

Cursor的使用技巧

Cursor的调试技巧

快速开发自己的项目

Coze（扣子）平台

Coze的概述与注册

设置提示词

如何使用工作流

创建自己的插件

添加知识库：文本、表格、图片

创建并使用数据库

AIGC生成式大模型各类工具

生成简历，写小红书文案项目

Kimi+GPT4+文心一言+Gemini大模型实操对比

大模型辅导学生做数学题实操项目

小红书创造文案和抖音脚本创作和分镜头实操项目

短片小说创作爆款微头条项目

大模型进行AI画图

...

8-大模型项目实战

GPT大型智能翻译助手项目

大模型企业级方案设计

基于GPT-4o大模型+Langchain中间件

加载数据模块，AI模型加载模块，输出数据模块，可视化界面模块等

基于Gradio的Web界面，支持PDF,Word，MarkDown等各种文件格式

基于Transformer的NLP项目

Transformer模型，以及搭建机器翻译系统

Encoder-Decoder 架构与缩放点击注意力，实时语音和文字翻译模型

基于RAG贝壳网智能客服问答系统

GLM4-9B + Langchain中间件

Vector数据，相似检索

数据Split之后通过Embedding向量化

Gradia的UI界面，FastAPl接口，uvicorn服务器

京东客户购买意向预测项目

数据清洗，数据挖掘，数据探索，构建user信息

特征工程：数据处理维度，数据基本特征，用户类别，行为特征处理，构建数据集

Xsboots建模：数据加载，模型训练，特征重要性查看，算法预测验证数据，验证数据模型评估，测试数据模型评估

TEXT2SQL+Qwen3大模型项目实战

TEXT2SQL项目介绍

数据库连接以及langchain自带工具集学习

核心工作流开发：工作流规划-定义异步工作流-异步执行工作流

如何私有化部署最新Qwen3

MCP服务端开发

9. 前沿：多模态

多模态理论基础

多模态的最新进展

模态与多模态的概念

为什么需要多模态？通往AGI的必经之路

多模态技术应用领域

人机交互

多模态交互界面设计

多模态情感计算

智能安防

多模态身份认证

智能视频监控

医疗健康

远程医疗咨询

辅助诊断与治疗

智能教育

多模态学习资源

智能教学系统

大模型与计算机视觉

安防视觉识别模型原理

零件缺陷检测模型原理

医疗诊断识别模型原理

无人驾驶视觉模型原理

图像生成技术概述

扩散模型—Diffusion Model

基于Diffusion扩散模型的多模态模型

稳定扩散模型一StableDiffusion

多模态机器学习与典型任务

跨模态预训练

Language-Audio / Vision-Audio / Vision-Language

AffectComputing情感计算

多模态技术未来发展趋势

多模态的微调与优化

多模态模型的微调

迁移学习

零样本学习

多模态模型的优化

剪枝

量化

蒸馏

压缩

多模态模型的部署

本地私有化部署图文描述模型

本地私有化部署文生视频模型

选择模型打包格式

硬件加速方案

项目实战

案例1：基于 BLIP 的图生文

案例2：基于StableDiffusion的文生图

案例3：基于Llama-Vision的视觉问答

案例4：短视频脚本生成（GPT-4o+多模态提示）

案例5：医疗影像报告生成（BLIP+LLM）

10. 储备：系统开发

容器化技术：Docker、K8S

云计算平台：AWS、阿里云

微服务架构设计

11. 进阶：AI算法

Python数据分析

NumPy、Pandas、Matplotlib

机器学习

概念与工具

特征工程

模型评估&模型选择

监督学习算法

线性回归

逻辑回归

KNN近邻算法

其它监督学习算法

朴素贝叶斯

决策树

支持向量机

集成学习

无监督学习

聚类

K-means

高斯混合聚类

密度聚类

层次聚类

谱聚类

降维

主成分分析

奇异值分解

深度学习、神经网络与PyTorch开发

神经网络基础

传统机器学习与深度学习的发展

神经网络的定义和分类

神经网络基本概念

损失函数

数值微分

梯度计算

随机梯度下降法

PyTorch

PyTorch的安装

PyTorch中的张量

张量创建与数值计算

张量类型转换

张量拼接

张量索引

运算函数与自动微分模块

模型定义与保存加载

利用PyTorch进行深度学习

常见问题分析

深度学习常见模型1：卷积神经网络CNN

图像特征提取

目标检测

深度学习常见模型2：循环神经网络RNN

时间序列预测

自然语言处理NLP

NLP自然语言处理

NLP的概述

NLP的基本概念

NLP的两大核心任务：NLU/NLI、NLG

NLP 的工作原理

文本预处理

特征提取

文本分析

模型训练

文本是如何转换为数据的

语言模型 (N-Gram模型)

分词 - Tokenization

Word2Vec 模型

打造能识别文本情感的模型

详解语言模型与注意力机制

大模型关键技术解析

预训练

SFT (Supervised Fine-Tunning)

RLHF(Reinforcement Learning from Human Feedback)