AI学习路线（大连赵哥）思维导图模板_ProcessOn思维导图、流程图

大模型快速入门

2026大模型岗位能力模型

大模型岗位能力关系

热门大模型

从Transformer到MOE

从DeepSeek-V3到DeepSeek-R1

从语言大模型到多模态大模型

提示工程方法

提示工程

Zero-Shot

One-Shot

Few-Shot

CoT

图解CoT原理

ToT、GoT、XoT等衍生方法

CoT的应用技巧

CoT在多模态领域的应用

Prompt的设计原则

一个好的prompt长什么样

优化Prompt的技巧

RAG基本概念与实现

RAG相关原理介绍

上下文会话窗口成因与局限

向量化与Embedding模型介绍

向量数据库介绍

RAG技术基本概念

知识检索

数据源

检索策略

检索粒度

检索效率

检索方法

文本增强

文本修正

知识融合

上下文增强

内容生成

控制生成

对话生成

评估生成

RAG从零到一实现流程详解

数据提取

文本切分

向量化

向量存储

知识检索

提示注入

生成回复

上下文工程

上下文工程诞生的原因

上下文结构设计

缓存与记忆策略设计

工具管理机制设计

日志系统设计

大模型部署、推理、加速、会话

LLM个人本地部署方案

Xinference

Ollama

LLM多并发企业级应用部署方案-vLLM

大模型的推理原理

大模型推理-KV Cache

KV Cache的瓶颈

PagedAttention如何解决掉了KV Cache的瓶颈

大模型量化、混合推理

模型量化

为什么要做模型量化

模型推理使用显存的计算方法

量化前后推理资源消耗的对比

模型量化的主流方法

训练过程中量化

训练后量化

主流量化工具

Llama.cpp

unsloth

混合推理

KTransformer

任务拆分

任务卸载

模型训练

神经网络基础

模型的预训练

模型后训练

实战

环境构建

WSL安装、Anaconda安装、

CUDA、Cudnn安装

Python安装、Pytorch安装

Docker Engine、Docker Compose安装

从0构建RAG系统

Ollama、vLLM的安装部署使用

使用模型进行推理观测不同提示词的效果

简单的工作流平台使用

Coze平台的使用

Dify平台的使用

人工智能中的数学

线性代数

向量及向量计算

向量的运算

正交向量

矩阵及矩阵计算

矩阵与向量

矩阵相等

方阵

负矩阵、上三角矩阵、下三角矩阵

对角矩阵

单位矩阵

零矩阵

矩阵的加减法

矩阵与数的乘法

结合律

结合律

矩阵与向量的乘法

矩阵的转置

方阵行列式

代数余子式

伴随矩阵

方阵的逆

矩阵的初等变换

一、消元法解线性方程组

二、矩阵的初等变换

三、行阶梯形矩阵

子主题

系数矩阵

正交矩阵

对称矩阵

线性方程组

定理

求解齐次线性方程组

求解非齐次线性方程组

两个基本定理

非齐次方程组解的结构定理

特征值和特征向量

特征值和特征向量求解

特征值和特征向量求解 2

特征值的性质

可对角化矩阵

正定矩阵

奇异矩阵

向量的导数

标量对向量的导数

标量对方阵的导数

最小二乘

子主题

微积分

函数

常见函数

反函数

复合函数

基本初等函数

幂函数(Power Function)

指数函数 (Exponential Function)

对数函数 (Logarithmic Function)

三角函数 (Trigonometric Function)

正弦函数

余弦函数

正切函数

余切函数

正割函数

余割函数

反三角函数(Anti-Trigonometric Function)

反正弦函数

反余弦函数

反正切函数

反余切函数

导数

引例1 变速直线运动的速度

引例2 曲线的切线斜率

导数的定义

常数和基本初等函数的导数公式

函数的和、差、积、商的求导法则

反函数的求导法则

复合函数求导法则

高阶导数

导数的应用1：函数单调性

曲线的凹凸性

导数的应用2 函数的极值与最值

极值存在的第一充分条件

极值存在的第二充分条件

求极值的步骤

函数的最大值、最小值问题

导数应用3 Taylor公式

Taylor公式

麦克劳林公式

几个常见的初等函数的带有佩亚诺余项的麦克劳林公式

Taylor公式-余项

Taylor公式应用1

Taylor公式应用2

极限

极限思想

考察数列

初步推断

极限的语言

用定义证明数列极限的证明思路

收敛数列的性质

函数的极限

左极限与右极限（单侧极限）

极限的几何解释

函数极限的性质

极限存在的两个准则

准则I （两边夹）

准则II ：单调有界数列必有极限。

两个重要极限

第一个重要极限

第二个重要极限

多元函数的极限

多元函数的概念

二元函数的定义

二元函数的图形

多元函数偏导数

高阶偏导数

线性代数（补充知识）

向量

向量的运算

方向导数

梯度(gradient)的概念及计算

方向导数公式

梯度定义

概率论和数理统计

排列数

组合数

古典概率

联合概率

条件概率

全概率公式

贝叶斯公式

概率公式

事件的独立性

随机变量

离散型随机变量及其分布律

一、离散型随机变量的分布律与性质

1)离散型随机变量的定义

2)离散型随机变量的分布律

3)离散型随机变量分布律的性质

二、一些常用的离散型随机变量

1) Bernoulli分布

Bernoulli分布的概率背景

2）二项分布

二项分布的概率背景

二项分布的分布形态

3）Poisson 分布

Poisson 分布的应用

Poisson 定理

Poisson定理的应用

4）几何分布

几何分布的概率背景

5）超几何分布

超几何分布的概率背景

连续型随机变量及其概率密度

1) 均匀分布

密度函数的验证

均匀分布的概率背景

2)指数分布

指数分布的分布函数

3)正态分布

标准正态分布

正态分布密度函数的图形性质

正态分布的重要性

标准正态分布的计算

一般正态分布的计算

不定积分

不定积分的性质

基本积分表

期望

连续性

离散型

方差

常见分布

两点分布

二项分布

泊松分布

均匀分布

指数分布

正态分布

标准差

协方差

协方差矩阵

协方差的上界

Pearson相关系数

中心矩、原点矩

峰度

偏度

切比雪夫不等式/切比雪夫定理

大数定律

中心极限定理

参数估计

一、点估计

二、矩估计

极大似然估计法

极大似然原理

对数似然函数

连续型总体似然函数的求法

机器学习-深度学习

机器学习

机器学习概述

机器学习理性认识

机器学习概念

机器学习概念性含义

机器学习、数据分析、数据挖掘区别与联系

机器学习分类

有监督学习

无监督学习

半监督学习

机器学习分类2

分类

聚类

回归

关联规则

机器学习、人工智能和深度学习的关系

数据清洗和转换

数据过滤

处理数据缺失

处理可能的异常、错误或者异常值

合并多个数据源数据

数据汇总

类型特征转换之1-of-k(哑编码)

文本数据抽取

模型训练及测试

混淆矩阵

模型评估

回归算法

什么是回归算法

线性回归

回归算法理性认知

线性回归、最大似然估计及二乘法

似然函数

对数似然、目标函数及最小二乘

最小二乘法的参数最优解

目标函数(loss/cost function)

线性回归的过拟合

过拟合和正则项

Ridge回归

LASSO回归

Ridge(L2-norm)和LASSO(L1-norm)比较

模型效果判断

MSE：误差平方和

RMSE：MSE的平方根

R2：取值范围(负无穷,1]，

TSS：总平方和TSS(Total Sum of Squares)

RSS：残差平方和RSS

机器学习调参

梯度下降算法

批量梯度下降算法(BGD)

随机梯度下降算法(SGD)

BGD和SGD算法比较

小批量梯度下降法(MBGD)

线性回归总结

局部加权回归-直观理解

局部加权回归-损失函数

Logistic回归

sigmoid函数

Logistic回归及似然函数

最大似然/极大似然函数的随机梯度

极大似然估计与Logistic回归损失函数

Softmax回归

Softmax算法原理

Softmax算法损失函数

Softmax算法梯度下降法求解

SVM支持向量机

梯度下降法

有约束的最优化问题

拉格朗日乘子法

拉格朗日乘子法理解

对偶问题

KKT条件

KKT条件理解

高中距离知识回顾

感知器模型

线性可分SVM

线性可分SVM算法流程

SVM的软间隔模型

SVM的软间隔模型算法流程

SVM的软间隔模型总结

多项式回归回顾

非线性可分SVM

核函数

深度学习

深度学习概述

深度学习的应用

机器学习回顾

神经网络来源之人的思考

感知器模型

多层感知器(人工神经网络)

感知器神经元直观理解之逻辑与

感知器神经元直观理解之逻辑或

感知器神经元直观理解之非线性可分

感知器网络理解以及S型神经元

神经网络来源之“神经元”

神经网络之传递函数(激活函数)

sigmoid

tanh

神经网络之结构

神经网络之浅层神经网络

神经网络之深度神经网络

神经网络之过拟合

神经网络之BP算法

神经网络之SGD

RBF神经网络

径向基（RBF）网络的原理

RBF和BP神经网络

神经网络之DNN问题

梯度消失

梯度爆炸

卷积神经网络（CNN）

神经网络之结构

卷积神经网络

卷积神经网络层级结构

卷积神经网络-主要层次

卷积神经网络-Input Layer

卷积神经网络-卷积理解

卷积神经网络-CONV Layer

卷积神经网络-ReLU Layer

卷积神经网络-Pooling Layer

卷积神经网络-FC

卷积神经网络-Batch Normalization Layer

卷积神经网络正则化和Dropout

卷积神经网络训练算法

池化层误差反向传播

数据增强（Data augmentation）

梯度下降

深度学习超参数

深度学习训练过程

NIN模型

Inception结构

ResNet结构

循环神经网络（RNN）

递归神经网络(RNN)

递归神经网络RNN-应用场景

递归神经网络RNN-结构

递归神经网络RNN正向传播阶段

递归神经网络RNN反向传播阶段

循环神经网络RNN-BPTT

循环神经网络RNN-Bidirectional RNN

循环神经网络RNN-Deep(Bidirectional) RNN

递归神经网络变形之LSTM

seq2seq模型

大模型原理与技术概要

大模型结构

LLM结果全景

输入层:子主题

多层Decoder堆叠:自注意力机制、位置编码、前馈网络、归一化、残差链接

输出层

自回归式生成过程

输入层

分词

词表查询

向量表查询

向量返回

输入Decoder层

输出层

输入隐藏层状态

语言模型头

最终Logits提取

概率分布转换

解码

大模型训练及扩展规律认知

预训练

训练数据收集

数据清洗与配比

自监督训练

中期训练及退火

后训练

收集指令数据

监督微调

拒绝采样微调

基于RLHF和DPO的对齐训练

特定能力的增强

深度思考能力训练

从预训练到后训练再到基于强化学习的微调及模型蒸馏

从零到DeepSeek-V3再到DeepSeek-R1

SFT

微调技术分类

全残微调和部分参数微调

LoRA

LoRA衍生：AdaLoRA、QLoRA、PiSSA

基于Prompt的微调：Prefix-Tuning、Prompt Tuning、P-Tuning

Adapter Tuning

微调技术对比

如何选择微调技术

SFT原理深入解析

SFT数据集与ChatML格式化

Logits与Token噶率计算

SFT中的Label

SFT中的Loss

LogProbs与LogSoftmax

指令收集和处理

收集指令的渠道和方法

指令处理

数据预处理及常用工具

SFT实践指南

如何缓解SFT引入的幻觉

Token级Batch Size的换算

Batch Size与学习率的Scaling Law

SFT的7个实践技巧

DPO

DPO的核心思想

DPO出现的背景与意义

隐式的奖励模型

Loss和优化目标

偏好数据集的构建

构建流程全景

Prompt的收集

数据对的清洗

封装和预处理

实战-使用LoRA框架进行模型指令微调

数据集的分类

如何构建Qwen3大模型指令数微调据集

构建微调环境

加载模型权重文件

加载微调数据集

启动微调

模型能力评估

模型保存与部署

模型推理加速

实战-基于DPO进行人类偏好对齐

如何构建Qwen3大模型偏好微调据集

构建微调环境

加载模型权重文件

加载微调数据集

启动微调

模型能力评估

模型保存与部署

模型推理加速

RAG基本概念与实现

RAG相关原理介绍

上下文会话窗口成因与局限

向量化与Embedding模型介绍

向量数据库介绍

RAG技术基本概念

知识检索

数据源

检索策略

检索粒度

检索效率

检索方法

文本增强

文本修正

知识融合

上下文增强

内容生成

控制生成

对话生成

评估生成

RAG从零到一实现流程详解

数据提取

文本切分

向量化

向量存储

知识检索

提示注入

生成回复

RAG评估优化

RAG系统评估

质量指标

上下文相关性

大安忠实度

答案相关性

能力指标

噪声鲁棒性

信息整合能力

假设鲁棒性

评估工具

RAG AS

RAG系统优化

检索前

改善数据细节度

优化索引结构

添加元数据

检索中

混合检索

微调Embedding Model

检索后

结果重排

信息压缩

知识融合

实战-从零搭建企业级RAG引擎

RAG引擎创建流程

企业级RAG应用基础组件

RAG源数据预处理

构建离线知识库

大规模数据检索与问答

Native RAG所存在问题

RAG引擎评估流程

评估数据集创建

RAGAS链路

检索方法优化

加入Reranker

自定义评估Pipline

Agent企业级开发框架

LangChain&LangGraph

核心基础层（Core Foundation）

langchain-core

基础抽象层

包含聊天模型

嵌入模型

向量存储的核心接口

Runnable接口

统一的组件执行标准（invoke、batch、stream、ainvoke）

消息抽象

HumanMessage

AIMessage

SystemMessage

ToolMessage的标准化

组合编排层（Composition Layer）

LCEL（LangChain Expression Language）

声明式链式编程语言

使用管道操作符（|）

Chains

预定义的组件组合模式

Memory管理

对话上下文的多种存储策略（buffer、summary、entity-based）

智能执行层（Intelligence Layer）

Agents

动态决策和行动序列生成

Tools

外部功能集成的标准化接口（BaseTool）

Retrieval

RAG实现

包含文档加载器

文本分割器

向量检索

生产部署层（Production Layer）

LangGraph

多智能体编排和状态管理框架

LangSmith

可观测性和评估平台

LangServe

REST API部署工具

Integration Packages

700+第三方集成（langchain-openai、langchain-anthropic等）

MCP（Model Context Protocol）

MCP概述

MCP的起源与目标

MCP的提出背景

MCP解决的问题与目标

MCP与其他协议的比较

子主题

上下文管理与传输机制

MCP中的Prompt处理与管理

资源与工具集成

子主题

Client端与Server端

通信协议与数据格式

能力协商与版本控制

子主题

在LLM应用中的典型使用场景

与现有大模型集成

MCP的基本开发流程总结

MCP与LLM的集成

MCP在LLM应用中的角色

MCP如何增强LLM的上下文理解

MCP对LLM输入/输出的影响

MCP在多模态交互中的应用

MCP与LLM的通信流程

MCP请求与响应的处理流程

错误处理与异常恢复机制

数据同步一致性保证

提示词与资源的管理

提示词模板的创建与维护

资源的注册与访问控制

动态资源加载与更新

MCP的详细解析

MCP的消息格式与通信协议

JSON-RPC在MCP中的应用

消息的结构与字段定义

请求与响应的匹配机制

生命周期与状态管理

会话的建立与终止流程

状态维护与同步

超时与重试机制

版本控制与能力协商

协议版本的管理与兼容性

Client端与Server端的能力声明

MCP开发环境与工具链

开发环境的搭建

必要的系统要求与依赖

开发工具与IDE的选择与配置

版本控制与协作开发流程

MCP的SDK使用

SDK的安装与初始化

核心API的介绍与使用示例

SDK的扩展与自定义开发

调试与测试工具

常用调试方法与技巧

单元测试与集成测试用例编写

MCP服务端的开发与部署

MCP服务端的架构设计

服务端的核心组件与模块

MCP服务端的路由机制

多场景并发处理

服务端的部署与运维

部署环境的选择与配置

监控与日志的收集与分析

故障排查与系统恢复策略

安全性与权限管理

身份验证与授权机制

安全认证与访问日志分析

工具与接口集成

工具

工具接口的语义定义

工具方法与参数的绑定规则

基于Slot的工具上下文

工具调用与响应流程

ToolCall语法与执行路径

工具执行结果的封装与返回

并/串行工具调用

Tool套件与插件系统

工具复用模块的组织方式

动态加载和模块热更新

插件化开发接口标准

MCP驱动的智能体系统开发

智能体的基本架构

MAS

智能体的职责分工与上下文边界

智能体状态管理与调度

MCP中的智能体上下文模型

Per-Agent Slot配置策略

多智能体之间的上下文共享

智能体行为与上下文依赖分析

任务编排与决策机制

任务Slot调度模型

意图识别与计划生成

状态驱动任务流

智能体交互与协同机制

A2A消息协议

跨Agent的上下文协同Slot绑定

基于MCP的Agent生态构建思路

MCP与检索增强生成系统的结合

RAG技术基础

基于Embedding的语义检索

向量数据库的选型与接入

检索->选择->生成链路解析

Knowledge Slot与语义融合机制

RAG上下文在MCP中的Slot设计

检索内容结构化与多段注入

多来源知识融合与上下文消歧

文档型知识集成实战

企业文档切片与段落索引构建

高可用文档管理与更新策略

多场景MCP工程实战剖析及发展趋势分析

实战项目剖析

客服助手系统中的MCP应用

面相金融行业的问题系统实现

工作流平台的MCP落地方案

部署模式与架构模式对比

单体应用VS微服务部署

云原生环境中的部署优化（K8s-Serverless）

多用户与多租户上下文隔离架构

性能调优与上下文压缩策略

Token Cost预估与优化策略

Prompt压缩算法与Slot融合算法

MCP的发展趋势及生态开发构建

协议标准化与开源生态构建

与LangChain等生态的集成

像多模态与跨领域智能体演进