AI大模型算法&应用路线图
2025-10-21 22:49:39 0 举报
AI智能生成
AI大模型算法&应用路线图
作者其他创作
大纲/内容
第一阶段:Python --人工智能语言基础
1、Python入门
Python发展史
Python应用场景
Python开发环境搭建
2、PyCharm
PyCharm的安装、设置字体、设置快捷键
PyCharm常用设置、调试
3、Python基础知识
注释、变量以及数据类型
标识符和关键字
输入函数、输出函数
运算符
程序类型转换
4、分支和循环
if判断语句
if-else语句
while循环
for循环
break、continue
5、字符串和列表
字符串输入、字符串输出、下标和切片、字符串常见函数
列表(list)、列表的循环遍历、列表的增删改查、列表的嵌套、列表的切片
6、字典和元组
字典的增删改查、字典遍历
访问元组、修改元组、集合(set)
7、函数
函数定义、函数的类型、函数参数、函数返回值
函数嵌套
局部变量、全局变量
递归函数
匿名函数
8、文件操作
文件的打开与关闭
文件的读写
文件读写应用
9、面向对象(类和对象)
定义类
类的构成
类的__init__()方法
创建对象
理解self
10、面向对象(封装、继承、多态)
封装
私有方法、私有属性
__del__()方法
继承、多继承
多态
类属性、实例属性
静态方法和类方法
11、面向对象(设计模式)
单例模式
工厂模式
__new__方法
12、综合案例:愤怒的小鸟
13、异常
捕获异常
异常的传递
14、模块
模块中的__all__
模块制作
打包模块
模块安装与使用
15、深拷贝、浅拷贝、私有化
深拷贝案例
浅拷贝案例
进制
位运算
作用域
私有化
属性property
16、生成器、迭代器、闭包、装饰器、元类、垃圾回收、内建函数
17、网络编程
进程池
进程间通信
多线程
进程和线程区别
网络通信
端口
IP地址
socket
UDP、TCP、http
18、网络编程综合案例:企业级web框架starlette介绍及使用
19、正则表达:表示字符、表示数量、原始字符串、表示边界、匹配分组
20、综合案例:客户信息管理系统综合案例
第二阶段:数据结构与算法-- 人工智能的灵魂
什么是数据结构、数据结构分类、什么是算法、算法的分类、时间复杂度、空间复杂度
常用数据结构:数组、链表、栈、队列、哈希表、树、图
常用算法:查找算法、排序算法、分治算法、动态规划算法、回溯算法、贪心算法
力扣刷题
第三阶段:数据分析-- 这是数据驱动的时代
Linux基础&Shell
Linux环境准备:VM 安装、Linux 安装、VI 编辑器、软件包安装
Linux 常用命令:vim、cd、mkdir、chmod、chown、grep、echo、tail、more、touch、sudo、history、yum、systemctl、ln、ifconfig、hostname、ping、netstat、ps等
Shell:变量、运算符、条件判断、流程控制、系统函数&自定义函数、常用工具命令、常用正则表达式
MySQL
MySQL安装和使用、SQL语句、数据库操作、表操作、SQL约束、多表操作、开窗函数、案例
远程连接MySQL、Redis、Hive数据库
Numpy
Anaconda下载、安装、Ubuntu安装Anaconda、conda常用命令
Jupyter本地安装、PyCharm中集成Jupyter、使用远程JupyterServer、Jupyter快捷键
Numpy的属性、创建方式、数据类型、切片和索引、基本函数、统计函数、比较函数、排序函数、基本运算、去重函数、矩阵乘法
Pandas
Pandas数据结构-Series:创建、常用属性、常用方法、布尔索引、运算
Pandas数据结构-DataFrame:创建、常用属性、常用方法、布尔索引、运算、更改操作、数据的导入导出
Pandas日期数据处理:to_datetime()、Series.dt、to_period()
DataFrame:加载数据集、查看部分数据、分组聚合计算、基本绘图、常用统计值、常用排序算法;案例实操:员工薪资统计分析
Padas数据组合函数:concat连接、merge合并
Padas的缺失值处理函数:查看缺失值、剔除缺失值、填充缺失值
Padas的apply函数:Series使用apply()、DataFrame使用apply()、向量化函数
Padas的数据聚合、转换、过滤函数;Pandas透视表、案例实操:睡眠质量分析透视表;
Pandas时间序列:Pandas中的日期与时间、使用时间作为索引、生成时间序列
Matplotlib可视化、Pandas可视化、Seaborn可视化
综合案例:房地产市场洞察与价值评估
第四阶段:机器学习-- 智能时代的核心引擎
数学基础
高等数学:基本函数的导数、导数的求导法则、利用导数求极值、二阶导数、偏导数、梯度
线性代数:标量与向量、向量运算、向量范数、矩阵与张量、矩阵乘法、矩阵转置、矩阵的逆
概率论:均匀分布、伯努利分布、二项分布、正态分布、贝叶斯定理、极大似然估计
机器学习概述
机器学习概述:发展历程、应用领域、基本术语、算法分类、建模流程、特征工程
监督学习
KNN:算法思想、分类流程和实现、回归流程和实现、常见距离(欧氏、曼哈顿、切比雪夫、闵可夫斯基距离)度量方法、特征预处理归一化和标准化、API
KNN 案例和参数调优
线性回归:概念和分类、损失函数和求解方法(正规方程法、梯度下降算法)、模型评估(MAE/MSE/RMSE)、API
线性回归案例和正则化
逻辑回归:数学基础、原理、损失函数、混淆矩阵、精确率/召回率/F1-score分类评估、AUC指标、ROC曲线、API
逻辑回归案例
感知机:基本概念、激活函数、具体实现;逻辑电路和感知机的局限
其它监督学习算法:朴素贝叶斯、决策树、SVM、AdaBoost等简介
无监督学习
无监督学习:聚类算法简介、API使用、Kmeans原理、模型评估;SVD、LDA、PCA简介
特征选择和特征降维:基本概念介绍;低方差过滤法、相关过滤法、主成分分析(PCA)法
第五阶段:深度学习-- 让AI像人类一样思考
深度学习简介和Pytorch
什么是深度学习、深度学习应用场景、深度学习优缺点
Pytorch的安装、张量创建方法、张量的类型转换、张量的数值计算、张量运算函数、张量索引操作、张量形状操作、张量拼接操作、自动微分模块
案例:实现线性回归
神经网络
神经网络基础:多层感知机、激活函数、初始化方式、神经网络搭建
神经网络的学习:数据驱动、损失函数、梯度下降法、学习算法的实现
反向传播算法(核心算法):计算图、链式法则、算法原理、算法实现
学习方法的优化:参数更新、权重初始值、正则化、学习率衰减、梯度消失和梯度爆炸
神经网络案例:房价预测
卷积神经网络
CNN:图像基础、卷积层计算、池化层作用及分类、全连接层、API
CNN案例:服装分类
循环神经网络
RNN:词嵌入层作用及API、循环网络层原理及API
RNN案例:古诗生成
项目一:智图寻宝
1. 掌握卷积神经网络(CNN)进行图片特征提取。
2. 运用迁移学习。
3. 熟悉特征向量检索及相似度计算方法。
4. 能够进行大规模数据处理,如使用索引技术。
5. 熟练使用 PyTorch 框架构建、训练和优化模型。
6. 运用 Torchvision 处理图像相关任务。
7. 进行数据预处理与增强提升模型鲁棒性。
8. 结合工具进行大规模特征向量高效检索。
第六阶段:NLP自然语言处理-- 人工智能皇冠上的明珠
NLP核心
NLP技术演进:规则系统阶段、统计方法阶段、机器学习阶段、深度学习阶段
NLP英文分词:顶级分词、字符级分词、子词级分词
NLP中文分词:字符级分词、词级分词、子词级分词、 jieba分词器工具
词表示:One-hot编码、语义化词向量、 Word2Vec原理、Word2Vec案例实操
RNN:基础结构、多层结构、双向结构、多层+双向结构、API使用;案例实操:智能输入法;RNN存在问题;
LSTM:基础结构、多层结构、双向结构、多层+双向结构、API使用;案例实操:AI智评1.0;LSTM存在问题;
GRU:基础结构、多层结构、双向结构、多层+双向结构、API使用;案例实操:AI智评2.0;GRU存在问题;
Seq2Seq模型:编码器、解码器、模型训练、模型推理;案例实操:中英翻译1.0;Seq2Seq存在问题
Attention工作原理:相关性计算、注意力权重计算、上下文向量计算、解码信息融合
Attention注意力评分函数:点积评分、通用点积评分、拼接评分;案例实操:中英翻译2.0;Attention存在问题
Transformer模型结构详解:核心思想、整体结构、编码器、解码器
Transformer模型:模型训练、模型推理、API使用;案例实操:中英翻译3.0
预训练模型GPT:模型结构、预训练方式、微调方式
预训练模型BERT:模型结构、预训练方式、微调方式
预训练模型案例实操:AI智评3.0
项目二:智能发布
1. 熟悉 Transformer、BERT 等深度学习技术。
2. 掌握数据收集、清洗、标注及预处理方法。
3. 能使用 PyTorch 框架搭建、训练和微调模型。
4. 了解在线推理服务部署及批量数据处理。
5. 使用TensorBoard 可视化工具展示训练过程
6. 具备持续迭代和优化模型的能力。
项目三:项目实战之智选新闻
1. 掌握 Transformer 模型与 BERT 预训练模型应用。
2. 运用 PyTorch 框架构建、训练及部署模型。
3. 进行新闻数据收集、清洗、分词与编码。
4. 实现新闻分类、新闻摘要的模型微调。
5. 运用相应评估指标评估各任务模型性能。
6. 利用TensorBoard可视化模型训练及性能情况。
7. 封装模型为 API 服务并优化推理速度。
8. 展示分类新闻和新闻摘要内容。
项目四:智荐图谱
1. 掌握深度学习框架 PyTorch。
2. 熟悉 UIE模型。
3. 运用自然语言处理技术进行分词、命名实体识别等。
4. 了解多种数据库存储知识图谱及结构化数据。
5. 使用Neo4j存储图数据
6. 掌握协同过滤算法和深度学习推荐模型。
7. 能够进行数据采集、清洗和特征工程。
8. 构建知识图谱的实体识别、关系抽取和三元组生成。
9. 实现模型部署和提供推理服务。
项目五:项目实战之智医助手
1. 掌握 Transformer 和 BERT 等自然语言处理技术。
2. 运用 PyTorch 框架构建、训练及部署模型。
3. 进行医疗对话数据收集、清洗、标注与文本处理。
4. 实现意图识别、实体抽取、对话生成的模型微调。
5. 开发 API 接口并集成前后端应用。
6. 利用 TensorBoard 进行数据可视化与分析。
7. 构建医疗知识图谱与常见问题答疑库。
8. 确保数据安全与隐私保护。
9. 按阶段推进项目实施与持续维护更新。
项目六:项目实战之AI智教
1. 掌握 Transformer 和 BERT 模型应用。
2. 运用 PyTorch 框架构建、训练及部署模型。
3. 利用 Pandas、NumPy 进行数据处理与分析。
4. 进行多源学习数据收集、清洗、特征工程与编码。
5. 实现学习情况预测、情感分析等模型训练及优化。
6. 部署模型并提供稳定 API 接口与实时分析反馈。
7. 运用 TensorBoard 等工具生成可视化报告。
8. 遵循数据隐私法规处理敏感信息。
9. 按阶段推进项目实施及功能迭代。
第七阶段:大模型&多模态-- 国产大模型落地标配
大模型微调核心
GPT 系列模型核心原理讲解
LLaMA 系列模型核心原理详解
Qwen 系列模型核心原理讲解
大模型微调概述、核心要素、数据收集
大模型微调数据集处理、alpaca指令跟随格式、shareGPT多轮对话格式
大模型微调技术PEFT概述、promp-tuning介绍、p-tuning介绍、zero-shot、few-shot
大模型量化算法、LoRA微调、QLoRA微调
大模型全参数微调技术详解、DeepSpeed分布式训练
大模型训练环境搭建、微调代码详解、微调参数详解
大模型合并、打包,vllm高性能部署
大模型评估方法与评估指标分析
项目七:文本摘要
1、数据增强:结合合成数据生成与主动学习,用GPT生成大量带噪样本,提升模型对长文本、低资源语言的鲁棒性。
2、长文本优化:采用滑动窗口分块策略,结合Key-Value Memory缓存机制,实现超长文本网页摘要
3、生成控制:注入Prompt模板(如“重点总结优缺点”)与温度参数调节,精准控制摘要长度(50-200字)与信息密度
4、模型微调:使用LoRA微调,适配专业术语
5、实时推理:基于vLLM引擎部署,支持高并发,端到端低延迟
项目八:RAG项目
1. 环境搭建:配置多GPU服务器及安装必要的软件和驱动。
2. 数据处理:收集并清洗大规模语料,设计多样化的指令模板。
3. 检索模块:实现高效文本检索算法,设计上下文感知的检索策略
4. 模型微调:开发支持多模型和框架的微调代码,采用LoRA或全参数微调Qwen2.5。
5. RAG集成:将检索模块与生成模块集成,实现端到端的问答系统。
6. 性能评估:建立包含自动和人工评价的全面评估体系。
7. 部署与接口:将模型封装为服务,并设计安全的RESTful API接口。
8. 前端开发:使用主流前端框架构建用户交互界面,实现对话和配置功能。
项目九:智服在线
1. 环境搭建:配置多GPU服务器及安装必要的软件和驱动。
2. 数据处理:收集并清洗大规模语料,设计多样化的指令模板。
3. 模型微调:开发支持多模型和框架的微调代码,采用LoRA或全参数微调Qwen2.5。
4. 性能评估:建立包含自动和人工评价的全面评估体系。
5. 部署与接口:将模型封装为服务,并设计安全的RESTful API接口。
6. 前端开发:使用主流前端框架构建用户交互界面,实现对话和配置功能。
项目十:项目实战之保险反诈(三选一
1. 掌握大模型训练技术
2. 运用 PyTorch 框架构建和训练模型。
3. 进行数据采集、清洗和预处理。
4. 实施特征工程与降维。
5. 实现模型融合提升预测性能。
6. 部署模型为微服务提供 API。
7. 利用 Matplotlib 进行数据可视化。
8. 构建告警系统处理高风险请求。
项目十:项目实战之AI学情(三选一)
1. 掌握大模型训练技术
2. 运用 PyTorch 框架构建和训练模型。
3. 进行数据收集、清洗、预处理和特征工程。
4. 实现模型融合与优化。
5. 部署模型提供 API 接口进行实时预测。
6. 利用 TensorBoard 进行数据可视化展示。
7. 生成学习情况报告和个性化学习建议。
项目十:项目实战之智荐广告(三选一)
1. 掌握大模型训练技术
2. 运用 PyTorch 框架构建和训练模型。
3. 进行数据收集、清洗、预处理及特征工程。
4. 实现模型融合与优化。
5. 部署模型提供实时预测服务。
6. 利用 TensorBoard 进行数据可视化。
7. 展示个性化广告并生成报告。
多模态核心原理
多模态技术概述
Vit模型核心原理详解
CLIP模型核心原理详解
ALBEF模型核心原理详解
BLIP/BLIP-2模型核心原理详解
LLaVA模型核心原理详解
Qwen-VL模型核心原理详解
项目十一:多模图题
1. 掌握 Transformer 模型处理文本数据的应用。
2. 运用 Stable Diffusion 第三方 API 处理图像数据。
3. 利用 PyTorch 构建和训练模型。
4. 进行文本和图像数据的收集、清洗及预处理。
5. 实现文本与图像特征的提取及多模态融合。
6. 部署模型并提供 API 接口用于实时监控。
7. 运用 TensorBoard 进行数据可视化。
第八阶段:强化学习-- AI 决策优化的智慧钥匙
强化学习
强化学习基础理论:老虎机问题、马尔可夫决策过程、贝尔曼方程、动态规划法、蒙特卡罗方法、TD方法
深度强化学习:神经网络和Q学习、DQN、策略梯度法
基于强化学习微调大模型:A2C算法、PPO(近端策略优化)、RLHF(基于人类反馈的强化学习)
DeepSeek
DeepSeek理论:MLA、MoE、MTP、GRPO、奖励模型、CoT、模型蒸馏、训练过程
DeepSeek企业应用:本地部署、多卡联合部署、vLLM多卡推理、微调案例
思维链:如何从零复刻一个deepseek-r1模型
第九阶段:大模型应用 —— 智能时代的场景重构引擎
提示词工程
1、Prompt 在大模型应用中的重要性
2、Prompt设计的基本原则
3、指令模型 vs 推理模型的prompt的不同设计
4、复杂任务的多步骤Prompt设计
5、案例:爆款文案生成、简历指导、模拟面试
Agent 智能体与MCP
1、智能体的发展阶段、智能体的核心要素
2、个人知识库搭建
3、低阶智能体与高阶智能体的搭建(案例:个人生活助理、智能秘书等)
4、DeepResearch的应用 与 Manus的使用
5、MCP的C/S架构、Cursor中使用MCP、手动开发MCP、常用的十大MCP servers
项目十二:基于Coze构建智能Agent
案例1:复刻爆款视频
案例2:一键生成行业调研PPT
案例3:根据官方模版复刻应用
项目十三:Dify+Ollama +LLMs智能应用开发实战
1、云平台部署Docker、部署Dify、部署模型管理平台Ollama、Xinference
2、Dify部署企业级LLM、嵌入模型、重排序模型
3、Dify构建企业级Agent、RAG、Workflow
4、案例:智能对话机器人、智能面试官、智能旅游系统、智能客服
LangChain框架
1、LangChain框架概述、LangChain的安装与调用
2、Model I/O:Message、Prompt Template、Output Parsers、FunctionCaling
3、Chains:Chains的设计理念、SequentialChain、RouterChain
4、Memory:Memory模块的设计理念、如何自定义Memory模块、内置的Memory模块
5、Agents:基于LangChain的Agent抽象、自定义基于ReAct范式的Agents、使用LangChain定义的ReAct策略
6、Retrieval:Source 与 data loaders、Text Splitters、Text embedding models、vector store
项目十四:LangChain+LLM+Chroma+Gradio构建文档问答助手
1、项目介绍与核心流程
2、加载文档、切分文档、生成文本向量、向量数据库存储、问答链构建
项目十五:LangChain+DeepSeek构建对话机器人
1、项目介绍与核心流程
2、基础对话开发、记忆功能、工具调用、部署应用、性能调优
第十阶段:就业冲刺--大牛引路,冲击大厂,把握超级风口
就业面试题讲解
1、串讲所学的所有技术点。
2、串讲所有学过的项目。
3、对所有串讲的过的面试题和项目进行考试。
就业简历指导
1、简历指导、职业规划。
2、简历书写(Word、网上)
3、模拟面试。
0 条评论
下一页