OpenAl公司推出GPT-3，模型参数规模1750亿，在零样本学习任务上实现了巨大性能提升
缺点：训练难度高
清华大学联合智谱Al发布GLM-130B
2024
深层CNN
卷积神经网络CNN
局部范围扩大，使用并行加速计算
隐马尔科夫HMM
缺点：特征选择受限、不能应用较长上下文本的特征
1
优点：解决ME计算复杂度高的问题
微软提出深度残差网络ResNet
2022年8月
最大马尔科夫MEMM
BERT模型和Transformer架构广泛应用
2005年
AlexNet为代表的新一代模型在规模和性能上超越传统方法
4
缺点：存在标注偏置
2019
· OpenAl发布GPT-1 (Decoder)· Google发布 BERT(Encoder)· 预训练大模型成为自 然语言处理领域的主流
循环神经网络RNN
AI大模型发展历程
AI大模型启动
2
2022年11月
重点关注文本序列特征
优点：解决HMM无法应用较长上下文特征的问题
缺点：计算复杂度高
多个地方政府出台相关支持政策，加快大模型产业的持续发展
条件随机场CRF
OpenAl发布了GPT-1模型
搭载GPT3.5的ChatGPT正式发布
最大熵ME
RLHF算法被提出
· GPT4正式发布，包含1.8万 亿参数，采用混合专家模型· 百度发布“文心一言”，国 内大模型研发热潮涌现
结构灵活但训练过程复杂
AI大模型商业化落地铺开
准备期
优点：最常用、有效的序列标注方法
充分利用文本全局特征
优点：解决了MEMM标注偏置的问题
长短期记忆单元：LSTM
百度发布ERNIE-GEN(large)模型
谷歌发表论文提出Transformer模型
优点：充分利用多种特征进行线性可分的二分类
2013年
AI大模型爆发式发展
中国发布的10亿以上参数大模型超过79个，“百模大战”态势初步形成
大模型爆发发布
百度ERNIE 2.0发布
自然语言处理模型Word2Vec诞生
学习长文本序列特征，避免长期依赖
GPU等硬件加速技术成为大模型训练的关键
2012年
只有遗忘门的LSTM：JANET
2020
异构图神经网络：RGCN
处理简单的同构图
2020年
· 国家人工智能标准化总体 组下设立大模型标准化专 题组，启动标准编制工作· 《生成式人工智能服务管 理暂行办法》公布
谷歌发布BERT预训练模型
简化但性能优于LSTM
2023
2017年
深度学习方法发展历程
传统机器学习方法发展历程
2021年成为超大规模预训练模型的爆发元年
迭代膨胀CNN：IDCNN
BERTology系列：RoBERTa
OpenAl发布GPT-3模型
微软发布BEiT-3 模型，标志多模态大模型时代到来
解决RNN梯度消失与梯度爆炸问题，更好避免长期依赖
不同节点个数和层数的NN
大模型快速迭代发展，广泛应用铺开商业化
OpenAl发布GPT-2模型
忽略无用特征，关注有用特征
2015
Google发布Meena模型
基于注意力机制的神经网络Transformer
同构图神经网络：GCN
2019年
Google提出Transformer架构，奠定了大模型预训练算法架构的基础
Transformer模型
span style=\
百度文心一言360智脑大模型智谱AI商汤日日新阿里通义千问昆仑万维天工讯飞星火认知百川智能华为盘古大模型京东言犀大模型抖音云雀大模型腾讯混元大模型
不同卷积窗口大小的CNN
简化LSTM模型结构
预训练：BERT
处理复杂的异构图，效果和表现更佳
在专业领域表现更佳
提取特征更显著
2023年3月
OpenAl公司推出GPT-2，模型参数规模15亿，Decoder技术路线优势显现
2022年3月
3
全连接神经网络NN
OpenAl GPU
百度发布ERNIE 2.0
中国大模型爆发式发布
2023年7月
更强的特征学习能力，具有可迁移性
图神经网络GNN
双向RNN：Bi-LSTM、Bi-GRU
权重数量少，易收敛和泛化
门控循环单元：GRU
5
稳定发展期
深度学习技术开始在图像和语音识别等领域取得突破性进展
支持向量机SVM
2022
中国AI大模型快速迭代发展，月之暗面备受关注，且在大模型长上下文窗口技术上取得突破，百度和阿里宣布加码长文本大模型赛道
2014
较单向RNN有更高拟合度
DeepMind的AphaFold2成功预测98%的人类蛋白质结构
AI4S进入基础设施建设期
2017
CNN为代表的传统神经网络模型占主导地位
2018
独立循环单元：IndRNN
2023年5月
2018年
2021
处理非欧式空间文本数据
Google推出 Switch Transformer 模型
