大模型

具有大规模参数和复杂计算结构的机器学习模型

概念

当模型的训练数据和参数不断扩大，大模型会比小模型多一种涌现能力

大小模型区别

大模型（Large Model）

超大模型

大语言模型（Large Language Model）

GPT 和ChatGPT都是基于Transformer架构的语言模型，主要解决一个问题

GPT

专注于对话和交互式对话，经过特定的训练，以更好地处理多轮对话和上下文理解。

chatCPT

相关概念区分

萌芽期（1950-2005）：以CNN为代表的传统神经网络模型阶段

探索沉淀期（2006-2019）：以Transformer为代表的全新神经网络模型阶段

迅猛发展期（2020-至今）：以GPT为代表的预训练大模型阶段

发展史

·巨大的规模· 涌现能力· 更好的性能和泛化能力· 多任务学习· 大数据训练· 强大的计算资源:· 迁移学习和预训练· 自监督学习· 领域知识融合

特点

NLP

CV

多模态大模型

分类

泛化：指一个模型在面对新的、未见过的数据时，能够正确理解和预测这些数据的能力

微调：给定预训练模型（Pre-trained model），基于模型进行微调

Feature augmentation

Fine-tuning

Transfer learning

微调的方法

泛化与微调

大模型