大模型参数
2025-02-18 15:47:42 3 举报AI智能生成
介绍了大模型的参数相关知识，并且介绍了如何计算大模型的大小以及计算显卡需求的方法
作者其他创作
大纲/内容
模型参数大小
模型的神经元数量，参数越多模型越强，显存需求越高<br>单位B（billion）<br>
llama
1,3,8,70,405
qwen
0.5,1.5,3,7,14,32,72
deepseek
1.5,7,8,14,32,70,671
浮点数（FP）<br>
模型计算时的数值精度，精度越高，计算结果越准确<br>主要用于模型训练过程中，训练完精度不再变化
精度规格
FP32<br>
标准训练精度，大模型训练最常用
参数大小：4字节/参数<br>
FP16
半精度浮点，减少内存占用和计算成本，损失结果质量
参数大小：2字节/参数<br>
BF16
bfloat16，类似FP16，更适合深度学习<br>
参数大小：2字节/参数<br>
FP8
8位浮点数，进一步压缩模型精度浮点，适合加速推理
参数大小：1字节/参数<br>
量化参数（Q）<br>
对模型权重和激活值进行数值压缩，减小体积节约显存，牺牲精度，影响智商<br>主要用于推理过程，同样配置，推理速度更快
量化类型
INT8
8位整数量化，将32或者16浮点转8位整数
参数大小：1字节/参数<br>
INT4
4位整数量化，最常用的量化方案
参数大小：0.5字节/参数<br>
INT2/INT1
极端压缩，仅适用于特殊应用
无论原始模型是FP32还是FP16，经过相同比特量化后，每个参数最终占用的存储空间是一样的，<br>这样做的目的是为了尽可能降低存储和显存的同时，保留一定推理精度
计算模型大小
模型大小=参数数量*每个参数字节<br>
1B=10亿参数--->FP32，4字节/参数<br>
10亿参数*4字节/参数=40亿字节<br>10亿字节=1GB，40亿字节=4GB<br>
显卡和模型大小的关系
显存大小=模型大小*1.2<br>
1B=4GB*1.2=4.8≈5GB<br>
DeepSeek14B模型=4GB*14=56GB*1.2=67.2GB，没有量化<br>
4INT量化<br>4-->0.5，缩小8倍<br>
56GB/8=7GB<br>+10%额外元数据<br>≈8GB<br>
8GB*1.2=9.6GB<br>
本地部署
1.5B-14B<br>
个人/中小企业<br>
32B-70B<br>
企业级硬件/云计算资源<br>
100B+<br>
大型服务器集群
0 条评论
下一页
