嵌入层：将输入的分词ID转换为密集向量，包括词嵌入和位置嵌入。 参数：- d_model或 embed_dim（嵌入维度）：如 512, 768, 1024 等。该维度也是模型的主体维度。位置编码可使用正弦曲线或可学习参数（use_learnable_pos_emb）。
解码器层堆叠：模型深度的体现，是核心计算单元。 参数：- depth或 num_layers（层数）：如 12, 24, 96 层。层数越多，模型越“深”，表达能力越强，但计算成本也越高。
1.掩码多头自注意力机制：让模型在生成当前词时，只能关注到之前的词。多头机制使模型能从不同子空间学习信息。 参数 : - nhead或 num_heads（注意力头数）：如 12, 16。
2.前馈神经网络：对注意力输出进行非线性变换，通常是两层线性层中间加激活函数 参数：- dim_feedforward或 mlp_ratio：FFN隐藏层的维度。例如，mlp_ratio=4且 d_model=768，则FFN中间层维度为 768 * 4=3072。
3.层归一化：缓解梯度消失/爆炸。
参数：- norm_layer：指定归一化层，如 LayerNorm
4.残差：缓解梯度消失/爆炸
5.激活函数：RELU\GELU\SIGMOID...... 作用：引入非线性层，让神经网络能够学习复杂模式
6.优化器: Adam\SGD...... 作用:它通过梯度下降算法调整网络参数以最小化损失函数。 参数:学习率（lr）、权重衰减（weight_decay）、批次（batch）......
......
输出层：一个线性层，将最终的状态向量映射到词表大小的逻辑值，再经过Softmax转换为概率分布。 参数：输出维度等于词表大小（Vocabulary Size），通常为数万到数十万
一个模型参数量估算的简化示例：
参数量主要来源于词嵌入、注意力层和FFN层。对于一个约1.3B（13亿）参数的模型，其典型配置可能是：depth=24, d_model=1024, nhead=16, mlp_ratio=4。
