Mask LM根据上下文去预测这些mask掉的字
self-attention：softmax(q*k^T/根号dk)*vdk是维度，除以根号dk是为了使得attention的权重分布方差为1
ernie
12层transformer的encoder部分
roberta
两层layerNorm
网络结构
两层Linear以及在第一层加入了ReLu激活函数，用于向下传播
选择15%的句子作为待mask句子
BERT
XLNET
1个feed forward
目的是让模型理解两个句子之间的联系。使得模型能够解决QA和NLI之类的任务
每个head分别做self-attention，每个head是由不同的linear映射来的
①用更多的数据，更大的batchsize，更久地训练模型②RoBERTa去掉了NSP任务，使用FULL-SENTENCES训练方式。每次输入连续的多个句子，直到最大长度512。③用更长的序列进行预测④动态改变应用于训练数据的覆盖模式
这其中80%用[mask]替换，10%随机替换一个其他字，10%不替换
与BERT最大的不同在于覆盖策略上：①基础级的masking②短语级的masking③实体级的masking
Batch Normalization 是对这批样本的同一维度特征做归一化， Layer Normalization 是对这单个样本的所有维度特征做归一化。BN、LN可以看作横向和纵向的区别。BatchNorm就是通过对batch size这个维度归一化来让分布稳定下来。LayerNorm则是通过对Hidden size这个维度归一。
hidden(32 x 512 x 768) -> query(32 x 512 x 768) -> 32 x 12 x 512 x 64hidden(32 x 512 x 768) -> key(32 x 512 x 768) -> 32 x 12 x 512 x 64hidden(32 x 512 x 768) -> val(32 x 512 x 768) -> 32 x 12 x 512 x 64三个矩阵，12个head（multi-head）
Albert
常见变体
它不在输入时进行mask操作，而是在做attention时在相应的位置做掩码操作。
每个transformer encoder结构
NEXT SENTENCE判断两个句子是否在文章中互为上下句。50%的概率sentence2是sentence1的下文，50%的概率不是
预训练任务
1个multi-head attition
ALBERT主要是轻量。用了两个方法减少参数量：①分解嵌入参数化②跨层参数共享参数量比bert小了18倍
