<b>pre-training</b>预训练
MLM掩码语言模型
AR自回归模型
P（ABCD）=P(A)P(B|A)P(C|AB)P(D|ABC)
无监督目标函数
AE自编码模型
P（ABCD|AB[mask]D]）=P([mask]=c|ABD)
Bert Encoder<br>
Embedding
Token Embeddings
Segment Embeddings
Position Embeddings
MLM
采样：将句子中15%的词汇被随机mask
预测mask
Masked LM
further pre-training<br>
动态mask<br>
n-gram mask
NSP
预测两个句子是否应该连接一起
Next Sentence Prediction
采样：采样时，50%的概率将第二句句子随机替换为段落中的任意一句句子。<br>
Loss
输出：编码好的张量。形状为[ Batch Size, Seq lens, Emb dim]<br>
编码层
详细训练过程
word2vec
<ol><li>弊端：不同语境下有表达歧义预训练好的 向量不会发生改变</li></ol>
衍生模型
RoBerta<br>
动态掩码（MASK )<br>相对静态掩码的改进就是不重复看数据。
取消NSP代之DOC SENTENCES<br>而是每次输入连续的多个句子，都从一个文章中获得，而原来的Bert每次只输入两个句子。实验表明在MNLI这种推断句子关系的任务上RoBERTa也能有更好性能。
数据集放大再放大再放大，训练时间更久<br>原本的BERTbase的batch size是256，训练1M个steps。RoBERTa的batch size为8k。
文本编码<br>Byte-Pair Encoding (BPE）是字符级和词级别表征的混合，支持处理自然语言语料库中的众多常见词汇。
全词MASK
ERNIE
Whole Word Masking
AlBert
该模型提出了两种减少内存的方法，同时提升了训练速度，其次改进了BERT中的NSP的预训练任务。<br>
词嵌入向量参数的因式分解Factorized embedding parameterizationO(V* H) to o(V*E+E*H)<br>
跨层参数共享Cross-Layer Parameter Sharing<br>
参数共享能显著减少参数。共享可以分为全连接层、注意力层的参数共享,ALBERT结合了上述两种方案，全连接层与attention层都进行参数共享<br>
段落连续性任务Inter-sentence coherence loss.<br>
