算法 | Bert模型结构
2023-08-24 21:27:51 5 举报
登录查看完整内容
BERT 的训练包含 pre-train 预训练和 fine-tune 微调两个阶段。pre-train 阶段模型是在无标注的标签数据上进行训练， fine-tune 阶段，BERT 模型首先是被 pre-train 模型参数初始化，然后所有的参数会用下游的有标注的数据进行训练。
作者其他创作
大纲/内容
[SEP]
...
Tok N
SQuAD
NER
MASK语言模型
Bert 模型结构
[CLS]
Tok M
Tok 1
① 预训练阶段（Pre-training）
BERT
开始/结束的位置
MNLI
② 微调阶段（Fine-Tuning）
段落
MASK后的句子 B
MASK后的句子 A
NSP任务
问题
（NSP：预测下一个句子）
0 条评论
回复 删除
下一页
