Qwen大语言模型
2024-06-06 10:03:35 11 举报
Qwen大语言模型是一种先进的自然语言处理模型,广泛应用于智能助手、文本生成、机器翻译等领域。它可以理解和生成人类语言,通过大规模的训练数据学习并模拟人类的语言模式。本流程图详细展示了Qwen模型训练时的数据格式,分别为input_ids, labels, attention_mask标签的构建,以及Qwen输入prompt模板。
作者其他创作
大纲/内容
nl_token
assistant_input_ids
user
im_end
system
assistant
attention mask
<|im_start|>assistant
pad_id
im_start
user_input_ids
system \ You are a helpful assistant.
labels
<|im_start|>user
ignore_id
input_ids
0 条评论
回复 删除
下一页