llama2功能架构详解

RotaryEmbedding

detokenizer

RMSNorm

embedding tokens

转化成为token_id，n*vocab_size

token id转文本

embedding token投影回token id

01decoder层

INPUTtext

tokenizer

llama是decoder-only结构llama共用了32个Decoder层。

llama:MQA

llama Decoder Layer *32

llama2:GQA

lm_head

text