算法 - LLM, NLP

I want to go to swimming today.

We need to give our love and time to our lover.

to

in

on

介词

I remenber you like it very much.

it

item

...

代词

we need to cut our hair and take a shower tonight.

and

or

连接词

弱读

Amazon

That is a amazing job we done.

amazing

They took active steps to prevent the spread of the disease.

prevent

重读

Sometimes i find i have interest in building project.

project

[p]

a person's family/social/cultural/educational/class background

background

[b]

taking

[t]

[d]

[j]

Please write your activity in front blackbord.

[k]

爆破音

What is the current thinking on this question?

thinking

[θ]

[θ][ ð]

[θ][ ð][s]

[ ʃ]

[ ʒ ]

摩擦音

强读

清辅音

浊辅音

浊化

辅音元音

元音元音

连续

A situation in which sth is happening or a lot of things are being done

activity

tivity

usable

able

possibility

bility

ment

end

ity

ther

middle

annc

regu

pre

n. adj.

proceed  v.前往；进行

progress v.进步 n.进步

前缀pro-向前

前缀pre-悠闲

exceed  v.超越，超过

access  v.到达，进入； n.通道

st

v.

发音，词汇

Transformer是一种基于注意力机制的深度学习模型，最初由Google提出用于自然语言处理任务。

概念

编码器由多个相同的层堆叠而成，每个层包括两个子层：多头自注意力机制（Multi-Head Self-Attention）：通过计算输入序列中每个位置的注意力权重，使模型能够关注输入序列中不同位置之间的依赖关系。前馈神经网络（Feed-Forward Neural Network）：对每个位置的隐藏表示进行线性变换和激活函数处理，从而学习位置之间的非线性关系。

编码器（Encoder）

多头自注意力机制（Multi-Head Self-Attention）：与编码器中的自注意力机制类似，但在解码器中需要避免未来信息泄露编码器-解码器注意力机制（Encoder-Decoder Attention）：将编码器的输出作为查询向量，解码器的自注意力输出作为键值对，计算解码器每个位置对编码器输出的注意力权重。前馈神经网络（Feed-Forward Neural Network）：与编码器中的前馈神经网络相同。

解码器（Decoder）

结构

分析介绍

Transformer

ELOM

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构双向encoder的预训练语言模型

双向性：BERT是一种双向的语言模型，能够同时考虑上下文信息，从而更好地理解句子的语义和语境。

预训练：BERT是通过大规模的无监督预训练来学习语言表示，可以在各种自然语言处理任务上进行微调，从而提高模型的性能。

多任务学习：BERT可以同时处理多个自然语言处理任务，如文本分类、命名实体识别、问答等，具有很强的泛化能力。

可解释性：由于BERT是基于Transformer模型的，可以通过注意力机制来解释模型的预测结果，帮助理解模型的决策过程。

特点

BERT的原理主要包括两个关键点：Transformer架构下预训练-微调策略。Transformer是一种基于自注意力机制的深度学习模型，能够捕捉输入序列中的全局依赖关系，同时避免了传统的循环神经网络和卷积神经网络中存在的长距离依赖问题。

在预训练阶段，BERT使用大规模的未标记文本数据进行自监督学习，通过遮蔽语言模型（Masked Language Model，MLM）和下一句预测（Next Sentence Prediction，NSP）任务来学习文本表示。

在微调阶段，BERT将预训练好的模型参数Fine-tuning到特定的下游任务上，通过少量标记数据进行有监督学习，从而适应不同的NLP任务。

架构

BERT

主要api

OPAI GPT

主要api的变化

AZURE GPT

多种llm库桥梁

LangChain