AGI阶段|Key绿多巴胺配色

AGI阶段药画师：Key洁莹

以下为本图要点，部分敏感内容已作隐藏处理。如有疑问请联系@Key洁莹。感谢你的支持与指教。

备注

自2010年初深度学习问世以来，人工智能进入到第三次高潮。

背景

最初用来完成不同语言之间的文本翻译任务

一种基于自注意力机制的神经网络模型

负责对语言文本进行编码

基于Encoder的BERT家族

Encoder部分

将编码信息转换为目标语言文本

基于Decoder部分的GPT家族

Decoder部分

包含

Transformer

1.上下文感知：BERT能够理解句子中的上下文信息，从而更好地理解词语的含义和句子的语义。

2.预训练模型：BERT是通过大规模的无监督预训练来学习语言模型，使得它具有广泛的适应性和泛化能力。

3.双向训练：BERT使用了双向训练，能够同时考虑到前后文的信息，从而更好地捕捉词语之间的关系。

4.预训练任务：BERT使用了两个预训练任务，即“遮蔽语言模型”和“下一句预测”，这有助于模型更好地理解语言结构和上下文关系。

优点：

1.计算资源需求高：BERT的模型规模较大，需要大量的计算资源和时间来进行训练和推理。

2.预训练和微调：BERT需要进行两个阶段的训练，即预训练和微调，这增加了使用BERT的复杂性。

3.词汇表限制：BERT的词汇表是固定的，可能无法覆盖特定领域或专业术语。

缺点：

1.\"BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding\

2.\"BERTExplained:ACompleteGuidewithTheoryandTutorial\"-ChrisMcCormick

3.\"BERT:UnderstandingandFine-Tuning\

参考资料：

谷歌的BERT是什么？有什么优点和缺点？

ERNIE是百度公司研发的一种基于Transformer模型的预训练语言表示模型。

1.多种任务适应能力：ERNIE可以在多种自然语言处理任务中进行迁移学习，如文本分类、问答系统等。

2.上下文理解能力：ERNIE能够理解句子中的上下文信息，有助于提升语义理解和生成的质量。

3.大规模语料预训练：ERNIE使用海量的互联网文本进行预训练，提升了模型的泛化能力和语义理解能力。

1.训练时间长：ERNIE的预训练过程需要大量的计算资源和时间，训练时间较长。

2.模型复杂度高：ERNIE模型相对较大，需要较高的计算资源和存储空间。

3.预训练语料限制：ERNIE的预训练语料主要来自互联网，存在一定的噪声和偏差。输出结果：百度的ERNIE是什么

百度的ERNIE是什么？有什么优点和缺点？

RoBERTa是一种基于Transformer架构的预训练语言模型，由FacebookAI研究院开发。它是对BERT模型的改进和优化。

1.更大规模的训练数据：RoBERTa使用了更多的数据进行预训练，包括大量的无标签数据，使得模型的泛化能力更强。

2.更长的训练时间：RoBERTa相对于BERT进行了更长时间的预训练，使得模型能够更好地学习语言的表示。

3.动态掩码训练：RoBERTa采用了动态掩码训练方法，随机遮盖输入的一部分token，使得模型能够更好地理解上下文。

4.移除了训练任务的干扰：RoBERTa移除了BERT中的下游任务（如预测下一个句子），只进行了单一的目标任务，使得模型的预训练更加纯粹。

RoBERTa的优点

1.训练时间较长：RoBERTa相对于BERT需要更长时间进行预训练，这会增加模型的训练成本。

2.模型规模较大：RoBERTa的模型规模较大，需要更多的计算资源进行训练和推理。

3.需要大量的数据：RoBERTa的预训练过程需要大量的数据支持，如果没有足够的数据，可能会影响模型的效果。

RoBERTa的缺点

2.https://ai.facebook.com/blog/roberta-an-optimized-method-for-pretraining-self-supervised-nlp-systems/

参考资料

META的RoBERTa是什么？有什么优点和缺点？

1.超越BERT模型：DeBERTa在多项自然语言处理任务上取得了优于BERT的性能。

2.捕捉长距离依赖：DeBERTa使用了全局注意力机制，能够更好地捕捉长距离依赖关系。

3.更高的模型容量：DeBERTa采用了更大的模型规模，具有更高的模型容量，可以处理更复杂的任务。

1.计算资源要求高：由于DeBERTa采用了更大的模型规模，需要更多的计算资源进行训练和推理。

2.参数量大：DeBERTa的参数量较大，需要更多的存储空间。

3.训练时间长：由于模型规模大，训练DeBERTa需要更长的时间。

DeBERTa是微软于2020年提出的一种预训练模型，用于自然语言处理任务。

1.论文：\"DeBERTa:Decoding-enhancedBERTwithDisentangledAttention\

2.官方Github仓库：https://github.com/microsoft/DeBERTa

3.博客文章：\"IntroducingDeBERTa:Decoding-enhancedBERTwithDisentangledAttention\"byMicrosoftResearch.

4.论文解读：https://mp.weixin.qq.com/s/3zjJG4XK6gNl4sR9QX0VjA

相关资料：（以下为资料列表，不包含编号数字）

微软的DeBERTa是什么？有什么优点和缺点？

是由OpenAI开发的一种基于Transformer架构的自然语言处理模型。

它通过在大规模文本数据上进行预训练，然后在特定任务上进行微调，可以生成高质量的文本。

ChatGPT

GPT-4

GenerativePre-trainedTransformer

1.自然语言生成能力强：GPT模型在生成文本方面表现出色，能够产生流畅、连贯的语言表达。

2.上下文理解能力强：GPT模型能够理解上下文中的语义和逻辑关系，能够生成与上下文相关的文本。

3.预训练能力强：GPT模型通过在大规模文本数据上进行预训练，可以学习到丰富的语言知识和模式。

4.可迁移性强：GPT模型在预训练后可以应用于多种自然语言处理任务，如文本分类、机器翻译等，具有较强的迁移学习能力。

GPT的优点：

1.缺乏实时性：GPT模型在生成文本时需要逐词逐句进行计算，速度较慢，不适合实时应用场景。

2.难以控制生成结果：由于GPT模型是基于预训练的，生成的文本可能会受到训练数据中的偏见和错误的影响，难以完全控制生成结果。

3.对输入敏感：GPT模型对输入文本的顺序和表达方式较为敏感，稍有改动可能会导致生成结果的差异。

4.对于长文本生成存在困难：由于GPT模型的生成是逐词进行的，对于生成较长的文本，可能会出现语义不连贯或重复的问题。

GPT的缺点：

OpenAI的GPT是什么？有什么优点和缺点？

语言模型

Masked Lanuguage Model

MLM

通过让遮盖句子中的部分单词，让模型无能为力学习语境无能为力预测补遮盖的单词的能力

类似于“完形填空”

无监督预训练模型

AGI阶段|Key绿多巴胺配色

多模态大模型|Key红多巴胺配色

生成式AI|Key黄多巴胺配色

MaaS生态|Key白多巴胺配色

垂类应用大模型|Key黑多巴胺配色

工具大模型|Key绿多巴胺配色

大模型数字人|Key红多巴胺配色

AI个体生产|Key黄多巴胺配色

版权思想|Key白多巴胺配色

AI生态安全|Key黑多巴胺配色

拓展（详见本人主页）

01DC5C

02EC9A

C2FF40

浅绿混合多巴胺

配色方案