ChatGPT发展历程、原理、技术架构详解和产业未来

一款由OpenAI开发的聊天机器人模型，它能够模拟人类的语言行为，提供智能化的对话功能，与用户进行自然的交互。

名称介绍

OpenAI总部位于旧金山，由特斯拉的马斯克、Sam Altman及其他投资者在2015年共同创立，目标是开发造福全人类的AI技术。此前，OpenAI 因推出GPT系列自然语言处理模型而闻名。

OpenAI家族

可以主动承认自身错误。若用户指出其错误，模型会听取意见并优化答案

可以质疑不正确的问题。例如被询问 “哥伦布 2015 年来到美国的情景” 的问题时，机器人会说明哥伦布不属于这一时代并调整输出结果。

可以承认自身的无知，承认对专业技术的不了解

支持连续多轮对话

ChatGPT的主要特点

ChatGPT的传承与特点

NLP/NLU领域已知局限包括对重复文本、对高度专业的主题的误解，以及对上下文短语的误解

NLP

与BERT模型类似，ChatGPT或GPT-3.5都是根据输入语句，根据语言/语料概率来自动生成回答的每一个字（词语）

GPT v.s.BERT

ChatGPT/GPT的原理

ChatGPT之前有几个知名的兄弟，包括GPT-1、GPT-2和GPT-3。这几个兄弟一个比一个个头大，ChatGPT与GPT-3更为相近

GPT家族的演进

这一训练范式增强了人类对模型输出结果的调节，并且对结果进行了更具理解性的排序

人类反馈强化学习

该框架将人类标记者引入到Agents的学习循环中，可以通过人类向Agents提供奖励反馈（即指导Agents进行训练），从而快速达到训练任务目标

TAMER框架

第一阶段：训练监督策略模型

第二阶段：训练奖励模型（Reward Mode，RM）

第三阶段：采用PPO（Proximal Policy Optimization，近端策略优化）强化学习来优化策略

ChatGPT的训练

ChatGPT的技术架构

ChatGPT在其未经大量语料训练的领域缺乏“人类常识”和引申能力，甚至会一本正经的“胡说八道”

ChatGPT无法处理复杂冗长或者特别专业的语言结构

ChatGPT需要非常大量的算力（芯片）来支持其训练和部署

ChatGPT还没法在线的把新知识纳入其中，而出现一些新知识就去重新预训练GPT模型也是不现实的，无论是训练时间或训练成本，都是普通训练者难以接受的

ChatGPT仍然是黑盒模型。目前还未能对ChatGPT的内在算法逻辑进行分解，因此并不能保证ChatGPT不会产生攻击甚至伤害用户的表述

ChatGPT的局限

Claude 和 ChatGPT 都依赖于强化学习(RL)来训练偏好（preference）模型。CAI（Constitutional AI）也是建立在RLHF的基础之上，不同之处在于，CAI的排序过程使用模型（而非人类）对所有生成的输出结果提供一个初始排序结果。

减少人类反馈的RLAIF

ChatGPT 不必生成这样的代码，只需生成常规自然语言，然后使用 Wolfram|Alpha 翻译成精确的 Wolfram Language，再由底层的Mathematica进行计算

补足数理短板

量化（quantization），即降低单个权重的数值表示的精度。比如Tansformer从FP32降到INT8对其精度影响不大

剪枝（pruning），即删除网络元素，包括从单个权重（非结构化剪枝）到更高粒度的组件如权重矩阵的通道。这种方法在视觉和较小规模的语言模型中有效

稀疏化。例如奥地利科学技术研究所 (ISTA)提出的SparseGPT （http://arxiv.org/pdf/2301.0077）可以将 GPT 系列模型单次剪枝到 50% 的稀疏性，而无需任何重新训练。

ChatGPT的小型化

ChatGPT的未来改进方向

AIGC即利用人工智能技术来生成内容，与此前Web1.0、Web2.0时代的UGC（用户生产内容）和PGC（专业生产内容）相比，代表人工智能构思内容的AIGC，是新一轮内容生产方式变革，而且AIGC内容在Web3.0时代也将出现指数级增长

AIGC

从下游相关受益应用来看，包括但不限于无代码编程、小说生成、对话类搜索引擎、语音陪伴、语音工作助手、对话虚拟人、人工智能客服、机器翻译、芯片设计等。从上游增加需求来看，包括算力芯片、数据标注、自然语言处理（NLP)等

受益场景

ChatGPT的产业未来与投资机会

ChatGPT发展历程、原理、技术架构详解和产业未来