ChatGPT 的背景与意义

计算机处理自然语言的巨大的挑战

小规模专家知识

基于浅层机器学习

大量标注数据

基于深度学习

基于机器学习

大模型

大数据

大计算

大规模预训练语言模型

五次研究范式的转变

概要

语言理解

生成

知识推理能力

惊艳

自然语言处理这一认知智能核心问题的一条可能的路径，并被认为向通用人工智能

ChatGPT 是继数据库和搜索引擎之后的全新一代的 “知识表示和调用方式”

ChatGPT 主要解决了用自然语言直接调用这些知识的问题，这也是人类获取知识最自然的方式。

ChatGPT

自然语言处理的发展历史

具有良好的自然语言生成能力的大模型 GPT-3.5

引入人类标注人员作为系统的额外奖励

人类标注人员扮演用户和代理进行对话，产生对话样本并对回复进行排名打分，将更好的结果反馈给模型

训练这一模型的钥匙——基于人工反馈的强化学习（RLHF）。

大规模预训练语言模型的技术发展历程

ChatGPT 的相关技术

ChatGPT 技术发展脉络的总结

ChatGPT 技术发展历程

ChatGPT 基于 GPT-3.5 系列的 Code-davinci-002指令微调而成。而 GPT-3.5 系列是一系列采用了数千亿的 token 预训练的千亿大模型

强大的底座能力

不再是随着模型规模线性增长，有了激增，

惊艳的思维链推理能力

可以处理未见过的任务

泛化性得到了显著地激发

实用的零样本能力

相较于普通聊天机器人

拥有了建模对话历史的能力，能持续和用户交互

大量指令激发的泛化能力在零样本和少样本场景下具有显著优势

相较于微调小模型

相较于其它大规模语言模型

ChatGPT 的优势

可信性无法保证

时效性差

成本高昂

在特定的专业领域上表现欠佳

语言模型每次的生成结果是 beam search 或者采样的产物，每次都会有细微的不同

大规模语言模型自身的局限

数据的偏见性，很可能生成有害内容

标注人员分布不均的情况下，可能会引入新的偏见问题

标注策略导致的局限

数据原因导致的局限

ChatGPT 的劣势

ChatGPT 的优势与劣势

利用 ChatGPT 辅助开发代码，提高开发效率，包括代码补全、自然语言指令生成代码、代码翻译、bug 修复等

代码开发

ChatGPT 的生成结果在许多任务上相比微调小模型都有很明显的可取之处（比如文本摘要的事实一致性，篇章级机器翻译的性别问题）

ChatGPT 和具体任务相结合

微调激发的零样本能力

在人工智能行业的应用前景及影响

.搜索引擎

基于 ChatGPT 创建更智能的游戏虚拟人和玩家交流提升体验

是利用虚拟数字人进行虚拟主播直播互动

在心理健康抚慰、闲聊家庭陪护等方面

泛娱乐行业

相关博主的内容产出效率将得到极大的提升，有更多的精力润色相关内容，期待更多的高质量文章的产生

自媒体行业

迫使多所学校全面禁用

完成家庭作业

大魔王

教育行业

ChatGPT 的具体影响不大。因为限于 ChatGPT 训练数据的限制

ChatGPT 无法对专业领域的专业知识进行细致的分析，生成的回答专业度不足且可信性难以保证

其他专业领域

ChatGPT 可以帮助个人使用者在日常工作中写邮件、演讲稿、文案和报告，提高其工作效率。同时基于微软计划将 ChatGPT 整合进 Word、PowerPoint 等办公软件，个人使用者也可以从中受益，提高办公效率

在其他行业的应用前景及影响

ChatGPT 的应用前景

技术限制引起的，如生成的内容不能保证真实性、会产生有害言论

用户对 ChatGPT 的使用不当引起的，如在教育、科研等领域滥用 ChatGPT 产生的文本

滥用风险

错误信息风险

者隐私信息被 ChatGPT 通过其他信息推断出来

隐私泄露风险

用户与机器交流受到伤害风险

ChatGPT 是否会侵犯他人的知识产权

ChatGPT 产生的内容是否具有知识产权

知识产权风险 知识产权风险包括两个方面

有害言论风险

ChatGPT 带来的风险与挑战

ChatGPT 的背景与意义