ChatGPT 的背景与意义
2023-04-14 17:06:41 1 举报AI智能生成
描述ChatGPT的背景与意义
作者其他创作
大纲/内容
自然语言处理的发展历史
计算机处理自然语言的巨大的挑战
五次研究范式的转变
小规模专家知识
基于机器学习
基于浅层机器学习
基于深度学习
大量标注数据
大规模预训练语言模型
大模型
大数据
大计算
ChatGPT
惊艳
语言理解
生成
知识推理能力
自然语言处理这一认知智能核心问题的一条可能的路径，<br>并被认为向通用人工智能
ChatGPT 是继数据库和搜索引擎之后的<br>全新一代的 “知识表示和调用方式”
ChatGPT 主要解决了用自然语言直接调用这些知识的问题，<br>这也是人类获取知识最自然的方式。
大规模预训练语言模型的技术发展历程
具有良好的自然语言生成能力的大模型 GPT-3.5
训练这一模型的钥匙——基于人工反馈的强化学习（RLHF）。
引入人类标注人员作为系统的额外奖励
人类标注人员扮演用户和代理进行对话，产生对话样本<br>并对回复进行排名打分，将更好的结果反馈给模型
ChatGPT 技术发展历程
ChatGPT 的相关技术
ChatGPT 技术发展脉络的总结
ChatGPT 的优势与劣势
ChatGPT 的优势
相较于普通聊天机器人
强大的底座能力
ChatGPT 基于 GPT-3.5 系列的 Code-davinci-002<br>指令微调而成。而 GPT-3.5 系列是一系列采用了数千亿的 token 预训<br>练的千亿大模型
惊艳的思维链推理能力
不再是随着模型规模线性增长，有了激增，
实用的零样本能力
泛化性得到了显著地激发
可以处理未见<br>过的任务
相较于其它大规模语言模型
拥有了建模对话历史的能<br>力，能持续和用户交互
相较于微调小模型
大量指令激发的泛化能力在零样本和少样本场景下具有显著优势
ChatGPT 的劣势
大规模语言模型自身的局限
可信性无法保证
时效性差
成本高昂
在特定的专业领域上表现欠佳
语言模型每次的生成结果是 beam search 或者采样的产物，每次都会<br>有细微的不同
数据原因导致的局限
数据的偏见性，很可能生成有<br>害内容
标注策略导致的局限
标注人员分布不均的情况下，可能会引入新的<br>偏见问题
ChatGPT 的应用前景
在人工智能行业的应用前景及影响
代码开发
利用 ChatGPT 辅助开发代码，提高开发效率，包括代码<br>补全、自然语言指令生成代码、代码翻译、bug 修复等
ChatGPT 和具体任务相结合
ChatGPT 的生成结果在许多任务上<br>相比微调小模型都有很明显的可取之处（比如文本摘要的事实一致<br>性，篇章级机器翻译的性别问题）
微调激发的零样本能力
在其他行业的应用前景及影响
.搜索引擎
泛娱乐行业
基于 ChatGPT 创建更智能的游戏虚拟人<br>和玩家交流提升体验
是利<br>用虚拟数字人进行虚拟主播直播互动
在心理健康<br>抚慰、闲聊家庭陪护等方面
自媒体行业
相关博主的内容产出效率将得到极大的提升，有更多<br>的精力润色相关内容，期待更多的高质量文章的产生
教育行业
大魔王
完成家庭作业
迫使多所学校全面禁用
其他专业领域
ChatGPT 的具体影响不大。因为<br>限于 ChatGPT 训练数据的限制
ChatGPT 无法对专业领域的专业<br>知识进行细致的分析，生成的回答专业度不足且可信性难以保证
ChatGPT 可以帮助个人使用者在日常工作中写邮件、演讲稿、文<br>案和报告，提高其工作效率。同时基于微软计划将 ChatGPT 整合进 Word、<br>PowerPoint 等办公软件，个人使用者也可以从中受益，提高办公效率
ChatGPT 带来的风险与挑战
技术限制引起的，如生成的内容不能保证真实性、会产生有害言论
用户对 ChatGPT 的使用不当引起的，如在教育、科研等领域滥用 ChatGPT 产生的文本
滥用风险
错误信息风险
隐私泄露风险
者隐私信息被 ChatGPT 通过其他信息推断出来
用户与机器交流受到伤害风险
知识产权风险 知识产权风险包括两个方面
ChatGPT 是否会侵犯他人的知识产权
ChatGPT 产生的内容是否具有知识产权
有害言论风险
0 条评论
下一页
