搞懂ChatGPT
2023-05-28 23:29:21 1 举报AI智能生成
登录查看完整内容
介绍ChatGPT的本质、语言模型是如何进化、ChatGPT的能力边界、ChatGPT的回答从哪里来、ChatGPT有哪些固有缺陷、训练语言模型的三个限制、今天人工智能的边界在哪里和ChatGPT能替代什么人
作者其他创作
大纲/内容
让计算机回答问题并不是一件高不可攀的事情，在今天，让它做得比人好是完全能够办得到的。
计算机回答问题
今天计算机的写作水平不仅超出大多数人的想象，甚至比很多人的写作水平都要高。
计算机写作
一个是理解自然语言，明白人的意图。
另一个是产生自然语言的文本，满足人的要求。
ChatGPT的能力
第一讲：计算机回答问题、写诗难吗？
语言模型不是逻辑框架，不是生物学的反愦系统，而是由数学公式构建的模型。
什么是语言模型？
而解决这个问题的办法就是利用更多的上下文信息，消除所有的不确定性。
如何消除不确定性？
统计一下在相同的上下文的条件下，每个词具体出现了多少次。因此，语言模型也被称为是统计语言模型，因为它模型的参数，也就是用来计算各种概率的参数，都是靠统计得出的。
今天，ChatGPT的语言模型所用的训练数据量也是很大的，第一个版本使用的GPT-3用了大约5000亿个词，换算成句子大约是500亿个。GPT-4因为模型规模增加了将近一个数量级，训练数据可能增幅更大了。
模型的概率怎么计算？
于是，我们就把所有的绝句和律诗拆成“2-3”或者“2-2-3”组合，然后以两个字或者三个字作为基本的统计单元进行统计，得到它们在上下文中的概率，然后就可以写出一句句概率比较大的诗句了。
如何利用语言模型写唐诗？
第二讲：ChatGPT的本质是什么？
上个世纪90年代之前，当时，贾里尼克等人用它解决了语音识别的问题。
第一阶段
人们开始考虑用语言中更深的知识和信息建立语言模型。语言模型的发展由此进入到了第二阶段。
第二阶段
Google开发了深度学习的工具Google大脑：一方面，能够更有效地利用计算资源，这使得语言模型能够越做越大；另一方面，也让模型计算出的概率越来越准确。
第三阶段
第三讲：语言模型是如何进化的？
将信息从一种形式转换为另一种形式，无论是语音识别还是机器翻译，都属于这一类。
第一类
根据要求产生文本。今天ChatGPT做的主要工作，像回答问题、回复邮件、书写简单的段落，都属于这一类。
第二类
语言模型能做的第三类事情是把更多的信息精简为较少的信息。
第三类
了解了ChatGPT能做什么事情，擅情，我们就知道如何取长补短了。
前景展望
第四讲：ChatGPT的能力边界在哪？
利用语言模型回答问题，不是一个问题对一个答案这样简单的匹配，而是对于问题给出多个答案，然后根据答案的概率排序，返回一个最可能的答案。
回答简单问题
你知道答案，直接给出。这种做法，计算机也采用。
你不知道答案，但是你懂得找到答案的基本知识，于是你利用你的基本知识推出了答案。
你不知道答案，而现有的知识也无法直接推导出答案，需要你做研究工作。
人遇到这种问题时，有三种途径能够回答。
回答问题也好、写作短文也好，都基于它对现有事实的抽取和整合，或者说归纳总结。
一企比喻：语言模型是一个厨师，将它做成一道菜。ChatGPT之所以比之前的问答系统做得好，并不是它的原材料更多，而是菜做得更精致。
ChatGPT如何工作
回答复杂的问题
第五讲：ChatGPT的回答从哪里来？
信息量不够所造成的问题
创作出来的作文段落读起来显得乏味、不生动。
需要大量的人工，而且运行的成本特别高。
哪些问题能够改进
观点：语言模型依然是一个利用己有的信息预测其他信息的模型，这个性质没有改变。
噪音不高时，增加训练的数据量
找到噪音来源，过滤掉噪音。
噪音
问题1：什么是垃圾数据？
问题2：它所依赖的正反馈，有时会将它引入岐途。你给它垃圾数据进行训练，它输出的也只能是垃圾。这是今天机器学习普遍的问题。
相当一部分噪音是随机产生的，我们今天还是无能为力。这是今天机器学习的一大问题。
垃圾出入，垃圾输出
难点：你很难通过人为调高或者调低一些参数来控制ChatGPT的输出结果。
隐患：把人主观的好恶加进了一个原本应该客观的语言模型中，这可能导致更大的不公平。
人工干预的边界
第六讲：ChatGPT有哪些固有缺陷？
训练语言模型所需的数据量是极其庞大的。不是每个企业都能得到所有的这些数据。
数据
算力：随着时间的推移，人们对人工智能的要求也在不断提高，需要的算力也在不断增加。
算力
基础的自然语言处理技术，也就是算法，是实现ChatGPT这些产品必不可少的条件。
算法
第七讲： 训练语言模型的三个限制
ChatGPT的边界是人工智能的边界，而人工智能的边界是数学的边界，数学是有边界的。
观点
真的无知
人工智能领域的从业者，他们把自己做的贡献在无意中夸大了。
那么，为什么今天很多人会在人工智能的边界外胡思乱想呢？
反思
第八讲：今天人工智能的边界在哪里？
当一家企业有了一个别人都没有的技术，特别是这项技术被认为有可能改变世界的时候，它的估值就、股价就会暴涨。
投资
第一种是兴奋，然后大谈GPT的技术细节，认为自己的机会来了。
第二种人是恐惧，之前还觉得自己和世界先进水平很接近了，怎么一下距离就被拉开了。
从业者
中国媒体：神化
美国媒体：质疑
中国的媒体和美国的媒体在对待ChatGPT上有一个很大的差异。
媒体
不客气地讲，很多人把ChatGPT看成了一尊新的神，认为它无所不能。
普通人
今天，当从来没有从事过计算机行业工作的人开始大谈Al，觉得自己比专业人士更懂，甚至开始对计算机领域的人指手画脚时，我们就要警惕了。
第九讲：ChatGPT为什么会被炒热？
不费体力的工作
不动脑子的工作
不产出信息的工作
什么人会被替代
越是到了各种智能工具不断涌现，做事情越来越便利的时候，从事创造性的工作也就越来越重要。
世界上有很多未知的问题，需要亲力亲为去解决，它们未必都是大问题，但却很重要。
什么人不会被替代
人工智能可以解决很多问题，但救不了思想上懒惰的人。相反，有了智能工具，反而更加勤奋的人，不仅不会被ChatGPT抢走工作，还会因此有更高的成就。
第十讲：ChatGPT能替代什么人
技术发展带来投资的可能性，但是，当人们对一项技术炒得过热时，其实已经不是投资它的好机会了。
从投资的角度来说
做好本职工作的回报一定是最高的。
从从业的角度来说
可以对新技术和未来有所期待，但不要觉得自己的好运气从此来了，然后放弃自己擅长的事情，去不擅长的领域寻找什么机会。
对于普通人来说
第十一讲：理性看待ChatGPT
GPT-3是所谓以数量实现质量的代表，而多任务的人工智能则是以质量取代数量。
1.知其然还要知其所以然
2.具有对身边事物的好奇
3.具有常识
4.处理信息的能耗降低几个数量级
四个条件
多任务人工智能
深度学习在生物和医学上的应用是人工智能行业一个值得关注的应用领域。
生物和医学应用
事实上，我们今天要担心的，是那些人工智能背后的公司和控制它们的人。
第十二讲：还有哪些人工智能和科技值得关注
搞懂ChatGPT
0 条评论
回复 删除
下一页
