投资人工智能 | Key与BDS | ProcessOn十周年
2023-06-09 13:35:03 0 举报AI智能生成
登录查看完整内容
为你推荐
查看更多
AI的赚钱动向。
作者其他创作
大纲/内容
详情
投资人工智能
敏感内容已隐藏，疑问请联系@Key洁莹
备注
诞生：图灵机和冯·诺依曼计算机模型
神经网络：麦卡洛克-皮茨模型
20世纪40年代
人工智能学科正式成立
逻辑推理：逆向推理和前向推理
游戏：西洋跳棋程序
20世纪50年代
专家系统：DENDRAL和MYCIN
自然语言处理：ELIZA
机器学习：决策树和神经网络
20世纪60年代
Lisp语言：成为人工智能开发的主流语言
推理机：允许用户创建自己的专家系统
机器学习：决策树和神经网络得到广泛应用
20世纪70年代
知识表示：语义网络和框架
机器学习：神经网络和遗传算法
专家系统：CLIPS和EXSYS
20世纪80年代
机器学习：支持向量机和随机森林
数据挖掘：关联规则和聚类
智能搜索：模拟退火和遗传算法
20世纪90年代
深度学习：卷积神经网络和循环神经网络
自然语言处理：词向量和语言模型
计算机视觉：物体检测和图像分割
智能语音：语音识别和语音合成
智能机器人：无人驾驶和服务机器人
21世纪
人工智能从诞生到应用的重大里程碑
从技术到应用
12层Transformer
GPT-1
2018年
目标：为了训练一个泛化能力更强的遍身量模型
沿用GPT-1的设计和结构
使用更大的数据集、更大的网络参数
GPT-2
2019年
沿用GPT-2的结构
提升网络容量
GPT-3
2020年
96层Transformer
使用来自人类反馈的强化学习，进行训练
通过近端策略优化算法，进行微调
优化
沿用GPT-3.5
Chat GPT
2022年
历程
可以享受更快的响应时间和优先访问
起价为每月 20 美元
OpenAI公司宣布推出 ChatGPT 的新订阅计划
微软全线产品整合， ChatGPT 。 开启商用化进程
微软 CEO 宣布继搜索引擎必应、Office 办公软件之后，将在云计算平台 Azure 中整合 ChaGPT
2023年2月2日
微软
Supervised Fine Tuning
采集新的数据用 GPT-3 的训练方式对模型进行微调
这些数据一部分来自使用 OpenAI 的 PlayGround 用户
另一部分来自 OpenAI 雇佣的 40 名标注工（labeler）
基于 GPT-3 的预训练模型
SFT
Reword Model
最终这些标注数据用来训练 Reward 奖励模型
通过人工标注进行这些输出结果的排序打标
给那些涉及偏见的生成内容更低的分从而鼓励模型不去生成这些人类不喜欢的内容，实现模型的有用、真实和无害
通过人工标注的方式来提供这个奖励
在采样的输入语句中，进行前向推理获得多个模型输出结果
RM
Proximal Policy Optimization
用第二阶段的 Reward Model给产生的回答打分
这个分数即回答的整体 Reward，进而将此 Reward 回传，由此产生的策略梯度可以更新 PPO 模型参数
整个过程迭代数次直到模型收敛
强化学习算法可以通过调整模型参数，使模型得到最大的奖励（Reward），最大奖励意味着此时的回复最符合人工的选择取向
随机抽取新的样本
PRO
Chat GPT的模型实现主要分为三个步骤，合称为 RLHF(Reinforcement Learning by Human Feedback) 技术
技术
科大讯飞
拓尔思
商汤科技
例如
算法
浪潮信息
中科曙光
紫光股份
服务器
海光信息
寒武纪
景嘉微
芯片
润泽科技
宝信软件
数据港
数据中心
算力
海天瑞声
数据标注
星环科技
数据分析
博彦科技
数据开发
算据
鸿合科技
智慧教育
卫宁健康
智慧医疗
宇信科技
智慧金融
虹软科技
智能驾驶
奥普特
智能制造
佳都科技
智能交通
金山办公
智慧办公
应用
投资
ChatGPT
产业升级
降本增效
国内
图像数据的核心接口，实现智能制造的重要技术手段
半导体生产线
汽车生产线
光伏生产线
医药生产线
新能源电池生产线
3C生产线
下游应用
AI 加速机器视觉应用，下游拓展打开市场空间
特定数据集输入——>人为预判——>结果检测
普通算法
大数据集输入——>人为分析——>学习——>结果检测
有监督机器学习
大数据输入——>机器主动学习——>结果检测
深度学习
深度学习突破算力限制，I AI 算法赋能场景跃迁
AI加速机
免费领ProcessOn会员
0 条评论
回复 删除
下一页
