AI产品养成（1）AI产业架构 产品能力模型
2023-04-26 18:58:44 3 举报AI智能生成
登录查看完整内容
![[AI知识-1]AI产品基础背景知识](https://po-img.processon.com/chart_image/thumb/5dcb673ae4b022abb631ef4c.png)
AI产品养成（1）AI产业架构 产品能力模型
作者其他创作
大纲/内容
目前 AI 技术可以解决的问题，一定是在某一个明确的特定业务领域内，且有特定目的的问题
如果一个系统可以像人类一样思考和行动，同时这些思考和行动都是理性的，那么这个系统我们就可以认为它是人工智能即AI
监督学习：在机器学习建模过程中，我们能够获得数据标签并使用它们训练模型
聚类：算法会将数据分成不同的组，每一组内部数据之间具有较高的相似性，并且不同组之间的数据差异较大。
降维:算法会将数据从高维空间映射到低维空间，以减少数据的维度，降低复杂度和噪声。
无监督学习：从数据中发现其中的潜在结构，而不需要一个已知的标签或者目标值。
分类问题：机器预测结果，预测结果是“是 / 否”这样的问题。
回归问题：预测的结果是一个连续值的，就是回归问题
机器学习：机器学习就是让机器从过去已知的大量数据中进行学习，进而得到一个无限接近现实的规律，最后通过这个规律对未知数据进行预测。
深度学习的核心是人工神经网络，这些网络由层级结构组成，可以在训练过程中自动改进网络权重来减少预测误差
卷积神经网络（CNN）
循环神经网络（RNN）
深度自编码器（Deep Autoencoder）
常用的神经网络
深度学习:深度学习是一种特殊的机器学习，它借鉴了人脑由很多神经元组成的特性，而形成的一个框架或者说是方法论。相对于普通的机器学习，深度学习在海量数据情况下的效果要比机器学习更为出色。
关于AI的两个概念
AI的业务边界
基础层：基础层偏硬件，技术更底层，对人的技术能力要求最高
技术层：多为 ToB 服务，对技术要求相对较高
应用层：最接近现在的用户，更多的是利用 AI 技术服务业务，对技术要求相对最低，也是转行最容易的。
产业架构以及对产品能力要求
数据收集和治理类型的公司大多拥有自己的数据流量入口，致力于对于数据的收集和加工。
数据收集和治理
底层的芯片、传感器的研发服务：
AI 计算服务：比如百度的 AI 开放平台
计算资源服务
为自己产品或者上游企业提供底层的 AI 技术服务，服务模式更多的是技术接口对接，比如人脸识别服务的服务模式主要就是 API 接口或者 SDK 部署的方式
AI 技术服务
通过 AI 技术叠加产品，赋能某个产业的模式。比如滴滴通过 AI 技术应用于自有的打车业务线，包括营销环节的智能发券、发单环节的订单预测、行车中的实时安全检测等等。
产品附加 AI
AI产业商业模式
AI的成熟应用
AI产品能力要求商业模式成熟应用
AI产品经理VS传统产品经理
了解 AI 技术的边界，知道 AI 能力可以做什么，不能做什么；
懂得基本的统计学、概率论知识，了解市场上主流的算法和原理，知道它们适合的应用场景；
知道模型的构建流程是怎么样的，构建过程中每个节点产出物是什么，以及其中的上下游关系；
要有能力去评估一个模型，知道模型评估的标准、评估的方法，评估结果的合理范围
AI产品经理能力要求
标量：仅有大小，没有方向的数值。如温度、时间等。
向量：既有大小，也有方向的数值。如速度、力等。一个个单独的数（标量）增加了一个维度它就变成了一个数组（向量），向量可以看做标量的扩展。
张量：是向量在多维空间上的扩展，可以看作是一组数组成的多维数组。如图像、视频等
线性代数中基础名词，
指一组可能事件发生的概率分布情况，它描述了一个事件或变量的取值在一定范围内的出现概率。
概率分布
将成功或失败等两种情况进行概率建模，如掷硬币得到正面或反面的概率模型。
伯努利分布
将$n$次独立的类似伯努利试验成功或失败的结果进行概率建模，如$n$次抛硬币得到正面或反面的次数概率模型
二项分布
钟形曲线模型，特点是两头低、中间高，左右对称如人类身高、体重、智力、收入、甚至信用情况等等
正态分布
单位时间内，随机事件发生的次数。如同一地区单位时间内交通事故数的概率模型。
泊松分布
常见的概率分布
概率统计
数学统计学基础概念举例
根据问题目标和数据集，选择合适的模型架构和参数，如选择神经网络结构
模型设计
为训练数据选取合适的特征，如数据预处理、特征提取和降维等方法优化模型
特征工程
用训练数据对模型进行学习和参数调整，如反向传播算法训练神经网络模型
模型训练
使用验证数据评估模型性能，如交叉验证、ROC曲线评估模型准确率和偏差
模型验证
将多个模型结果通过加权、投票等方式融合，提高模型泛化能力和预测精度。
模型融合
AI数据建模流程
对数据进行清洗去掉重复值、干扰数据，以及填充缺失值
特征清洗
对原始数据进行清洗、过滤、处理等一系列转换操作，以提高模型的准确性。
数据变换
训练集是让机器学习的样本集合用来拟合模型。验证集是模型训练过程中，用来对模型性能做初步的评估，用于模型参数调优。测试集是最终用来评估模型效果的。
训练集验证集测试集
跨时间测试是指使用测试集中与训练集时间不同的数据对模型进行测试，目的是检验模型在未来数据上的预测性能。
跨时间测试OOT测试
使用历史数据对模型进行测试，模拟模型在过去预测效果，主要用于验证模型的稳定性和可靠性。
回溯测试
测试
对模型分类效果进行评估的一种方法，通过比较好坏样本累积分布曲线差异大小来判断模型效果
KS检验
一种模型分类效果的评估指标，通过比较好坏样本累积分布曲线的差异大小，反映模型对正负样本的区分能力。KS值越大模型分类效果越好。
KS值
偏差：指的是模型的预测结果和实际的结果的偏离程度。如果偏差比较大，就说明模型的拟合程度比较差，也就是欠拟合
方差：各个样本值与均值偏差的平方和的平均值，描述数据的离散程度
在训练数据上表现良好而在未知数据上表现不佳的现象，常见原因包括特征维度过高或模型复杂度过大。
过拟合
指模型在训练数据上表现不佳，无法拟合数据的真实分布。它通常发生在模型过于简单、特征选择不足、训练数据过少等情况下，
欠拟合
描述模型在二分类问题中的准确率和召回率之间的关系，横坐标为误判率，纵坐标为命中率。
ROC曲线
ROC曲线下的面积，用于评估二分类模型的性能，取值范围为0~1，值越大模型性能越好。
AUC
用于表示模型的分类情况，在二分类中由真正率、假正率、真负率、假负率四部分组成。
混淆矩阵
就是使用三方公司（如银联、运营商、电商）的数据，在对方的环境下部署一个模型，然后我们通过接口调用这个模型的结果，再把结果融合到我们自己的模型上。通过这种方式，可以弥补我们自有业务中数据不足的问题。
联合建模是指将多个模型的输出结果进行集成，以提高预测的准确性，
联合建模
联邦学习是一种分布式机器学习技术，将多个本地设备或终端的数据进行聚合处理，使得算法可在不同设备间共享学习结果，保护隐私同时具有良好的扩展性和适用性。
业务要使用三方数据，就可以考虑做联合建模。如果想要避免个人信息外传的风险，就可以考虑使用联邦学习技术
联邦学习
模型相关技术名词列举
AI产品经理需要懂的模型概念知识
学习来源 ：从 0 构建 AI 产品经理的知识体系 刘海丰 京东高级架构师
AI产品经理技能要求
AI产品养成（1）AI产业架构+产品能力模型
0 条评论
回复 删除
下一页
