AI产品养成（1）AI产业架构 产品能力模型
2023-04-26 18:58:44 5 举报AI智能生成
AI产品养成（1）AI产业架构 产品能力模型
作者其他创作
大纲/内容
AI的<br>业务边界<br>
<font color="#ff0d00">如果一个系统可以像人类一样思考和行动，<br>同时这些思考和行动都是理性的，<br>那么这个系统我们<br>就可以认为它是人工智能即AI</font><br>
目前 AI 技术可以解决的问题，<br>一定是在某一个明确的特定业务领域内，<br>且有特定目的的问题<br>
关于AI的<br>两个概念<br>
<font color="#ff0d00">机器学习：</font><br>机器学习就是让机器从过去<br>已知的大量数据中进行学习，<br>进而得到一个无限接近现实的规律，<br>最后通过这个规律对未知数据进行预测。<br>
<font color="#ff0d00">监督学习：<br></font>在机器学习<br>建模过程中，<br>我们能够获得数据标签<br>并使用它们训练模型<br>
<font color="#ff0d00">无监督学习：</font><br>从数据中发现其中<br>的潜在结构，<br>而不需要一个已知<br>的标签或者目标值。<br>
<font color="#ff0d00">聚类：</font><br>算法会将数据分成不同的组，<br>每一组内部数据之间<br>具有较高的相似性，<br>并且不同组之间的数据差异较大。<br>
<font color="#ff0d00">降维:</font><br>算法会将数据<br>从高维空间映射到低维空间，<br>以减少数据的维度，<br>降低复杂度和噪声。<br>
<font color="#ff0d00">分类问题：</font><br>机器预测结果，<br>预测结果是“是 / 否”这样的问题。<br>
<font color="#ff0d00">回归问题：</font><br>预测的结果是一个连续值的，<br>就是回归问题<br>
<font color="#ff0d00">深度学习:</font><br>深度学习是一种特殊的机器学习，<br>它借鉴了人脑由很多神经元组成的特性，<br>而形成的一个框架或者说是方法论。<br><font color="#ff0d00">相对于普通的机器学习，<br>深度学习在海量数据情况下的效果<br>要比机器学习更为出色</font>。<br>
深度学习的<font color="#ff0d00">核心是人工神经网络</font>，<br>这些网络由层级结构组成，<br>可以在训练过程中自动改进<br>网络权重来减少预测误差<br>
常用的<br>神经网络<br>
卷积神经网络（CNN）
循环神经网络（RNN）
深度自编码器<br>（Deep Autoencoder）<br>
AI产品<br>能力要求<br>商业模式<br>成熟应用<br>
产业架构<br>以及对<br>产品能力要求<br>
基础层：基础层偏硬件，技术更底层，对人的技术能力要求最高
技术层：多为 ToB 服务，对技术要求相对较高
应用层：最接近现在的用户，更多的是利用 AI 技术服务业务，<br>对技术要求相对最低，也是转行最容易的。<br>
AI产业<br>商业模式<br>
数据收集和治理
数据收集和治理类型的<br>公司大多拥有自己的数据流量入口，<br>致力于对于<font color="#ff0d00">数据的收集和加工</font>。<br>
计算资源服务
底层的芯片、传感器的研发服务：<br><br>
AI 计算服务：比如百度的 AI 开放平台
AI 技术服务
为自己产品或者上游企业提供底层的 AI 技术服务，<br>服务模式更多的是技术接口对接，<br>比如人脸识别服务的服务模式<br>主要就是 <font color="#ff0d00">API 接口或者 SDK 部署的方式</font><br>
产品附加 AI
通过 <font color="#ff0d00">AI 技术叠加产品，赋能某个产业的模式。</font><br>比如滴滴通过 AI 技术应用于自有的打车业务线，<br>包括营销环节的智能发券、发单环节的订单预测、<br>行车中的实时安全检测等等。<br>
AI的成熟应用
AI产品经理<br>技能要求<br>
AI产品经理VS传统产品经理<br>
AI产品经理<br>能力要求<br>
了解 AI 技术的边界，知道 AI 能力可以做什么，不能做什么；<br>
<font color="#ff0d00">懂得基本的统计学、概率论知识，了解市场上主流的算法和原理，<br>知道它们适合的应用场景；</font><br>
知道模型的构建流程是怎么样的，构建过程中每个节点产出物是什么，<br>以及其中的上下游关系；<br>
要有能力去评估一个模型，知道模型评估的标准、<br>评估的方法，评估结果的合理范围<br>
数学统计学<br>基础概念举例<br>
<font color="#ff0d00">线性代数中<br>基础名词</font>，<br><br>
<font color="#ff0d00">标量：<br></font>仅有大小，没有方向的数值。<br>如温度、时间等。<br>
<font color="#ff0d00">向量：<br></font>既有大小，也有方向的数值。<br>如速度、力等。<br>一个个单独的数（标量）<br>增加了一个维度<br>它就变成了一个数组（向量），<br>向量可以看做标量的扩展。<br>
<font color="#ff0d00">张量：</font><br>是向量在多维空间上的扩展，<br>可以看作是一组数组成的多维数组。<br>如图像、视频等<br>
<font color="#ff0d00">概率统计</font><br>
<font color="#ff0d00">概率分布</font>
指一组可能事件发生的概率分布情况，<br>它描述了一个事件或变量的<br>取值在一定范围内的出现概率。<br>
<font color="#ff0d00">常见的<br>概率分布</font><br>
<font color="#ff0d00">伯努利分布</font>
将成功或失败等两种情况进行概率建模，<br>如掷硬币得到正面或反面的概率模型。<br>
<font color="#ff0d00">二项分布</font>
将$n$次独立的类似<br>伯努利试验成功或失败的结果进行概率建模，<br>如$n$次抛硬币得到正面或反面的次数概率模型<br>
<font color="#ff0d00">正态分布</font>
钟形曲线模型，特点是两头低、中间高，左右对称<br>如人类身高、体重、智力、收入、甚至信用情况等等<br>
<font color="#ff0d00">泊松分布</font>
单位时间内，随机事件发生的次数。<br>如同一地区单位时间内交通事故数的概率模型。<br>
AI产品经理<br>需要懂的模型<br>概念知识
<font color="#ff0d00">AI<br>数据<br>建模<br>流程</font><br>
<font color="#ff0d00">模型设计</font>
根据问题目标和数据集，<br>选择合适的模型架构和参数，<br>如选择神经网络结构<br>
<font color="#ff0d00">特征工程</font>
为训练数据选取合适的特征，<br>如数据预处理、特征提取<br>和降维等方法优化模型<br>
<font color="#ff0d00">模型训练</font>
用训练数据对模型进行学习和参数调整，<br>如反向传播算法训练神经网络模型<br>
<font color="#ff0d00">模型验证</font>
使用验证数据评估模型性能，<br>如交叉验证、ROC曲线<br>评估模型准确率和偏差<br>
<font color="#ff0d00">模型融合</font>
将多个模型结果通过加权、<br>投票等方式融合，<br>提高模型泛化能力和预测精度。<br>
模型相关<br>技术名词<br>列举
<font color="#ff0d00">特征清洗</font>
对数据进行清洗去掉重复值、干扰数据，以及填充缺失值<br>
<font color="#ff0d00">数据变换</font>
对原始数据进行清洗、过滤、处理等一系列转换操作，以提高模型的准确性。<br>
<font color="#ff0d00">训练集<br>验证集<br>测试集</font><br>
<font color="#ff0d00">训练集</font>是让机器学习的样本集合用来拟合模型。<br><font color="#ff0d00">验证集</font>是模型训练过程中，用来对模型性能做初步的评估，用于模型参数调优。<br><font color="#ff0d00">测试集</font>是最终用来评估模型效果的。<br>
<font color="#ff0d00">测试</font>
<font color="#ff0d00">跨时间测试<br>OOT测试</font><br>
跨时间测试是指使用测试集中<br>与训练集时间不同的数据对模型进行测试，<br>目的是检验模型在未来数据上的预测性能。<br>
<font color="#ff0d00">回溯测试</font>
使用历史数据对模型进行测试，<br>模拟模型在过去预测效果，<br>主要用于验证模型的稳定性和可靠性。<br>
<font color="#ff0d00">KS检验</font>
对模型分类效果进行评估的一种方法，<br>通过比较好坏样本累积分布曲线<br>差异大小来判断模型效果<br>
KS值
一种<font color="#ff0d00">模型分类效果的评估指标</font>，<br>通过比较好坏样本累积分布曲线的差异大小，<br>反映模型对正负样本的区分能力。<br><font color="#ff0d00">KS值越大模型分类效果越好</font>。<br>
<font color="#ff0d00">过拟合</font>
在训练数据上表现良好<br>而在未知数据上表现不佳的现象，<br>常见原因包括特征维度<br>过高或模型复杂度过大。 <br>
<font color="#ff0d00">偏差：</font><br>指的是模型的预测结果<br>和实际的结果的偏离程度。<br>如果偏差比较大，<br>就说明模型的拟合程度比较差，<br>也就是欠拟合<br>
<font color="#ff0d00">方差：</font><br>各个样本值与均值偏差的平方和的平均值，<br>描述数据的离散程度<br>
<font color="#ff0d00">欠拟合</font>
指模型在训练数据上表现不佳，<br>无法拟合数据的真实分布。<br>它通常发生在模型过于简单、<br>特征选择不足、训练数据过少等情况下，<br>
<font color="#ff0d00">ROC曲线</font>
描述模型在二分类问题中的<br>准确率和召回率之间的关系，<br>横坐标为误判率，纵坐标为命中率。<br>
<font color="#ff0d00">AUC</font><br>
ROC曲线下的面积，用于评估二分类模型的性能，取值范围为0~1，值越大模型性能越好。<br>
<font color="#ff0d00">混淆矩阵</font>
用于表示模型的分类情况，<br>在二分类中由真正率、假正率、<br>真负率、假负率四部分组成。<br>
联合建模
就是使用三方公司（如银联、运营商、电商）的数据，在对方的环境下部署一个模型，然后我们通过接口调用这个模型的结果，再把结果融合到我们自己的模型上。通过这种方式，可以弥补我们自有业务中数据不足的问题。<br>
联合建模是指将多个模型的输出结果进行集成，以提高预测的准确性，<br><br>
<font color="#ff0d00">联邦学习</font>
<font color="#ff0d00">联邦学习是一种分布式机器学习技术，将多个本地设备或终端的数据进行聚合处理，使得算法可在不同设备间共享学习结果，<br>保护隐私同时具有良好的扩展性和适用性。</font><br>
<font color="#ff0d00">业务要使用三方数据，就可以考虑做联合建模。<br>如果想要避免个人信息外传的风险，<br>就可以考虑使用联邦学习技术</font><br>
学习来源 ：从 0 构建 AI 产品经理的知识体系 刘海丰 京东高级架构师
0 条评论
下一页
![[AI知识-1]AI产品基础背景知识](https://www.processon.com/chart_image/template/thumb/5dcb673ae4b022abb631ef4c.png?tid=5dcb673ae4b022abb631ef4a)
