首页  思维导图  详情

算法 - ML，AI 机器学习到人工智能

2024-06-21 10:22:58   8  举报





AI智能生成

为你推荐

查看更多



从小的知识点，理明白数据问题，模型训练问题。从ML背景，到AI知识图谱。详细聊聊AI的发展和模型技术，以及火爆的NLP，LLM。

LLM

人工智能

算法

作者其他创作

大纲/内容

人工智能 ML / AI

对原始数据进行处理、转换和提取，以便更好地训练模型，提高模型性能。

问题：选择哪些特征以及如何转换特征对模型的性能有很大影响。传统的特征工程是一个复杂且需要大量领域知识的过程。

解决方案：自动特征学习（如深度学习）、特征选择算法、特征抽取技术，如主成分分析（PCA），以及多任务学习，可以减少手动特征工程的需求。

一般而言机器学习十分依赖特征工程，而深度学习可以自身习得特征。

特征工程（Feature Engineering）

Sigmoid函数：Sigmoid函数是一个常用的激活函数，它将输入值映射到0和1之间。它的公式为f(x) = 1 / (1 + exp(-x))，在神经网络中常用于输出层。

Tanh函数：Tanh函数是双曲正切函数，将输入值映射到-1和1之间。它的公式为f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))，在神经网络中常用于隐藏层。

Softmax函数：Softmax函数将输入值映射到0和1之间，并且所有输出值的和为1，用于多分类问题的输出层。它的公式为 f(xi) = exp(xi) / Σj(exp(xj))。

function trending

激活函数（Activation Functions）

损失函数是机器学习中非常重要的概念，它用来衡量模型预测值与真实值之间的差异。

问题：在训练模型的过程中，我们希望通过调整模型的参数，使得损失函数的值最小化，从而使模型的预测结果更加准确。

1/n * Σi(yi - ŷi)^2

均方误差（Mean Squared Error，MSE）

用于二分类，多分类问题

-1/n ΣiΣj ( yij * log(yij) )

交叉熵损失函数（Cross Entropy Loss）

-Σ ( yi * log(ŷi) + (1 - yi) * log(1 - ŷi) )

对数损失函数（Log Loss）

1/2 * Σ ( δ^2 * (sqrt(1 + (yi - ŷi)^2/δ^2) - 1) )

Huber Loss

常见的损失函数

在实际应用中通常会将数据集分为训练集和验证集，通过在训练集上最小化损失函数来训练模型。

是机器学习模型训练的核心目标之一。通常采用梯度下降等优化算法来最小化损失函数。

最小化损失函数

目标函数值的变化：可以监测目标函数值随着迭代次数的变化情况，当目标函数值变化很小或者基本不再变化时，可以认为算法已经收敛。

梯度的变化：可以监测梯度的变化情况，当梯度的变化很小或者基本不再变化时，可以认为算法已经收敛。

判断收敛

损失函数 (Loss)

梯度算法是一种优化算法，用于寻找函数的最小值或最大值。

其原理是通过计算函数的梯度，来确定函数在该点的变化方向。然后沿着梯度的反方向更新参数，以使函数值逐渐趋于最值。

原理

初始化参数：首先需要初始化参数的数值，可以随机选择或者根据经验设定。

计算梯度：在当前参数值下，计算函数的梯度，即函数在该点的导数。

更新参数：根据计算得到的梯度值，更新参数的数值，使函数值减小。更新参数的公式为：参数 = 参数 - 学习率 * 梯度，其中学习率是一个超参数。

判断停止条件：重复步骤2和步骤3，直到梯度趋近0，梯度值足够小，达到最大迭代次数等。

步骤

常用的归一化方法是Min-Max归一化。将数据缩放到指定的最小值和最大值之间。公式： X_{norm} = {X - X_{min}} / {X_{max} - X_{min}}

数据的归一化

z = x - mu / sigma其中，( x ) 是原始数据，( mu ) 是数据的均值，( sigma ) 是数据的标准差，( z ) 是标准化后的数据。

数据标准化是指将数据按照一定的标准进行缩放，使得数据的均值为0，标准差为1。

数据的标准化

学习率预热：前期学习率大，后期学习率小

常见的学习率衰减方法包括指数衰减、余弦衰减等。

学习率衰减：随着训练的进行，逐渐减小学习率，可以使模型更加稳定地收敛到最优解。

学习率的优化

数据优化

收敛加快，但是效率太慢

批量梯度下降（Batch Gradient Descent）：在每一次迭代中，使用所有样本的梯度来更新模型参数。

保证了计算速度和效率

小批量数据

小批量梯度下降（Mini-batch Gradient Descent）：在每一次迭代中，随机选择一小批样本来计算梯度并更新模型参数。

加速收敛，减小震荡

是一种常用的平均数计算方法，它通过对数据进行加权处理，使得近期数据的权重较大，远期数据的权重较小，从而更好地反映数据的变化趋势。

指数加权平均数

beta为动量系数，gradient为梯度。参数更新公式为：theta = theta - v。

v = learning_rate * v

v = beta * gradient[l] + (1-beta) * gradient[l-1]

动量梯度下降（Momentum Gradient Descent）：引入动量项来加速收敛，避免在局部最优解附近震荡。

增加稳定性

在指数加权平均上引入平方，平方根

w = w - learning_rate * ( dw / sdw + e) 分母开根号。到dw大的时候，能控制更新参数的时候比较小而稳定。

sdw = beta * gradient[l] + (1-beta) * gradient[l]^2

RMSProp算法（Root Mean Square）：引入平方项来平衡历史梯度信息和当前梯度信息。

限制了更新的波动

epsilon可以为-8次方

beta2建议0.999

beta1建议0.9

引入平方根项

引入指数加权平均数

w = w- learning_rate * (v * dw` / root(s * dw`) + epsilon)

Adam算法（Adaptive Moment Estimation）：结合了动量梯度下降和RMSProp算法的优点，同时考虑了梯度的一阶矩和二阶矩信息来调整学习率。

算法优化

随机梯度下降（SGD）

精确率表示被分类为正例的样本中真正为正例的比例。

精确率（Precision）

Accuracy = (TP + TN) / (TP + TN + FP + FN)，其中TP表示真正例，TN表示真负例（True Negative），FP表示假正例，FN表示假负例。

是指在所有样本中，被正确分类的样本占总样本的比例。

准确率（Accuracy）

召回率表示真正为正例的样本中被正确分类为正例的比例。

召回率（Recall）

模型衡量

问题：好的数据集是机器学习模型成功的关键。数据不足会导致模型无法学习到足够的信息，因此难以做出准确的预测。

数据增强（data augmentation）

迁移学习（transfer learning）

半监督学习（semi-supervised learning）

生成对抗网络（GANs）用来弥补数据不足

解决方案

数据不足（Data Scarcity）

问题：模型在训练数据上表现得很好，但在未见过的数据上表现不佳。这意味着模型“记住”了训练数据，包括噪声，而没有学到泛化的规律。

正则化（如L1/L2正则）

随机种子（Random Seed）：设置随机种子可以使得模型的训练过程在不同的运行中保持一致，从而减少随机性带来的影响。

批量大小（Batch Size）：调整批量大小可以影响模型的训练速度和稳定性，较大的批量大小可能会减少随机性带来的影响。

早停（early stopping）

集成学习（ensemble learning）

减少偏置

减少树枝

降低模型复杂度

过拟合（Overfitting）

Scaling law是指一种描述系统性质随着系统规模变化的规律。在自然科学和工程领域中，许多现象都遵循着某种形式的scaling law。这些规律可以帮助我们理解和预测系统的行为。

在物理学中，一个著名的scaling law是普朗克定律，描述了黑体辐射的能量与温度之间的关系。根据普朗克定律，黑体辐射的能量与温度的四次方成正比。这个scaling law对于理解和研究热辐射现象非常重要。

在生物学中，也存在许多scaling law。例如，生物体的代谢率与其体重的幂函数关系被称为Kleiber定律。根据Kleiber定律，生物体的代谢率与其体重的3/4次方成正比。这个scaling law对于研究生物体的能量需求和生态系统的结构具有重要意义。

在AI领域，scaling law是指随着数据量和模型规模的增加，模型的性能和效果也会相应提升的现象。

应用

Scaling Law

知识点

回归问题

用于预测数值型数据，模型关系假设为线性。线性回归用于建立变量之间线性关系的统计模型。

初始化模型参数，如斜率和截距。计算预测值，即利用当前模型参数对样本数据进行预测。计算损失函数，即计算实际值与预测值之间的差异。根据损失函数的梯度，循环迭代更新模型参数，使损失函数最小化。

损失函数

线性关系：自变量和因变量之间存在线性关系。同方差性：残差（预测误差）具有相等或近似的方差。无多重共线性：输入特征之间相互独立，无强烈相关性。

只能处理线性关系。对非线性数据，需要转换为多项式或其他函数形式。容易受到异常值的影响。

限制

线性回归的变体包括岭回归和Lasso回归，它们在普通线性回归的基础上加入了正则化项，用于解决多重共线性问题和过拟合问题。

变体

线性回归（Linear Regression）

拓展

是一种用于特征选择和正则化的线性回归方法。它通过在损失函数中加入L1正则化项来惩罚模型的复杂度，即更多的特征系数为0，实现特征选择的效果。

L1和L2项是正则化项，用于在机器学习算法中控制模型的复杂度，防止过拟合。

L1正则化项：L1正则化项是指参数的绝对值之和，通常表示为λ||w||1，其中λ是正则化系数，w是模型的参数。L1正则化项可以使得模型的参数更加稀疏，即使得一部分参数为0，从而可以进行特征选择，减少模型的复杂度。

L2正则化项：L2正则化项是指参数的平方和，通常表示为λ||w||2^2，其中λ是正则化系数，w是模型的参数。L2正则化项可以使得模型的参数更加平滑，避免参数过大，从而减少模型的过拟合风险。

正则项

初始化模型系数β为0或者一个很小的随机值。根据损失函数，通过梯度下降或者坐标下降等优化算法来更新模型系数β。在更新系数的过程中，考虑L1正则化项的影响，使得模型系数更加稀疏。重复步骤2和步骤3，直到模型收敛或者达到设定的迭代次数。

可以进行特征选择，剔除对模型预测影响较小的特征，从而提高模型的泛化能力。

是一种强大的线性回归方法，适用于高维数据和特征选择问题。

优点

当特征之间存在高度相关性时，Lasso回归倾向于选择其中一个特征而忽略其他相关特征。

缺点

Lasso回归（Least Absolute Shrinkage and Selection Operator）

单层神经网络是指只有一个神经元的神经网络，逻辑回归可以看作一个单层神经网络问题。

分类问题

基于线性回归模型，通过将线性回归的输出（通常使用sigmoid）映射到一个概率范围内，从而实现对分类问题的预测。

sigmoid函数的特点是输出值在0和1之间，且具有单调递增和平滑的性质，适合用于二分类问题的概率估计。

sigmoid函数

σ′(z) = σ(z)(1−σ(z))

sigmoid导数

初始化模型参数（权重 w 和偏置 b 向量）。计算模型的输出值ŷi，即将输入特征与参数权重w相乘并加上偏置b。将输出值通过激活函数（通常是sigmoid函数）转换为概率值。计算损失函数（通常是交叉熵损失函数）。使用梯度下降等优化算法更新模型参数，使损失函数最小化。

平方差损失在这容易出现多个极值点

例： yi -> 1时，后项为0，前面 ŷi 趋近1损失最小。

患病与否、客户流失与否等二元分类问题。

逻辑回归的变体包括多项式逻辑回归和支持向量机（SVM），它们在逻辑回归的基础上引入了非线性变换和核技巧，用于处理非线性分类问题和高维数据。

逻辑回归（Logic Regression）

算法是一种基本的分类和回归算法，其逻辑是基于样本之间的距离来进行分类或回归预测。

计算待分类样本与训练集中所有样本的距离。根据距离找出离待分类样本最近的K个样本。统计这K个样本中各个类别的出现次数。将待分类样本归为出现次数最多的类别（分类问题）或计算K个样本的平均值作为预测值（回归问题）。

准确率（Accuracy）：分类问题中，正确分类的样本数占总样本数的比例。

均方误差（MSE）：回归问题中，预测值与真实值之间的平均平方误差。

算法

找到能够最佳分隔不同类别数据的决策边界（超平面）。SVM 通过最大化两个类别之间的间隔（即 margin）来实现这一点，从而保证模型的泛化能力

选择核函数和参数：根据数据的特点选择适合的核函数，并初始化参数。构造优化问题：将原始问题转换为对偶问题，利用核函数计算高维空间中的点积。求解对偶问题：使用优化算法（如 SMO）求解对偶问题，得到最优的拉格朗日乘子𝛼𝑖。计算模型参数：通过𝛼𝑖，αi 计算 𝑤 和 𝑏，或者直接用和核函数进行分类。分类或回归：利用训练好的模型对新数据进行预测。

随机森林（Random Forest）决策树集成算法，通过构建多个决策树并集成它们的预测来改进模型性能。

特征条件独立：假设所有特征在条件上独立，即每个特征单独影响类别的概率。各类别本身的数据是平衡的。

特征独立性假设过于简单，在现实中很少成立。如果测试数据集里面的特征在训练集中没有出现，因为条件概率为0，可能导致预测错误。

朴素贝叶斯（Naive Bayes）基于贝叶斯定理和特征条件独立假设的分类算法，适用于小数据集。

监督学习

损失

K-均值聚类（K-Means Clustering）将数据分为K个集群，并使集群内的方差尽可能小。

层次聚类（Hierarchical Clustering）创建一个嵌套的聚类树，反映数据的层级结构。

自编码器（Autoencoders）用于数据压缩和降维的神经网络，通过学习重建自身输入来提取特征。

非监督学习

提高数据密度，维度

维度参数 * 样本特征

损失函数计算

前向过程

各维度参数更新

后向过程

减少循环，增加效率。

np.squeeze(arr)

np.sum

np.abs

使用numpy进行并行运算

向量的范数是一个将向量映射到非负实数的函数，通常表示为||x||。它衡量了向量的大小或长度

定义

非负性：对于任意向量x，其范数满足||x|| ≥ 0，且只有当x为零向量时，||x|| = 0。齐次性：对于任意标量α，向量x，有||αx|| = |α| ||x||。三角不等式：对于任意向量x和y，有||x + y|| ≤ ||x|| + ||y||。

特性

L1范数（曼哈顿范数）：||x||1 = Σ|xi|，表示向量各个元素绝对值之和。在机器学习中常用于稀疏性相关问题。

L2范数（欧几里得范数）：||x||2 = √(Σxi^2)，表示向量各个元素平方和的平方根。在机器学习中常用于最小二乘法和正则化。

无穷范数：||x||∞ = max(|xi|)，表示向量中绝对值最大的元素。在机器学习中常用于支持向量机。

不同范数意义

范数

向量化

在数学和物理学中，张量是一种广义的概念，可以描述向量、矩阵等数据结构。

在机器学习和深度学习中，张量是存储和处理数据的基本数据结构，常用于表示神经网络的输入、输出和参数。

张量是一种多维数组，可以存储和表示多维数据。

基本原理

图像数据案例

张量可以用来表示视频帧。每个视频帧可以被表示为一个三维张量。第一个维度表示图像的高度，第二个维度表示图像的宽度，第三个维度表示图像的通道数（如RGB颜色通道）。

张量也可以用来表示视频序列。一个视频序列可以被表示为一个四维张量。其中第一个维度表示时间步，第二个维度表示图像的高度，第三个维度表示图像的宽度，第四个维度表示图像的通道数。

视频数据案例

加法案例

乘法案例

张量运算

张量

聊些数学

机器学习算法

FNN是最基本的神经网络模型，由输入层、隐藏层和输出层组成。输入数据从输入层传递到隐藏层，再传递到输出层。

反向过程

概念

隐藏层和输出层之间的连接是单向的，没有反馈。

FNN通过反向传播算法来训练网络，优化网络参数，使得网络能够更好地拟合训练数据。

这种神经网络通常用于解决二分类问题，其输出值为0或1。

a = g(z1)

z1 = W1*x + b

算法图

单层神经网络：是指只有一个神经元的神经网络，也可以看作是一种特殊的浅层神经网络。

常用于解决简单的分类或回归问题，因为只有一层隐藏层，所以其学习能力有限。

a2 = g(z2)

z2 = W2*a1 + b2

a1 = g(z1)

浅层神经网络：是指只有一层隐藏层的神经网络，通常包括输入层、隐藏层和输出层。

前馈神经网络（Feedforward Neural Network，FNN）

CNN是一种专门用于处理具有网格结构数据的神经网络模型，如图像、视频等。

CNN的主要特点是通过卷积层、池化层和全连接层来提取图像特征并实现分类。

结构

它引入了卷积层和池化层，通过局部感知和参数共享来减少网络参数量，提高计算效率。卷积层：通过卷积操作提取输入数据的特征；池化层：通过降采样减少特征图的尺寸。

CNN在图像分类、目标检测、人脸识别等领域取得了巨大成功。

卷积神经网络（Convolutional Neural Network，CNN）

RNN是一种具有循环连接的神经网络模型，能够处理序列数据，如时间序列、自然语言序列等。

RNN具有记忆功能，可以捕捉序列数据中的上下文信息。RNN网络通常由循环层和全连接层组成。

RNN通过将当前时刻的输入和上一时刻的隐藏状态结合，产生当前时刻的输出和下一时刻的隐藏状态。这种循环结构使得RNN能够捕捉到序列数据中的时序信息。传统RNN存在梯度消失和梯度爆炸的问题，因此出现了一些改进的RNN结构，如长短期记忆网络（LSTM）和门控循环单元（GRU）。

模型可以处理变长序列

模型大小与输入长度无关

可以考虑较多历史信息

便于流式输出

RNN广泛应用于语言模型、机器翻译、语音识别等领域。

循环神经网络（Recurrent Neural Network，RNN）

1线性回归问题案例

2文本分类问题案例

pytorch

前向传播，反向传播

循环梯度下降

线性回归案例

图像分析算法案例

tensorflow

操作案例

神经网络算法

将图片文件转换为向量的常见方法是使用卷积神经网络（CNN）提取图片的特征向量。这些特征向量通常称为图片的“特征表示”或“特征向量”

将音频文件转换为向量的常见方法是使用声学特征提取算法，如梅尔频率倒谱系数（MFCC）提取音频的特征向量。

将文本文件转换为向量的常见方法是使用词袋模型（Bag of Words）或词嵌入模型（如Word2Vec、GloVe）将文本表示为稀疏或密集的向量。

各类介绍

一个词汇使用一个维度标识的稀疏表达算法。

词库的多少决定维度的变化，会导致模型维度维护困难和维度爆炸问题。

1.无法感知语义。

2.无法理解词语的相似度。

3.维度爆炸问题。

不足：

one-hot

Word2Vec是一种用于将单词表示为连续向量的技术，它基于分布假设：即相似上下文中的单词具有相似的含义。

Word2Vec是一种基于神经网络的词嵌入模型，它可以通过训练大规模语料库来学习词向量，从而捕捉词语之间的语义关系。

Word2Vec模型简单且易于实现，训练速度较快，适用于处理大规模数据集。

模型优势

对于Skip-gram模型，损失函数可以表示为预测目标词的条件概率的负对数似然。

Skip-gram模型：

对于CBOW模型，损失函数则是预测上下文词的条件概率的负对数似然。

连续词袋模型（CBOW）：

模型中的重要参数:

窗口长度的问题，决定了模型难以考虑全局的语义

是静态的词向量表达形式，难以理解一词多义

Word2Vec

Glove(Global Vectors for Word Representation) 是一种用于学习词向量的无监督算法。

可以通过最小化词语共现矩阵的损失函数来学习词向量，从而捕捉词语之间的语义关系。

GloVe模型在一些语义任务上表现更好，例如词语类比和词语相似度计算。

模型优势：

算法思路

GloVe算法的共现矩阵构建：

模型重要参数：

尽管GloVe使用了全局信息，但每个单词的向量依然是静态的，不考虑特定上下文，因此可能不适合处理多义词。

Glove

词向量思想

Transformer是一种基于注意力机制的深度学习模型，最初由Google提出用于自然语言处理任务。

编码器由多个相同的层堆叠而成，每个层包括两个子层：多头自注意力机制（Multi-Head Self-Attention）：通过计算输入序列中每个位置的注意力权重，使模型能够关注输入序列中不同位置之间的依赖关系。前馈神经网络（Feed-Forward Neural Network）：对每个位置的隐藏表示进行线性变换和激活函数处理，从而学习位置之间的非线性关系。

编码器（Encoder）

多头自注意力机制（Multi-Head Self-Attention）：与编码器中的自注意力机制类似，但在解码器中需要避免未来信息泄露编码器-解码器注意力机制（Encoder-Decoder Attention）：将编码器的输出作为查询向量，解码器的自注意力输出作为键值对，计算解码器每个位置对编码器输出的注意力权重。前馈神经网络（Feed-Forward Neural Network）：与编码器中的前馈神经网络相同。

解码器（Decoder）

分析介绍

Transformer

案例：训练步骤

案例：相似度计算

Text-embedding-3-large 是OpenAI基于Transformer架构的一个预训练文本嵌入模型。

它通过大规模的无监督学习从海量文本数据中学习到了丰富的语义。将文本转换为高维向量，这些向量可以用于计算文本之间的相似度、聚类、分类任务。

Text-embedding

案例：分类

🤗Transformers库中的一个模型类，用于进行序列分类任务。

该模型可以自动选择适合特定任务的预训练模型，并在其之上添加一个分类头部进行微调。

AutoModelForSequenceClassification