机器学习用到的数据知识

随机变量，贝叶斯公式，随机变量独立性，正态分布，最大似然估计

贝叶斯分类器

概率，熵，Gini系数

决策树

距离函数

KNN算法

协方差矩阵，散布矩阵，拉格朗日乘数法，特征值与特征向量

主成分分析

流形，最优化，测地线，测地距离，图，特征值与特征向量

流形学习

散度矩阵，逆矩阵，拉格朗日乘数法，特征值与特征向量

线性判别分析

点到平面的距离，Slater条件，强对偶，拉格明日对偶，KKT条件，凸优化，核函数，Mercer条件

支持向量机

概率，随机变量，最大似然估计，梯度下降法，凸优化，牛顿法

logistic回归

抽样，方差

随机森林

概率，随机变量，极值定理，数学期望，牛顿法

AdaBoost算法

概率，离散型随机变量，条件概率，随机变量独立性，拉格朗日乘数法，最大似然估计

隐马尔可夫模型

条件概率，数学期望，最大似然估计

条件随机场

正态分布，最大似然估计，Jensen不等式

高斯混合模型

梯度下降法，链式法则

人工神经网络

卷积神经网络

循环神经网络

梯度下降法，链式法则，极值定理，Kullback-Leibler散度，Jensen-Shannon散度，测地距离，条件分布，互信息

生成对抗网络

K-means算法

数学期望，贝尔曼方程

强化学习

条件概率，贝叶斯公式，图

贝叶斯网络

Hoeffding不等式

VC维

机器学习用到的数据知识