机器学习

监督学习

线性回归（预测连续值）

梯度下降算法

代价函数

注意特征缩放

选择合适的学习速率Alpha

theta正则化

正规方程法

分支主题

优点：不需要选择学习速率和迭代次数

缺点：由于要计算X的逆矩阵，计算复杂度比较高；当特征数量比较大时，会比较慢；没有梯度下降法适用的范围广

逻辑回归（即分类，预测离散值）

能用梯度下降算法的地方一般都可以用其他优化算法

支持向量机（SVM）

神经网络（当特征特别多时，对于非线性分类问题，线性回归和逻辑回归算法变得不可行）

神经元模型

随机初始化（如果将theta都初始化为相同的值，那么所有theta在反向传播后都更新为相同的值，所以要用随机初始化来打破对称。）

前向传播

反向传播

梯度检验（用来检查反向传播代码是否正确）

非监督学习

K means聚类算法

K是聚类的个数，通过绘制K个数与损失函数的曲线来确定

随机初始化（可能陷入局部最优）

PCA 主成分分析（用于数据压缩，特征缩减）

用于减少存储数据所需要的存储空间和加速学习算法或者数据可视化；不应当用它来防止过拟合，而应当用正则化方法。不要滥用PCA，当实现完算法发现有用的理由再用。

异常检测

当正样本的数量相对于负样本数量非常少，或者有些类型的正样本并没有出现在训练集中，用异常检测；否则用监督学习

半监督式学习

工程问题

区分是过拟合还是欠拟合

通过绘制学习曲线来观察是否出现了欠拟合或过拟合问题

解决过拟合与欠拟合问题

过拟合解决方法

减少特征的数量。人工选择保留哪些特征；运用模型选择算法

获取更多训练样本

添加Thetea的正则化项。这样的话，会保留所有特征，但是会减小theta的值。

减小lambda的值

欠拟合的解决方法

增加特征变量

增加特征的高次项，比如特征的平方项或者特征的相乘项

增加lambda的值

正则化方法

添加

lambda是正则化参数。如果lambda过大，会导致thete趋于0，发生欠拟合；如果lambda过小，解决不了过拟合问题

评价算法

查准率P：预测为正的样本中，实际为正的样本所占比例

召回率R：实际为正的样本的确被检测为正的概率

F1值： 2 * PR / (P + R)

如何选择合适的算法

当特征数量大时，用线性回归或线性核的SVM

当特征数量小，样本数量中等时，用有高斯核的SVM

当特征数量小，样本数量大时，用线性回归或者线性核的SVM

神经网络对以上情况都表现良好，就是可能训练起来慢了点

随机梯度下降

机器学习