基于CNN的方法（卷积神经网络）
基本构成单元：神经元
人工神经元
偏置（bias）式子中的b
权值（weight）x1,x2中所对应的w1,w2
神经网络(中间的节点层都是隐含层）
激活函数
线性激活函数
非线性激活函数（处处可导）
单极S（sigmond）函数（0,1）
双极S函数（-1,1）
优点：可以直接输入图像
卷积运算的优点
权值共享（每层的单元共享权值）
操作对象的位置不变
减少参数量
池化层（下采样）
防止局部噪声信号（模型增强）
卷积层
最大值构造
均值池（求局部的平均值）{输出结果作为下一层卷积的输入}
卷积运算
（1×1+0×1+1×1）+（0×0+1×1+1×0）+（0×1+0×0+1×1）=4
（像电筒一样照着滑动）
二维图像（0与1的矩阵）{第一层（输入层）}
基于RBM的方法（限制玻尔兹曼器）
Dropout
随机把某些隐含层节点的权值设为0（原权值保留）{随机冻结}
ReLu函数
输入为正才激活
BP反向传播算法
正向传播：输入层→隐含层→输出层，得到的结果与真实结果比较，计算误差
反向传播：输出层→隐含层→输入层，把误差e反向传回，实时修改权值，减小e
学习方法
梯度下降的方法，调整权值，求解最小e（可以不断调整权值）
梯度学习算法
控制e的梯度去调节权值
池化的改进方法
随机池
空间金字塔池（SPP）
def-pooling
基于自动编译器的方法（无监督的学习方法）
DropConnect
将权值以1-p的概率设为0
从隐含层到输出层的【权值清空】过程放到输入层到隐含层进行
随机Dropout
在概率P上取一定范围的值
P为固定范围内的取值
基本线性函数
斜面函数
阈值函数
处理二分问题
stochastic pooling
Maxout函数
假定输出等于输入，通过训练来调整，获得每一层的权重
反向算法
稀疏编码
求得与输入相差最小的输入
对卷积输出的不同位置上的特征的聚合统计
降低输出维度
容易过拟合
减少由于池化区域受限造成的估计值方差过大
可能导致池化输出很小
减少卷积层参数误差导致的估计均值偏移
对于每一级都实现类似最大值池化的操作，然后将不同的特征进行连接作为稀疏编码的输入
