神经网络
2018-12-02 23:41:11 0 举报AI智能生成
深度学习 神经网络
作者其他创作
大纲/内容
机械学习的实质
修改参数
神经元
函数
激活值
0~1
网络
关键思想
拆分
核心机制
激活值图案使下一层显现出特殊的激活值图案
组成
输入层
根据输入内容
神经元个数
激活值
隐含层
进行处理识别的具体操作
作用机理
权重
神经元所关注的像素图案
偏置值
所需加权和的大小
工具
Sigmoid函数 σ（x）=1/(1+e^(-x) ) （ReLU）
矩阵
如何找到正确的权重与偏置值
1.随机赋予权重与偏置值
2.使用代价函数
计算出每一个神经元的结果误差的平方和→训练单个样本的“代价”
考虑代价的平均值（经验风险）
3.找到代价函数的最小值（网络学习的实质）
梯度下降法
按照负梯度的倍数，不停调整函数输入值的过程
帮助我们收敛到局部最小值
代价函数需要是平滑的（人工神经元拥有连续的激活值的原因）
计算梯度的算法
反向传播算法
流程
理论（耗时）
选择训练样本
记住输出值所需的调整
相加得出倒数第二层的改动变化量
循环至第一层
将每一个样本得出的对权重与偏置的修改量取平均
结果为代价函数的负梯度或其标量的倍数
实际（“随机梯度下降”）
将样本打散分为mini-batches
算出每一个小组的梯度
途中有弯路 但速度较快
微积分原理
代价函数对权重w的敏感度 故代价函数对权重求偏导 并算出对于每一个样本的平均
链式法则 拆为c对a a对z z对w
C0=（a^L-y）^2 a^L＝σ（ｚ^Ｌ） ｚ^Ｌ＝ｗ^Ｌａ^(Ｌ－１)＋ｂ^Ｌ
得出梯度向量的一个分量
同理 对激活值a的敏感度 对偏置b的敏感度
输出层
10个神经元 代表0~9
激活值表示系统所认为的输出结果的可能性，激活值最高的即为输出结果
0 条评论
下一页
