AI
推荐
模板社区
专题
登录
免费注册
首页
思维导图
详情
神经网络
2018-12-02 23:41:11
0
举报
分享方式
仅支持查看
AI智能生成
深度学习 神经网络
神经网络
模版推荐
作者其他创作
大纲/内容
机械学习的实质
修改参数
神经元
函数
激活值
0~1
网络
关键思想
拆分
核心机制
激活值图案使下一层显现出特殊的激活值图案
组成
输入层
根据输入内容
神经元个数
激活值
隐含层
进行处理识别的具体操作
作用机理
权重
神经元所关注的像素图案
偏置值
所需加权和的大小
工具
Sigmoid函数 σ（x）=1/(1+e^(-x) ) （ReLU）
矩阵
如何找到正确的权重与偏置值
1.随机赋予权重与偏置值
2.使用代价函数
计算出每一个神经元的结果误差的平方和→训练单个样本的“代价”
考虑代价的平均值（经验风险）
3.找到代价函数的最小值（网络学习的实质）
梯度下降法
按照负梯度的倍数，不停调整函数输入值的过程
帮助我们收敛到局部最小值
代价函数需要是平滑的（人工神经元拥有连续的激活值的原因）
计算梯度的算法
反向传播算法
流程
理论（耗时）
选择训练样本
记住输出值所需的调整
相加得出倒数第二层的改动变化量
循环至第一层
将每一个样本得出的对权重与偏置的修改量取平均
结果为代价函数的负梯度或其标量的倍数
实际（“随机梯度下降”）
将样本打散分为mini-batches
算出每一个小组的梯度
途中有弯路 但速度较快
微积分原理
代价函数对权重w的敏感度 故代价函数对权重求偏导 并算出对于每一个样本的平均
链式法则 拆为c对a a对z z对w
C0=（a^L-y）^2 a^L＝σ（ｚ^Ｌ） ｚ^Ｌ＝ｗ^Ｌａ^(Ｌ－１)＋ｂ^Ｌ
得出梯度向量的一个分量
同理 对激活值a的敏感度 对偏置b的敏感度
输出层
10个神经元 代表0~9
激活值表示系统所认为的输出结果的可能性，激活值最高的即为输出结果
收藏
立即使用
神经网络
焦冻真可爱啊
职业：暂无
去主页
Collect
Get Started
BP神经网络2
Collect
Get Started
神经网络
Collect
Get Started
LeNet神经网络
Collect
Get Started
神经网络
评论
0
条评论
下一页
图形选择
思维导图
主题
补充说明
AI生成
修改AI描述
去编辑
重新生成
提示
关闭后当前内容将不会保存，是否继续？
取消
确定
Document
