登录免费注册

首页  思维导图  详情



 



神经网络

神经网络

2018-12-02 23:41:11   0  举报





仅支持查看

AI智能生成

深度学习神经网络

神经网络

模板推荐

作者其他创作

大纲/内容

机械学习的实质

修改参数

神经元

函数

激活值

0~1

网络

关键思想

拆分

核心机制

激活值图案使下一层显现出特殊的激活值图案

组成

输入层

根据输入内容

神经元个数

激活值

隐含层

进行处理识别的具体操作

作用机理

权重

神经元所关注的像素图案

偏置值

所需加权和的大小

工具

Sigmoid函数 σ（x）=1/(1+e^(-x) ) （ReLU）

矩阵

如何找到正确的权重与偏置值

1.随机赋予权重与偏置值

2.使用代价函数

计算出每一个神经元的结果误差的平方和→训练单个样本的“代价”

考虑代价的平均值（经验风险）

3.找到代价函数的最小值（网络学习的实质）

梯度下降法

按照负梯度的倍数，不停调整函数输入值的过程

帮助我们收敛到局部最小值

代价函数需要是平滑的（人工神经元拥有连续的激活值的原因）

计算梯度的算法

反向传播算法

流程

理论（耗时）

选择训练样本

记住输出值所需的调整

相加得出倒数第二层的改动变化量

循环至第一层

将每一个样本得出的对权重与偏置的修改量取平均

结果为代价函数的负梯度或其标量的倍数

实际（“随机梯度下降”）

将样本打散分为mini-batches

算出每一个小组的梯度

途中有弯路但速度较快

微积分原理

代价函数对权重w的敏感度故代价函数对权重求偏导并算出对于每一个样本的平均

链式法则拆为c对a a对z z对w

C0=（a^L-y）^2 a^L＝σ（ｚ^Ｌ）　ｚ^Ｌ＝ｗ^Ｌａ^(Ｌ－１)＋ｂ^Ｌ

得出梯度向量的一个分量

同理对激活值a的敏感度对偏置b的敏感度

输出层

10个神经元代表0~9

激活值表示系统所认为的输出结果的可能性，激活值最高的即为输出结果

 Collect

Get Started

神经网络流程图

 Collect

Get Started

卷积神经网络

 Collect

Get Started

卷积神经网络

加权兴趣深度模型，神经网络模型

 Collect

Get Started

加权兴趣深度模型，神经网络模型













评论

0 条评论

下一页



图形选择

思维导图

主题

补充说明

AI生成





修改AI描述

去编辑

重新生成

提示 

关闭后当前内容将不会保存，是否继续？

取消

确定

Document