【人工智能认证】深度学习基础
2023-03-10 09:12:52 0 举报AI智能生成
登录查看完整内容
根据阿里云人工智能助理工程师认证ACA内容整理
作者其他创作
大纲/内容
定义：是【机器学习】的分支，是一种以【人工神经网络】为架构，对资料进行【表征学习】的算法
传统机器学习：数据预处理 》 特征提取 》 选择分类器
深度学习：数据预处理 》 设计模型 》 模型训练
传统机器学习与深度学习对比
学习能力强
覆盖范围广、适应性好
数据驱动、上限高
可移植性好
优点
计算量大、便携性差
硬件需求高
模型设计复杂
容易存在偏见
不足
深度学习
定义：一种界面、库或工具，能够让开发人员利用【预先构建和优化好】的组件集合定义模型，更容易、更快速地构建深度学习模型
针对性能进行优化
易于理解与编码
强大的社区生态
并行化进程加快运算
自动计算渐变
关键特征
定义：一个利用【数据流图】进行数值计算的开源软件库，可以在众多异构的系统上方便地移植
机动性
可适性强
多种编程语言可选
最优化表现
特点
相关术语
基础操作
TensorFlow
主要变化：1.0版本使用相对繁琐，调试困难，文档接口混乱，2.0版本都有很好的优化
TensorFlow2.0
定义：包含大量的机器学习、计算机视觉、信号处理、并行计算、图像、视频、音频的库
支持卷积神经网络
支持循环神经网络
构建模型简单
高度模块化
快速高效的GPU支持
运行速度快，无需额外编译
可嵌入到iOS等后端接口
Torch
定义：一个清晰而高效的深度学习框架，基于C++/CUDA的架构，支持命令行、Python和Matlab接口；可以在CPU和GPU直接无缝切换，并支持多GPU
广泛地应用于前沿的工业界和学术界
可完成计算机视觉领域的多种任务
第一个主流的工业级深度学习框架
在各种硬件环境编译并具有良好的移植性
提供了Python语言接口pycaffe
使用许多顺序连接的层来描述神经网络结构
Caffe
学习门槛
开发速度
上手难度
易用性
文档齐全规范
选择标准
工业化应用多，要求资料齐全 》 Caffe
学术性高，社区活跃 》 Torch
初学者，规范的例子 》 TensorFlow
如何选择
选择
常见深度学习框架
深度学习框架
定义：人工神经网络，简称神经网络，是一种模仿生物神经网络的结构和功能的数学或计算模型
目的：模仿大脑的某些机理与机制，实现某个方面的功能，例如图像识别、语音识别
负责计算和处理输入信息
神经元
负责将不同神经元连接起来，形成神经网络，连接两端各为一个神经元
网络连接
组成
神经网络
深度学习概述
定义：人工智能最早的模型，一种有监督的学习算法，感知机是对神经元的模仿
本质上是一个二分类问题，是神经网络和支持向量机的基础
缺点：感知机只能解决单纯的线性问题
感知机
输入层
隐藏层
输出层
层级结构
定义：是一种在人工智能神经网络的神经单元上运行的函数，旨在帮助网络学习数据中的复杂模式，负责将神经元节点的输入映射到输出端
定义：也叫Logistic函数，用于隐藏层神经元输出，取值范围为0到1，可以将一个实数映射到0到1区间
应用：二分类
输出不是0均值
存在梯度消失的情况
Sigmoid函数
解决了Sigmoid函数的不是零均值化输出问题
在特征相差明显时的效果更好
在循环过程中会不断扩大特征效果
存在梯度消失的问题
Tanh函数
解决了梯度消失的问题
计算速度非常快
收敛速度远快于Sigmoid和Tanh
部分神经元在训练时会很脆弱，甚至会“死亡”
ReLU函数
Leaky-ReLU函数
ELU函数
常见激活函数
激活函数
多层感知机
定义：是一种按误差逆传播算法训练的多层神经网络，正向传播求损失，反向传播回传误差，根据误差信号修正每层的权重
BP神经网络算法
定义：一种带有卷积结构的深度神经网络，通过特征提取和分类识别完成对输入数据的判别
在1989年提出，早期被成功用于手写字符图像识别
2012年更深层次的AlexNet网络取得成功，此后被广泛应用
历史
概述
定义：接收数据的输入，可以处理多维数据，也能对输入特征进行标准化处理，有利于提升卷积神经网络的学习效率和表现
数据范围影响
输入数据单位不一致
激活函数值域影响
进行预处理的主要原因
定义：提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器
主要应用：图像处理
卷积层
定义：包含预设定的池化函数，将特征图中单个点的结果替换为其相邻区域的特征图统计量
目的：对数据进行降维，减少数据特征，减少网络参数和运算次数，避免过拟合
最大值池化
均值池化
常用方法
池化层
神经元排成一列，这些神经元与前一层神经元通过权值互连，呈全连接结构
等价于传统前馈神经网络中的隐藏层，通常位于卷积神经网络的最后部分，并只向其他全连接层传递信号
全连接层
通常是全连接层，其结构和工作原理与传统前馈神经网络中的输出层相同
分类标签
中心坐标、大小、分类
每个像素分类结果
可能的输出结果
时间：上世纪90年代，第一个卷积神经网络
7层网络结构 = 2个卷积层 + 2个池化层 + 2个全连接层 + 1个输出层
卷积核大小：5*5
结构
应用：手写数字识别系统在20世纪90年代被美国很多银行使用，用来识别支票上的手写数字
LeNet-5
时间：2012年的ImageNet竞赛，第一个现代深度卷积网络模型
8层网络结构 = 5卷积 + 3全连接
卷积核大小：11*11、5*5、3*3
使用CPU进行并行训练
采用ReLU作为非线性激活函数
使用Dropout防止过拟合
使用数据增强来提高模型准确率
使用现代深度卷积网络技术方法
AlexNet
时间：残差网络，ILSVRC 2015胜利者
152层网络结构 = 151卷积 + 1全连接
使用残差单元
使用了跳跃链接，并大量使用了批量归一化
容易优化
能够通过增加深度来提高准确率
缓解了梯度消失问题
ResNet
经典卷积神经网络
文本分类
语音识别
机器翻译
序列模型、自然语言处理模型
一维卷积
垃圾分类（图像分类）
车牌识别
图像搜索
图像处理、计算机视觉领域
二维卷积
医学领域、视频处理领域
三维卷积
应用
卷积神经网络
定义：一类以序列数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式链接的递归神经网络
循环神经网路 = 神经网络 + 循环
概览
典型的RNN网络包含一个输入x，一个输出h，和一个神经网络单元A
实质：上一个时刻的网络状态信息将会作用于下一个时刻的网络状态
网络结构
一对一
一对多
多对一
多对多
类别
增强循环神经网络的学习能力
缓解网络的梯度消失等问题
对有价值的信息进行长期记忆
减小循环神经网络的学习难度
流程：见PPT
长短期记忆网络 LSTM
经典循环神经网络
文本生成
生成图像描述
视频标记
循环神经网络 RNN
生成对抗网络
4.深度学习基础
0 条评论
回复 删除
下一页
