权重初始化
2021-09-22 14:17:45 0 举报
罗列了几种网络权重初始化方式以及权重初始化的实际使用
作者其他创作
大纲/内容
需要确定的信息,在网络结构的外层是否需要先设定一个weight变量,然后再对其分布类型进行改变?
weight的维度是否和输入数据的维度相对应?
对网络层权重初始化,是否该使用.weight直接引用?
根据网络输入数据的维度设置一个初始Weght Tensor
在未调用网络前设置weight参数
ones_
zeros_
normal_
uniform_
constant_
sparse_
Xavier_uniform_ & Xavier_normal_
kaiming_uniform_&kaiming_normal_
torch.nn.init (使weight满足设定的不同分布)
得到的是一个Tensor张量(向量),不可训练的类型
m.weight.data
得到的是一个parameter的变量,可以训练(计算梯度)
m.weight
对网络结构各网络层的weight初始化
权重初始化
0 条评论
回复 删除
下一页