

首页  思维导图  详情



Gemnet-oc框架

2024-09-15 17:13:22   6  举报





AI智能生成

一个机器学习流程基础解析

业务流程

模版推荐

作者其他创作

大纲/内容

1. 图结构提取

图结构

edge_index：shape[2*N]，对应边节点的索引

distance：边的长度

vector：-(两原子坐标向量差)/distance（归一化）

cell_offsets：边上的原子是否跨越了晶胞边界

num_neighbors：所有原子的总邻居数

target_neighbor_idx：表示第i个节点的第j条边，以edge_index[1]计算得到

a2a_graph：原子相互作用图

if 原子、边相互作用 isTrue：edge_index\distance\vector\cell_offsets\num_neighbors\target_neighbor_idx

else：{}

mian_graph：原子相互连接图

edge_index\distance\vector\cell_offsets

a2ee2a_graph：原子和边、边和原子相互作用图

if 原子、边相互作用 is True：edge_index\distance\vector\cell_offsets\num_neighbors\target_neighbor_idx

else：{}

qint_graph：四体相互作用图

if 原子、边 and 四体相互作用  is True：edge_index\distance\vector\cell_offsets\num_neighbors\target_neighbor_idx

else {}

id_swap：对main_graph的边进行无向化处理，此变量中保存了图中正反对应边的索引

三元组信息

in：三元组输入边索引

out：三元组输出边索引

out_agg：类似target_neighbor_idx，三元组第i条边的第j条边

trip_idx_e2e：边和边相互作用

trip_idx_ae：原子和边相互作用

trip_idx_e2a：边和原子相互作用

quad_idx：四元组信息

if 原子、边 and 四体相互作用  is True： 四元组信息：四元组定义d->b->a<-c

triplet_in

adj_edges：记录输入三元组d->b->a的邻接信息

row：输入三元组中的目标节点a

col：输入三元组中每条边的源节点d

val：每条边的索引

size：张量大小（row长度*col长度）

nnz：非零元素的数量，表示张量中记录的边的数量

density：稀疏矩阵的密度，表示非零元素占总元素的比例

in：d->b索引；in和out来自不同的图，in来自qint_graph；out来自main_graph（可能是通过对比两图差别获得的）

out：b->a索引

triplet_out

in：b->a索引

out：c->a索引

out

c->a的索引

trip_in_to_quad：输入三元组索引

trip_out_to_quad：输出三元组索引

out_agg：类似前

else： {}

2. 基函数嵌入 get_bases

rbf：二体相互作用（距离）

rbf类型

gaussian

d：输入距离/变量；u：高斯基函数中心点，峰值位置，β：尺度参数，控制基函数宽度，值越大函数越尖锐，越小函数越平缓

特点：高斯基函数对距离d 的变化敏感，其值在距离中心μ 附近较大，随着距离增大迅速衰减至接近零。这使得它非常适合描述局部相互作用。

缺点：只适合局部距离变化，不能有效描述周期性或全局特征。

spherical_bessel

球贝塞尔基函数：描述对称系统中波动的特征函数，常用于球坐标系中

特点：球贝塞尔基函数呈现周期性或震荡行为，适合描述周期性的物理现象，同时可以捕捉全局特性，不局限于局部相互作用

缺点：计算复杂度高，难以稳定处理

bernstein

伯恩斯坦基函数常用语多项式逼近和曲线拟合

特点：可以形成任意多项式逼近，可以通过增加基函数的数量来控制逼近的精度。通过加权组合不同次幂的x和1-x值，既能捕捉局部特征，也能生成全局光滑的曲线

缺点：需要较多基函数组合才能描述复杂的几何特征

RadialBasis 参数设置

num_radial：基函数频率，这个数值控制了阈值内数据划分的细致程度 例如：阈值为1，此值为10，表示将1划分为10份；这个值控制了输入嵌入向量的长度

cutoff：截止距离

rbf：设置基函数类型

envelope：包络函数类型 用于让基函数在接近cutoff时平滑衰减

polynomial

exponential

scale_basis：是否对基函数输出进行缩放，以增强数值稳定性

模型中的几种rbf配置

radial_basis 最基础的rbf函数， 用于main_graph的距离嵌入

num_radial=num_radial=128 函数变量输入变量实际值下同

cutoff=cutoff=12

rbf=rbf={name：gaussian}

envelope=envelope={name：polynomial，exponent：5}

 scale_basis=scale_basis=false

radial_basis_spherical 后续多种基函数使用了这个配置

rbf=rbf_spherical={name：gaussian} 注：rbf_spherical如果没有设置默认和rbf变量一致，这里就是这种情况

其余参数和变量与radial_basis一致

radial_basis_spherical_qint 四体相互作用rbf

cutoff=cutoff_qint=12

rbf=rbf_spherical={name：gaussian}

其余参数和变量与radial_basis一致

radial_basis_aeaint 原子和边/边和原子相互作用

cutoff=cutoff_aeaint=12

其余参数和变量与radial_basis一致

radial_basis_spherical_aeaint 只在边和原子相互作用时使用

rbf=rbf_spherical={name：gaussian}

cutoff=cutoff_aeaint=12

其余参数和变量与radial_basis一致；这里为什么只有在边和原子相互作用开启时才使用rbf_spherical这个参数呢？

输出

basis_rad_main_raw：main_graph["distance"]使用radial_basis嵌入

basis_rad_a2a_raw：a2a_graph["distance"]使用radial_basis_aint嵌入 if atom_interaction is True

cbf：三体相互作用（角度）

cbf类型

gaussian：同上

spherical_harmonics

基于球面坐标的基函数，广泛应用于三维空间的角度描述

特点：周期性和复杂角度的相互作用

缺点：计算复杂度较高，局部角度变化较小时，可能不如高斯基函数灵活

CircularBasisLayer 参数设置

num_spherical：同上num_radial

radial_basis：一个rbf实例，cbf输出的值一个是对距离的嵌入，所以有一个rbf实例

cbf：设置基函数类型，对角度cos值嵌入

scale_basis：同上

模型中的几种cbf配置

cbf_basis_tint 三体相互作用

num_spherical=num_spherical=7

rbf=radial_basis_spherical(rbf配置部分)

cbf=cbf={name:spherical_harmonics}

scale_basis=scale_basis=False

cbf_basis_qint 四体相互作用 if quad_interaction is True

radial_basis=radial_basis_spherical_qint

其余配置和变量与cbf_basis_tint一致

cbf_basis_aeint 原子和边相互作用

这个变量和cbf_basis_tint完全一致

cbf_basis_eaint 边和原子相互作用

radial_basis=radial_basis_spherical_aeaint

输出

cosφ_cab，角度cos值

basis_rad_cir_e2e_raw：main_graph["distance"]使用radial_basis_spherical嵌入

basis_cir_e2e_raw：cosφ_cab 使用sbf_basis_tint嵌入

sbf：四体相互作用（二面角） if quad_interaction is True: (这里默认是False)

sbf类型

sphericlal_harmonics：同上

legendre_outer

勒让德基函数外积，外积指的是计算两个向量之间的相互作用，具体来说是将它们各自的勒让德多项式的结果组合在一起。 通过计算这些外积，可以捕捉更高阶的角度变化特征。

优点：可以适应不同的角度相互作用，比球谐函数更通用， 可以减少特征之间的相互影响， 并且数值相对稳定，适用于高阶角度计算

缺点：在复杂三维球面对称结构中效果不如球谐函数，计算开销较大

gaussian_outer

通过计算两个或多个高斯基函数的外积，可以捕捉不同距离之间的相互关系

优缺点：同上高斯基函数

SphericalBasisLayer 参数设置

num_spherical：同上

radial_basis：sbf中同样会对距离进行嵌入，所以有一个rbf实例

sbf：设置基函数类型

scal_basis：用上

模型中的sbf配置

sbf_basis_qint 只有四体作用时用到sbf

num_spherical=num_spherical=7

radial_basis=radial_basis_spherical

sbf=sbf={name：legendre_outer}

scale_basis=scale_basis=False

输出变量解析

cosφ_cab_q：四体cab cos值；cosφ_adb：adb cos值； angle_cabd：二面角

basis_rad_cir_qint_raw：qint_graph["distance"]使用radial_basis_spherical_qint嵌入

basis_cir_qint_raw：cosφ_adb 使用cbf_basis_qint

basis_rad_sph_qint_raw：main_graph["distance"]使用radial_basis_spherical嵌入

basis_sph_qint_raw：cosφ_cab_q和angle_cabd使用sbf_basis_qint嵌入

cbf-原子和边相互作用 if atom_edge_interaction is True： （这里默认是True）

输出变量解析

basis_rad_a2ee2a_interaction：a2ee2a_graph["distance"] radical_basis_graph嵌入 问题：为什么只有a2e的时候要对这个距离进行嵌入？

cosφ_cab_a2e：main_graph和a2ee2a_graph ["vector"]夹角cos值

basis_rad_cir_a2e_raw：main_graph["distance"]使用radial_basis_spherical嵌入

basis_cir_a2e_raw：cosφ_cab_a2e使用cbf_basis_aeint嵌入

cbf-边和原子相互作用 if edge_atom_interaction is True： （这里默认是True）

输出变量解析

cosφ_cab_e2a：a2ee2a_graph和main_graph ["vector"]夹角cos值                           这里和cosφ_cab_a2e的差别是夹角取值的边不同（角不同）

basis_red_cir_e2a_raw：a2ee2a_graph["graph"] 使用radical_basis_spherical_aeaint嵌入

basis_cir_e2a_raw：cosφ_cab_e2a使用cbf_basis_eaint嵌入

全连接层映射设置 init_shared_basis_layers

Dense

参数设置

in_features：输入特征长度

out_features：输出特征长度

bias：偏置项

activation：激活函数名字

silu或者swish

σ(x)是Sigmod函数，该函数的输出是x和Sigmod激活的乘积，因此它是一个平滑的非线性函数

特点：在整个范围内的导数是连续的，这有助于模型的优化和梯度流动           与其他激活函数不同，他的输出是由输入x本身调控的其他激活函数通常将输入所谓一个整体处理            它是非单调的，尽管激活函数大部分是正值，但他允许部分负值通过，相比于ReLu，提供了更细粒度的控制

缺点：计算复杂度比ReLu略高           可能导致过拟合           没有负饱和，简单理解输入中包含过多负值可能不理想

if activation is None

torch.nn.Identity()：不对输入进行任何操作输出

所有Dense层 配置都是一样的 输入128维度向量线性变换为16维度后输出

in_feature=num_radial=128

out_feature=emb_size_rbf=16

activation=None

bias=False

变量名

mlp_rbf_qint

mlp_rbf_aeint

mlp_rbf_eaint

mlp_rbf_tint

mlp_rbf_h

mlp_rbf_out

BasisEmbedding

参数设置 设置权重矩阵的形状 if num_spherical: (emb_size_interm,num_radial) else: (num_radial,num_spherical,emb_size_interm)

num_radial：基函数维度

emb_size_interm：嵌入的中间尺寸大小

num_spherical：球谐函数的数量

一共有三种配置

rbf

num_radial=num_radial=128

emb_size_interm=emb_size_rbf=7

num_spherical=None

变量名

mlp_rbf_aint

cbf

num_radial=num_radial=128

emb_size_interm=emb_size_cbf=16

num_spherical=num_spherical=7

变量名

mlp_cbf_qint

mlp_cbf_aeint

mlp_cbf_eaint

mlp_cbf_tint

sbf

num_radial=num_radial=128

emb_size_interm=emb_size_sbf=32

num_spherical=num_spherical*2=14

变量名

mlp_sbf_qint

前向传播

 rad_basis：径向基函数，表示与每条边相关的基函数，形状为(num_edges，num_radial)或(num_edges,num_orders*num_radial)

sph_basis：球谐基函数，表示三元或四元组中每个三元组相关的基函数，形状为(num_triplets,num_spherical)

idx_rad_outer和id_rad_inner：用于聚合径向基函数的索引，分别指代与每个基函数相关联的原子和每个原子对应的径向基函数

idx_sph_outer和idx_sph_inner：用于聚合球谐基函数的索引，分别指代与每个基函数相关联的边缘和每条边缘对应的球谐基函数

num_atoms：总原子数，用于确定零填充矩阵的大小

输出变量

bases_e2e

rad mlp_rbf_tinr

rad_basis=basis_rad_main_raw

cir mlp_cbf_tint

rad_basis=basis_rad_cir_e2e_raw

sph_basis=basis_cir_e2e_raw

idx_sph_outer=trip_idx_e2e["out"]

idx_sph_inner=trip_idx_e2e["out_agg"]

basis_atom_update

mlp_rbf_h

rad_basis=basis_rad_main_raw

basis_out_put 注意：这里和basis_atom_updata是完全一样的 可能后续需要分别做处理

mlp_rbf_out

rad_basis=basis_rad_main_raw

bases_qint：dict 这类字典中rad属性表示二体相互作用 cir三体，sph四体 if atom_edge_interaction is True else {}

rad mlp_rbf_qint

rad_basis=basis_rad_main_raw

cir mlp_cbf_qint

rad_basis=basis_rad_cir_qint_raw

sph_basis=basis_cir_qint_raw

idx_sph_outer=quad_idx["triplet_in"]["out"]

sph mlp_sbf_qint

rad_basis=basis_rad_qint_raw

sph_basis=basis_sph_qint_raw

idx_sph_outer=quad_idx["out"]

idx_sph_inner=quad_idx["out_agg"]

bases_a2e if atom_edge_interaction is True else {}

rad mlp_rbf_aeint

rad_basis=basis_rad_a2ee2a_raw

cir mlp_cbf_aeint

rad_basis=basis_rad_cir_a2e_raw

sph_basis=basis_cir_a2e_raw

idx_sph_outer=trip_idx_a2e["outer"]

idx_sph_inner=trip_idx_a2e["out_agg"]

bases_e2a if edge_atom_interaction is True else {}

rad mlp_rbf_eaint

rad_basis=basis_rad_main_raw

cir mlp_cbf_eaint

rad_basis=basis_rad_cir_e2a_raw

sph_basis=basis_cir_e2a_raw

idx_rad_outer=a2ee2a_graph["edge_index"][1]

idx_rad_inner=a2ee2a_graph["target_neighbor_idx"]

idx_sph_outer=trip_idx_e2a["out"]

idx_sph_inner=trip_idx_e2a["out_agg"]

num_atoms=num_atoms

basis_a2a_rad if atom_interaction is True: else None

mlp_rbf_aint

rad_basis=basis_rad_a2a_raw

idx_rad_outer=a2a_graph["edge_index"][1]

idx_rad_inner=a2a_graph["target_neighbor_idx]

num_atoms=num_atoms

输出变量整理

basis_rad_main_raw

basis_atom_update

basis_output

bases_qint

bases_e2e

bases_a2e

bases_e2a

basis_a2a_rad

3.原子和边嵌入

原子嵌入 AtomEmbediing

参数设置

emb_size：每种原子对应的嵌入向量的维度大小

num_elements：包含的原子类型

示例：num_elements=10，emb_size=64，那么每个原子类型都会被映射到64维的向量

torch.nn.init.uniform：初始化嵌入矩阵的权重，这里的权重初始化为均匀分布

atom_emb配置

emb_size=emb_size_atom=256

num_elements=num_elements=83

边嵌入 EdgeEmbedding

参数设置

atom_features：原子嵌入维度大小

edge_features：边嵌入维度大小

out_features：输出维度大小

activation：dense层激活函数名字

前向传播

h：原子AtomEmbeding信息

m：边经过rbf嵌入信息

edge_index：边的索引信息

将原子嵌入的信息按照边的关系拼接起来，进行线性变换， 线性变换层设置输入长度为2*atom_feature+edge_features；输出长度为out_features

4. 交互层 InteractionBlock

参数设置

5. 输出模块 out_blocks

继承类AtomUpdateBlock 对原子嵌入进行更新

OutputBlock 参数设置

emb_size_atom：每个原子的嵌入向量的维度

emb_size_edge：每条边嵌入向量的维度

emb_size_rbf：径向基函数的嵌入大小

nHidden：AtomUpdateBlock之前使用的残差快ResudyakBlock的数量

nHidden_afteratom：AtomUpdateBlock之后使用的残差块数量

activation：激活函数的名称

direct_forces：是否直接预测力，False的时候会通过能量梯度计算力

默认设置

层数=num_blocks+1=4+1 为什么要设置成num_blocks+1？

emb_size_atom=emb_size_atom=256

emb_size_edge=emb_size_edge=512

emb_size_rbf=emb_size_rbf=16

nHidden=num_atom=3

nHidden_afteratom=num_output_afteratom=3

activation=activation=silu

direct_forces=direct_forces=True

输出参数

x_E，x_F=out_blocks[0](h,m,basis_output,idx_t)

h：原子嵌入向量

m：边嵌入向量 

basis_output：main_graph["distance"]使用rbf嵌入

idx_t：main_graph["edge_index"][1]，边节点输出索引

 Collect

Get Started

网络框架

 Collect

Get Started

文本挖掘逻辑框架

 Collect

Get Started

A框架

 Collect

Get Started

OC 消息决议和分发机制（message resolve and message forward）





0 条评论

下一页