ParamsServer
2017-03-15 14:34:31 0 举报
ParamsServer是一个高性能的分布式参数服务器,主要用于大规模机器学习训练中。它的主要功能是将模型参数存储在内存中,并在训练过程中为多个工作节点提供快速的参数访问服务。通过使用高效的数据结构和网络通信技术,ParamsServer能够实现高并发、低延迟的参数更新和读取,从而极大地提高了训练效率。此外,ParamsServer还支持动态扩展和容错恢复,能够在节点故障时自动进行数据迁移,保证训练的稳定性。总的来说,ParamsServer是大规模机器学习训练的重要基础设施,对于提高模型训练速度和稳定性具有重要作用。
作者其他创作
大纲/内容
ParamsServer
ParamsManage
Solver
Synchronous
-_mastergpu : int-_multi_gpu : bool-_multi_station : bool-_counter : Counter-_block : DataBlock*-_aggregation : Aggregation*-SYNC_DATA_TYPE:GRAPH_DATA_TYPE-_stream : cudaStream_t-_barriter : pthread_barrier_t
Aggregation
ParamsFileManage
-_file : string-_params : DataBlock*
ParamsUpdate
0 条评论
下一页
为你推荐
查看更多