算法描述 存储部分
2016-12-07 13:32:09 0 举报存储部分是算法中用于保存数据和结果的部分。它通常由变量、数组、链表等数据结构组成，可以用于临时存储中间结果或者长期保存最终结果。在算法执行过程中，存储部分会根据需要动态地分配或释放内存空间，以便有效地管理资源。此外，存储部分还可以通过索引、指针等方式实现数据的快速访问和修改。总之，存储部分是算法中不可或缺的一部分，它为算法提供了可靠的数据支持，保证了算法的正确性和高效性。
作者其他创作
大纲/内容
否
更新参数
计算节点4
数据集1
数据管理
开始
reduce2(收集key为id2数据)
找出该value对应的类别
B2
神经网络
训练集是否阅读完毕
C1
读取前K个数据构建K个实例
A
计算节点1
计算节点
训练文件测试文件
资源配置
将图像进行标准化
控制节点
是否完成和第K实例比较
结束
商家C
读取第一部分的训练模型
计算节点2
更新后参数
分别和前K个点距离比较
读取所有测试点数据
使用训练
提交代码
根据输入获取路径信息
设置对应mapper
控制(参数)节点
商家A积分
找出K个实例中最多的类别
建立起job并设置对应class
B1
更新对应实例中数据
参数服务器
是
商家D
商家B
map2
分配数据集4
商家E
用户
连接MongoDB
C2
设置输入输出文件
训练文件1，测试文件1
读取训练集并规范化文件
map1
数据集3
计算节点3
数据集2
分配数据集
数据存储
指定参数服务器
记录测试点id和该类别
D1
节点调度
距离是否小于实例中距离
寻找哈希表中最大的value
通过类别设置文件夹路径
阅读下一个训练点数据
遍历K个实例完成哈希表创建
设置reducer输出key value
输出
数据集4
分配数据集3
设置mapper输出key value
对每个测试点计算和训练点距离
训练文件3，测试文件3
数据集之间存在一定的重叠，从而保证不会因为失效而造成部分数据集未使用
读取一个训练点数据
map3
资源监控
计算节点之间可以通过参数服务器进行交互参数，有两个半方法防止木桶原理首先是等待大部分完成之后直接更新，2是限制最快的迭代的速度强行等待一部分为了加入随性可以不等待每轮完成
设置对应reducer
读不同文件夹下的图像
执行job
reduce1(收集key为id1数据)
配置计算节点1
设置每个图像的分类
配置计算节点2
分割训练点数据
设置模型的输入输出
执行训练模型并保存输出
E
分配数据集2
D2
reduce3（收集key为id3数据）
训练文件2，测试文件2
0 条评论
下一页
