SparkBench计划安排(希望一名Spark同事协助跟进)
2016-10-10 13:39:41 0 举报
AI智能生成
SparkBench计划安排是一项旨在提升我们团队在Spark技术上的能力和效率的重要项目。为了确保项目的顺利进行,我们计划邀请一名具有丰富Spark经验的同事加入我们的团队,协助跟进项目进展。这名同事将负责与我们的技术团队紧密合作,共同解决项目中遇到的技术难题,提供专业建议和指导。通过这次合作,我们期望能够更好地利用Spark技术优化我们的数据处理流程,提高数据处理速度和准确性,从而为公司创造更大的价值。同时,这也将有助于提升我们团队在大数据领域的竞争力和市场份额。
作者其他创作
大纲/内容
调研(3周左右,机器到位前)
调研当前业界流行的测试工具
明确测试内容以及可行性
核心算子测试?
spark上层包测试?SQL、Streaming、MLlib
业务场景测试?可行性需要确认
确定测试优先级等
根据测试场景初步确定基准数据集(与业务沟通,确认数据集的实际可操作性),确定负载
基本测试(2周,机器到位后)
搭建spark测试环境
使用业界测试工具对给定场景进行测试,分析测试结果
具体开发设计(2个月左右)
详细的需求设计文档
详细的架构设计文档以及开发设计文档
确定基准数据集生成器的实现算法
编码实现
测试效果评估,持续改进
0 条评论
下一页