PipeRDD源码分析
2017-04-02 20:36:37 8 举报AI智能生成
PipeRDD源码分析图
作者其他创作
大纲/内容
Object PipeRDD
tokenize
Class PipeRDD
Class NotEqualsFileNameFilter
传入 过滤掉的目录名
getPartitions
compute
传入参数：partition,TaskContext
ProcessBuilder
ProcessBuilder.start()
ProcessImpl.start()
UNIXProcess
ProcessBuilder.start()
spark.worker.separated.working.directory option解决路径冲突的问题
开启一个线程来处理标准错误输出
开启一个线程来处理标准命令输入
标准输出
val lines = Source.fromInputStream(proc.getInputStream)(encoding).getLines
RDD 3个pipe重载方法
职业：暂无
0 条评论
下一页
