关于Mapreduce执行原理下列描述有误的是?
每个输入分片会让一个map任务来处理,默认情况下,以HDFS的一个块的大小(默认64M)为一个分片,当然也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中
在写入磁盘之后,线程先根据reduce任务的数目将数据划分为相同数目的分区,也就是一个reduce任务对应一个分区的数据。
当map任务输出最后一个记录时,可能会有很多的溢出文件,这时需要将这些文件合并。合并的过程中会不断地进行排序和combiner操作
当Map端合并文件时不断地进行排序和combiner操作,这样做的目的是尽量减少每次写入磁盘的数据量;尽量减少下一复制阶段网络传输的数据量。