本文共 531 字,大约阅读时间需要 1 分钟。
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章,第2.11节,作者: 【美】Srinath Perera , Thilina Gunarathne 译者: 杨卓荦 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。
Hadoop MapReduce实战手册
本节将传授如何合并HDFS中的若干文件,以创建一个单独的文件。对于获取有多个输出部分结果的reducer的MapReduce作业的计算结果来说,这招非常有用。操作步骤
HDFS的getMerge命令可以将HDFS中给定路径下的文件,复制到本地文件系统的单个合并后的文件中。>bin/hadoopfs -getmerge /user/foo/demofiles merged.txt
工作原理
getmerge命令的语法如下:hadoopfs -getmerge[addnl]
getmerge命令有三个参数。第一个参数——是HDFS路径,它包含要连接文件的HDFS目录。是合并文件的本地文件名。addnl为可选参数,表示是否需要在每一个合并后的结果文件末尾添加新行。
转载地址:http://zdmxl.baihongyu.com/