博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
《Hadoop MapReduce实战手册》一2.11 在HDFS中合并文件
阅读量:7026 次
发布时间:2019-06-28

本文共 531 字,大约阅读时间需要 1 分钟。

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章,第2.11节,作者: 【美】Srinath Perera , Thilina Gunarathne 译者: 杨卓荦 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.11 在HDFS中合并文件

Hadoop MapReduce实战手册

本节将传授如何合并HDFS中的若干文件,以创建一个单独的文件。对于获取有多个输出部分结果的reducer的MapReduce作业的计算结果来说,这招非常有用。

操作步骤

HDFS的getMerge命令可以将HDFS中给定路径下的文件,复制到本地文件系统的单个合并后的文件中。

>bin/hadoopfs -getmerge /user/foo/demofiles merged.txt

工作原理

getmerge命令的语法如下:

hadoopfs -getmerge
[addnl]

getmerge命令有三个参数。第一个参数——是HDFS路径,它包含要连接文件的HDFS目录。是合并文件的本地文件名。addnl为可选参数,表示是否需要在每一个合并后的结果文件末尾添加新行。

转载地址:http://zdmxl.baihongyu.com/

你可能感兴趣的文章
在android studio上使用git
查看>>
Exchange Server 2013技术亮点之一:实现联机环境与本地环境的双重掌控
查看>>
Linux学习笔记之 加密解密介绍,以及运用Openssl创建私有CA
查看>>
我的友情链接
查看>>
我的友情链接
查看>>
mysql 1449 : The user specified as a definer ('xxx'@'%') does not exist
查看>>
Apache 2.2配置段和容器
查看>>
Azure Stack技术深入浅出系列6:Azure Stack一体机探究 — 揭开黑盒子的神秘面纱
查看>>
HTTP严格传输安全协议 (HSTS)
查看>>
实战虚拟化存储设计之一
查看>>
网络设计之二vLAN
查看>>
Exchange2013证书配置(超详细)
查看>>
【vSphere故障案例】案例七:数据中心虚拟化网络故障
查看>>
我的友情链接
查看>>
“你是怎么利用时间的?”之二
查看>>
我的友情链接
查看>>
CSS 层叠式样式表
查看>>
mysql5.6 开启慢连接日志
查看>>
MySQL用户管理
查看>>
苹果电脑清理软件不等双十一提前搞事情
查看>>