如何使用Hadoop存档工具

这篇文章给大家分享的是有关如何使用Hadoop存档工具的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

我们提供的服务有：成都网站设计、网站建设、外贸网站建设、微信公众号开发、网站优化、网站认证、崇信ssl等。为数千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的崇信网站制作公司

• 每个文件按块方式存储, 每个块的元数据存储在namenode的内存中

• Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问

• Hadoop存档文件可以用作MapReduce的输入

使用Hadoop存档工具

• Hadoop存档是通过archive工具根据一组文件创建而来的,该存档工具运行一个MapReduce作业来并行处理所有的输入文件

• 使用archive

hadoop archive -archiveName files.har /my/files /my

• 第一个选项是存档文件的名称,这里是第一个参数 file.har

• 第二个参数是需要存档的文件

• 第三个参数是HAR文件的输出目录

• 列出HAR文件中的文件

hadoop fs -ls /my/files.har

• 递归列出HAR文件中的文件

  hadoop fs -lsr /my/files.har

• 其他文件系统中引用HAR文件,则需要使用不同的URI路径格式,示例如下

 hadoop fs -lsr 
	不足
		新建一个存档文件会创建原始文件的一个副本	
		一旦创建,不能修改	
		InputFormat不知道文件已经存档	

感谢各位的阅读！关于“如何使用Hadoop存档工具”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！

网页名称：如何使用Hadoop存档工具
分享URL：https://www.cdcxhl.com/article44/johcee.html

成都网站建设公司_创新互联，为您提供自适应网站、商城网站、用户体验、响应式网站、外贸建站、手机网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联