Freud's Blog

Stay hungry, stay foolish. 少年辛苦终身事，莫向光阴惰寸功。

Hadoop 之(五) - HDFS - PathFilter

Posted on Mar 27, 2015 By Freud Kang

文件过滤

  • Hadoop支持基于Linux的所有通配符比如 *

  • 自定义PathFilter

    • 实现PathFilter接口
    • 实现accept方法
			public boolean accept(Path path);
		
* 符合过滤条件的返回true，不符合的返回false
* `FileSystem.globStatus (Path, PathFilter)`;
* `FileInputFormat.setInputPathFilter(Job, PathFilter)`



参考资料

Hadoop官方文档 : http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

陆嘉恒 : 《Hadoop实战》 第2版