Hadoop 文件系统

Hadoop 有一个抽象的文件系统概念。Java 抽象类 org.apache.hadoop.fs.FileSystem 定义了 Hadoop 中一个文件系统的客户端接口,并且该抽象类有几个具体实现,其中常用的如下表:

文件系统 URI 方案 Java 实现 描述
Local file:///path fs.LocalFileSystem 使用客户端检验和的本地磁盘文件系统。使用 RawLocalFileSystem 表示无校验和的本地磁盘文件系统。
HDFS hdfs://host/path hdfs.DistributedFileSystem Hadoop 的分布式文件系统
FTP ftp://host/path fs.ftp.FTPFileSystem 由 FTP 服务器支持的文件系统
SFTP sftp://host/path fs.sftp.SFTPFileSystem 由 SFTP 服务器支持的文件系统
阅读更多