| Blog信息 |
|
blog名称:
日志总数:1304
评论数量:2242
留言数量:5
访问次数:7590882
建立时间:2006年5月29日 |
| |
|
 [Apache(jakarta)]Hadoop Inside (2)
软件技术
lhwork 发表于 2006/12/13 15:29:50 |
| Hadoop 的文件系统，最重要是 FileSystem 类，以及它的两个子类 LocalFileSystem 和 DistributedFileSystem。 这里先分析 FileSystem。
抽象类 FileSystem，提高了一系列对文件/目录操作的接口，还有一些辅助方法。分别说明一下:
1. open，create，delete，rename等，非abstract，部分返回 FSDataOutputStream，作为流进行处理。
2. openRaw，createRaw，renameRaw，deleteRaw等，abstract，部分返回 FSInputStream，可以随机访问。
3. lock，release，copyFromLocalFile，moveFromLocalFile，copyToLocalFile 等abstract method，提供便利作用，从方法命名可以看出作用。
特别说明，Hadoop的文件系统，每个文件都有一个checksum，一个crc文件。因此FileSystem里面的部分代码对此进行了特别的处理，比如 rename。
LocalFileSystem 和 DistributedFileSystem，理应对用户透明，这里不多做分析，和 FSDataInputStream，FSInputStream 结合一起说明一下。
查看两个子类的 getFileCacheHints 方法，可以看到 LocalFileSystem 是使用'localhost'来命名，这里暂且估计两个FileSystem都是通过网络进行数据通讯，一个是Internet，一个是Intranet。
LocalFileSystem 里面有两个内部类
LocalFSFileInputStream和LocalFSFileOutputStream，查看代码可以看到它是使用
FileChannel进行操作的。另外 lock和release 两个方法使用了TreeMap来保存文件和对应的锁。
DistributedFileSystem 代码量少于 LocalFileSystem，但是更加复杂，它里面使用了 DFSClient 来进行分布式文件系统的操作:
public DistributedFileSystem(InetSocketAddress namenode, Configuration conf) throws IOException
{
super(conf);
this.dfs = new DFSClient(namenode, conf);
this.name = namenode.getHostName() + ":" + namenode.getPort();
}
DFSClient 类接收一个InetSocketAddress 和Configuration
作为输入，对网络传输细节进行了封装。DistributedFileSystem中绝大多数方法都是调用DFSClient进行处理，它只是一个
Warpper。下面着重分析DFSClient。
DFSClient中，主要使用RPC来进行网络的通讯，而不是直接在内部使用Socket。如果要详细了解传输细节，可以查看 org.apache.hadoop.ipc 这个包里面的3个Class。
DFSClient 中的路径，基本上都是UTF8类型，而非String，在DistributedFileSystem中，通过getPath和getDFSPath来转换，这样做可以保证路径格式的标准和数据传输的一致性。
DFSClient 中的大多数方法，也是直接委托ClientProtocol类型的namenode来执行，这里主要分析其它方法。
LeaseChecker 内部类。一个守护线程，定期对namenode进行renewLease操作，注释说明:
Client programs can cause stateful changes in the NameNode that affect
other clients. A client may obtain a file and neither abandon nor
complete it. A client might hold a series of locks that prevent other
clients from proceeding. Clearly,
it would be bad if a client held a bunch of locks that it never gave
up. This can happen easily if the client dies unexpectedly. So, the
NameNode will revoke the locks and live file-creates for clients that
it thinks have died. A client tells the NameNode that it is still
alive by periodically calling renewLease(). If a certain amount of time
passes since the last call to renewLease(), the NameNode assumes the
client has died.
作用是对client进行心跳监测，若client挂掉了，执行解锁操作。
DFSInputStream 和 DFSOutputStream，比LocalFileSystem里面的更为复杂，也是通过
ClientProtocol 进行操作，里面使用到了 org.apache.hadoop.dfs
包中的数据结构，如DataNode，Block等，这里不对这些细节进行分析。
对FileSystem的分析(1)到此结束，个人感觉它的封装还是做的不错的，从Nutch项目分离出来后，比原先更为清晰。 下面就接着进行MapReduce的第二部分分析，从MapReduce如何进行分布式 |
|
|