| Blog信息 |
|
blog名称:
日志总数:1304
评论数量:2242
留言数量:5
访问次数:7591329
建立时间:2006年5月29日 |
| |
|
 [Apache(jakarta)]Distributed Hadoop Execution
软件技术
lhwork 发表于 2006/12/13 15:29:08 |
| Hadoop 带有一个ant的build脚本，修改target
compile-examples中的include路径，设为自己的demo路径。然后运行 ant
examples，会在build脚本目录下面生成一个build目录，里面已经包含了构建好的jar包等。
建一个JobServerMain，内容为
public static void main(String[] args) throws IOException, InterruptedException
{
JobTracker.main(new String[]{});
}
用于启动JobTracker。再建一个TaskServerMain，内容
public static void main(String[] args) throws IOException
{
TaskTracker.main(new String[]{});
}
用于启动TaskTracker。
接下来设置配置文件，将 hadoop-default.xml 中
dfs.name.dirdfs.data.dirmapred.local.dirmapred.system.dirmapred.temp.dirmapred.job.trackermapred.job.tracker.info.portmapred.task.tracker.output.portmapred.task.tracker.report.port的项 copy 到 hadoop-site.xml 中，然后放到 build 目录下面。
修改 mapred.job.tracker，设为非local的地址值，这里设置为 192.168.0.200:50020。接下来的TaskTracker和Client都会连接到这个中心服务器地址。
写两个bat文件来执行两个Tracker，注意TaskTracker的bat里面，classpath要写完整的绝对路径，因为它启动的子进程是使用父进程的classpath的，如果使用相对路径可能会出现问题。
先启动JobTracker，它会读取配置文件，然后列出一堆参数，最后启动jetty web server。
接着启动TaskServer。TaskServer可以在本机或其它地方启动，只要能够连接上JobTracker就可以了。这里在本地运行。启动后，
它也是读取配置文件，然后监听Tracker和TrackerInfo两个服务的端口，最后连接到JobTracker。
最后运行
Client。在运行过程中，JobTracker会不断发送Task到TaskTracker中，TaskTracker则执行MapReduce操
作，执行完毕后通知JobTracker，JobTracker则定时反馈进度给Client。若此时有新的TaskTracker连接到
JobTracker中，也会承担起当前的任务执行工作。此外从Client的输出可以看到，Map和Reduce都有进度，这表明两个操作是交替执行
的，当一个Map任务执行完毕，就会新增一个Reduce任务到JobTracker中。
当Map操作结束后，Client输出:
060401 111358 task_r_err30a 0.5% reduce > sort
060401 111359 task_r_err30a 0.5% reduce > sort
060401 111400 task_r_err30a 0.5% reduce > sort
因为之前已经已经了部分Reduce操作，这里先进行合并。接下来是排序操作。
060401 111358 task_r_err30a 0.5% reduce > sort
060401 111359 task_r_err30a 0.5% reduce > sort
060401 111400 task_r_err30a 0.5% reduce > sort
任务执行完毕后，清理临时文件:
060401 111622 Task task_r_1o8w5i is done.
060401 111623 Server connection on port 50050 from 192.168.0.204: exiting
060401 111630 task_m_1yw1dp done; removing files.
060401 111640 task_m_2lhjqk done; removing files.
060401 111650 task_m_2o8wh3 done; removing files.
这样就完成了一整个过程。要执行大的任务，可以在一部Server上面运行JobTracker，其它n部机上运行TaskTracker，各Server处于百兆网上面，这样任务的复制传输和处理就会很高效了。
文章最后，我要说说JobTracker的网络性能。根据Source，它是使用线程来处理连接的阻塞IO，当连接上来的TaskTracker比较多的
时候，可能会有IO上面的问题。不知道Google的那套方案，JobTracker是不是也是分布式的呢，它们给出的性能测试中，机器群集达到了
1800
台之多，如果所有的Input都集中在一个client，job管理都集中在一个JobTracker，这样机器负担会很大，而且刚开始数据传输也没有充
分利用带宽。 |
|
|