Linux下Nutch分布式配置和使用.rar下载

这是本人在完全分布式环境下在Cent-OS中配置Nutch-1.1时的总结文档，但该文档适合所有Linux系统和目前各版本的nutch。 目 录 介绍 ............................................................... 2 0 集群网络环境介绍 ................................................. 2 1 /etc/hosts文件配置 ............................................... 2 2 SSH无密码验证配置 ................................................ 2 2.1配置所有节点之间SSH无密码验证 ................................ 2 3 JDK安装和Java环境变量配置 ........................................ 3 3.1 安装 JDK 1.6 ................................................ 3 3.2 Java环境变量配置 ............................................ 4 4 Hadoop集群配置 ................................................... 4 5 Hadoop集群启动 ................................................... 6 6 Nutch分布式爬虫 .................................................. 9 6.1配置Nutch配置文件 ............................................ 9 6.2 执行Nutch分布式爬虫 ........................................ 10 7 Nutch检索 ....................................................... 13 7.1 Windows下Nutch单机搜索本地索引数据 ......................... 13 7.2 Linux下Nutch单机搜索本地索引数据 ........................... 14 7.2.1 WEB前端搜索 ........................................... 14 7.2.2 命令行搜索 ............................................ 15 7.3 Linux下Nutch搜索HDFS中索引数据 ............................. 15 7.3.1 WEB前端搜索