hadoop1.x完全分布式安装

与伪分布式安装的主要区别：

主要是ssh免密码登陆部分有所区别。伪分布式所有节点位于一台主机，一次免密码登陆实际上是免密码登陆本机；完全分布式要求免密码登陆集群内所有机器。

hadoop1.x完全分布式安装步骤（虚拟机环境下）：

0.安装建议：

在多次安装之后个人推荐使用CentOS安装，网络连接方式使用桥接（后来看到NAT的貌似更合理，但没有尝试）。在使用ubuntu桌面版本期间网络连接不稳定，无规律出现宿主机与虚拟机无法连接的状况。

ubuntu桌面版的好处：不用关闭iptables、selinux；额外步骤：开启root用户

CentOS我使用的是最简版，以下以CentOS最简版本安装为例介绍。

安装前准备工作：
1. 安装虚拟机和Linux
2. 安装jdk（建议配置环境变量）、下载解压Hadoop
3. 关闭linux的iptables、seLinux（chkconfig iptables off、/etc/selinux/config）
4. 设置静态IP（/etc/sysconfig/network-scripts/ifcfg-eth0、/etc/resolv.conf）
5. 重启网络（/etc/init.d/network restart）
6. 修改主机名（/etc/sysconfig/network）
7. 配置hosts（/etc/hosts）
8. 配置yum源/etc/yum.repos.d/yum.repo

静态IP配置文件示例：

DEVICE=eth0ONBOOT=yesBOOTPROTO=noneIPADDR=192.168.1.120NETMASK=255.255.255.0GATEWAY=192.168.1.1

yum文件配置示例：

[name]name=myyumbaseurl=http://mirrors.163.com/centos/6.5/os/x86_64gpgcheck=0

2. 配置免密码ssh登陆

ssh-keygen -t rsacd ~/.sshscp ./id_rsa.pub root@192.168.1.112:/root/.ssh/authorized_keys

1.>生成ssh密钥位于~/.ssh文件夹

2.>将公钥复制的集群内某一主机（注意后面的位置与自己机器设置保持一致）

3.>集群内所有主机重复1.>,将所有公钥集中存储在一台机器的anthorized_keys文件

4.>将存有所有主机公钥的authorized_keys文件复制到集群所有主机

3. 修改Hadoop配置文件

所有配置文件位于hadoop安装目录下的conf目录下

注意：所有配置文件仅仅是示例，具体内容应与自己集群的设置保持一致

1.>hadoop-env.sh（修改jdk安装位置即可）

2.>core-site.xml


    
    
    
    	
     		
      
       fs.default.name
      		
      
       hdfs://backup01:9000
      	
     		
     		
      
       hadoop.tmp.dir
      		
      
       /usr/local/hadoop_tmp

3.>hdfs-site.xml


    
    
    
    	
     		
      
       dfs.replication
      		
      
       2

4.>mapred-site.xml


    
    
    
    	
     		
      
       mapred.job.tracker
      		
      
       backup01:9001

5.>master（写入主节点主机名）

6.>slaves（写入从节点主机名）

4. 启动前工作

1.>SCP命令复制hadoop文件夹至集群所有主机

2.>格式化namenode：

$HADOOP_HOME$/bin hadoop namenode -format

注意：不要重复格式化

5. 启动Hadoop集群

 $HADOOP_HOME$/bin start-all.sh

如果没有什么异常。至此，Hadoop1.x完全分布式安装完成。

hadoop2.x安装

与hadoop1.x安装类似，主要不同集中在配置文件和启动方式，修改配置文件之前工作于安装hadoop1.x一致

修改配置文件：

7个配置文件

hadoop/etc/hadoop/hadoop-env.sh（选择jdk）

hadoop/etc/hadoop/yarn-sev.sh（选择jdk）

hadoop/etc/hadoop/slaves（写入从节点）

hadoop/etc/hadoop/core-site.xml


    
    
    	
     		
      
       fs.defaultFS
      		
      
       hdfs://h1:9000
      	
     	
     		
      
       io.file.buffer.size
      		
      
       131072
      	
     	
     		
      
       hadoop.tmp.dir
      		
      
       file:/usr/local/hadoop/tmp
      	
     	
     		
      
       hadoop.proxyuser.hduser.hosts
      		
      
       *
      	
     	
     		
      
       hadoop.proxyuser.hduser.groups
      		
      
       *

hadoop/etc/hadoop/hdfs-site.xml


    
    
    	
     		
      
       dfs.namenode.secondary.http-address
      		
      
       h1:9001
      	
     	
     		
      
       dfs.namenode.name.dir
      		
      
       file:/usr/local/hadoop/name
      		
     	
     		
      
       dfs.namenode.data.dir
      		
      
       file:/usr/local/hadoop/data
      	
     	
     		
      
       dfs.replication
      		
      
       2
      	
     	
     		
      
       dfs.webhdfs.enabled
      		
      
       true

hadoop/etc/hadoop/mapred-site.xml


    
    
    	
     		
      
       mapreduce.framework.name
      		
      
       yarn
      	
     	
     		
      
       mapreduce.jobhistory.address
      		
      
       h1:10020
      		
     	
     		
      
       mapredece.jobhistory.webapp.address
      		
      
       h1:19888

hadoop/etc/hadoop/yarn-site.xml


    
    
     	
     		
      
       yarn.nodemanager.aux-services
      		
      
       mapreduce_shuffle
      	
     	
     		
      
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
      		
      
       org.apache.hadoop.mapred.ShuffleHandler
      	
     	
     		
      
       yarn.resourcemanager.address
      		
      
       h1:8032
      	
     	
     		
      
       yarn.resourcemanager.scheduler.address
      		
      
       h1:8030
      	
     	
     		
      
       yarn.resourcemanager.resource-tracker.address
      		
      
       h1:8031
      	
     	
     		
      
       yarn.resourcemanager.admin.address
      		
      
       h1:8033
      	
     	
     		
      
       yarn.resourcemanager.webapp.address
      		
      
       h1:8088