centos7安装hadoop2.6.1，详细教程-白红宇

centos7安装hadoop2.6.1，详细教程

阅读量：4625 次

发布时间：2019-06-09

本文共 3820 字，大约阅读时间需要 12 分钟。

1.我搭建的是三台centos7的环境首先准备三个centos7（文中出现的所有的链接都是我自己的）

　　centos7下载地址(也可以上官网自行下载):https://pan.baidu.com/s/1Y_EVLDuLwpKv2hU3HSiPDA 提取码：05mi

2.安装完成后需要修改ip,都改为静态的ip

　　vi /etc/sysconfig/network-scripts/ifcfg-ens33(有可能不是ifcfg-ens33,自行判断)，以下是我的配置，你们可以参考下

需要修改的配置 : BOOTPROTO="dhcp" 修改为 BOOTPROTO="static"

　需要添加的属性：

ONBOOT=yes #开机自动启用网络连接 IPADDR=192.168.111.10 # 静态ip地址 NETMASK=255.255.255.0 #设置子网掩码 GATEWAY=192.168.111.2 #设置网关 （网关查看步骤，vmware workstation==》编辑==》虚拟网络编辑器==》点VMnet8模式==》NAT设置==》网关IP）DNS1=119.29.29.29  #设置主DNS DNS2=210.2.4.8 #设置备DNS

三台虚拟机都需要配置我的三台机器是

　master:192.168.111.10 master

slave1:192.168.111.11 slave1

slave2:192.168.111.12 slave2

设置完毕重启网卡systemctl restart network

　curl www.baidu.com 返回正常即可

3.修改hostname

　 https://www.cnblogs.com/zhangjiahao/p/10990093.html

4.安装java环境（jdk)

　　https://www.cnblogs.com/zhangjiahao/p/8551362.html

5.配置多个虚拟机互信（免密登录）

　　https://www.cnblogs.com/zhangjiahao/p/10989245.html

6.安装配置hadoop

（1）下载

　　链接：https://pan.baidu.com/s/1m0IXN1up0nk2rxDUMgEC-g

提取码：mhxa

（2）上传解压

　　rz 选择你的文件进行上传

　 tar -zxvf 刚才上传的包进行解压

（3）配置

打开hadoop下的etc/hadoop 找到hadoop-env.sh和yarn-env.sh 在里面添加JAVA_HOME=/usr/local/src/java1.8.0_172（你的jdk安装路径）

　　编辑core-site.xml：


              
                       
       
        fs.default.name
                        
       
        hdfs://master:9000
                
               
                       
       
        hadoop.tmp.dir
                        
       
        file:/usr/local/src/hadoop-2.6.1/tmp

编辑hdfs-site.xml：


          
              
       
        dfs.namenode.secondary.http-address
               
       
        master:9091
           
          
               
       
        dfs.namenode.name.dir
                
       
        file:/usr/local/src/hadoop-2.6.1/dfs/name
            
           
               
       
        dfs.datanode.data.dir
                
       
        file:/usr/local/src/hadoop-2.6.1/dfs/data
            
           
               
       
        dfs.replication
                
       
        3

　　编辑mapred-site.xml：


          
               
       
        mapreduce.framework.name
                        
       
        yarn

　　编辑yarn-site.xml：


          
               
       
        yarn.nodemanager.aux-services
                
       
        mapreduce_shuffle
            
           
               
       
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
                
       
        org.apache.hadoop.mapred.ShuffleHandler
            
           
               
       
        yarn.resourcemanager.address
                
       
        master:8032
            
           
               
       
        yarn.resourcemanager.scheduler.address
                
       
        master:8030
            
           
               
       
        yarn.resourcemanager.resource-tracker.address
                
       
        master:8031
            
           
               
       
        yarn.resourcemanager.admin.address
                
       
        master:8033
            
           
               
       
        yarn.resourcemanager.webapp.address
                
       
        master:8088