博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Centos6.5 Hadoop完全分布集群搭建详解
阅读量:6279 次
发布时间:2019-06-22

本文共 4191 字,大约阅读时间需要 13 分钟。

hot3.png

#系统:centos6.5	64位#JDK:1.7.0_79#Hadoop:2.4.0 	64位#注:(配置网络,首先配置好一台主机,另外的克隆主机即可)

一、安装SSH

yum install openssh

二、关闭防火墙

chkconfig iptables offsudo gedit /etc/selinux/config  # 改为 SELINUX=disabled

三、修改hosts文件

sudo gedit /etc/hosts

把里面所有的内容使用#注释掉,然后添加主机的ip和主机名

192.168.10.110		Master192.168.10.111		Slave1192.168.10.112		Slave2

四、设置免密码登陆

ssh-keygen -t rsa		#一路空格```					切换到ssh的目录

cd /root/.ssh cat id_rsa.pub >> authorized_keys

测试是否可以免密码登陆

ssh Master

五、配置JDK把JDK 解压到 /usr/java/ 目录下配置JDK的环境变量

sudo gedit /etc/profile #在最后一行增加以下内容: JAVA_HOME=/usr/java/jdk1.7.0_79 JRE_HOME=/usr/java/jdk1.7.0_79/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

五、配置Hadoop解压Hadoop-2.4.0到 /usr/java 的目录下需要配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、yarn-env.sh、slaves。1、core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value> <description>默认HDFS的路径</description> <final>true</final> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/java/hadoop-2.4.0/tmp</value> <description>临时文件夹路径</description> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> <description>缓冲区的大小:io.file.buffer.size 默认4KB</description> </property> <property> <name>hadoop.proxyuser.hduser.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hduser.groups</name> <value>*</value> </property> </configuration>

2、hdfs-site.xml

<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>Master:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/java/hadoop-2.4.0/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/java/hadoop-2.4.0/dfs/datanode</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>

3、mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <description>Execution framework set to Hadoop YARN.</description> </property> <property> <name>mapreduce.jobhistory.address</name> <value>Master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>Master:19888</value> </property> </configuration>

4、yarn-site.xml

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>Master:8032</value> <description>The address of the applications manager interface in the RM.</description> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>Master:8030</value> <description>The address of the scheduler interface,in order for the RM to obtain the resource from scheduler</description> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>Master:8031</value> <description>The address of the resource tracker interface for the nodeManagers</description> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>Master:8033</value> <description>The address for admin manager</description> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>Master:8088</value> <description>The address of the RM web application.</description> </property>

</configuration>

5、hadoop-env.sh     (增加JDK的安装目录)

export JAVA_HOME=/usr/java/jdk1.7.0_79

6、yarn-env.sh     (增加JDK的安装目录)

export JAVA_HOME=/usr/java/jdk1.7.0_79

7、slaves

Slave1 Slave2

六、配置Hadoop的环境变量

sudo gedit /etc/profile

set hadoop path

export HADOOP_HOME=/usr/hadoop export PATH=$PATH :$HADOOP_HOME/bin

七、克隆两台虚拟机,配置好网络。192.168.10.111   192.168.10.112八、互相ping ip地址,看是否可以ping通。互相 ssh ip地址,看是否可以免密码登陆。九、回到Master的主机,切换到Hadoop的目录下执行

[hadoop@Master hadoop]$ bin/hadoop namenode -format [hadoop@Master hadoop]$ bin/start-all.sh

十、打开浏览器,输入 192.168.10.110:50075看是否有两个节点。

转载于:https://my.oschina.net/u/2489258/blog/776229

你可能感兴趣的文章
Hibernate一对一外键双向关联
查看>>
mac pro 入手,php环境配置总结
查看>>
MyBatis-Plus | 最简单的查询操作教程(Lambda)
查看>>
rpmfusion 的国内大学 NEU 源配置
查看>>
spring jpa 配置详解
查看>>
IOE,为什么去IOE?
查看>>
java 用反射简单应用,将Object简单转换成map
查看>>
Storm中的Worker
查看>>
dangdang.ddframe.job中页面修改表达式后进行检查
查看>>
Web基础架构:负载均衡和LVS
查看>>
Linux下c/c++相对路径动态库的生成与使用
查看>>
SHELL实现跳板机,只允许用户执行少量允许的命令
查看>>
SpringBoot 整合Redis
查看>>
2014上半年大片早知道
查看>>
Android 6.0指纹识别App开发案例
查看>>
正文提取算法
查看>>
轻松学PHP
查看>>
Linux中的网络监控命令
查看>>
this的用法
查看>>
windows下安装redis
查看>>