虚机环境配置
目前只有一台虚拟机,设置IP为192.168.26.131,对这台虚拟机进行环境和Hadoop相关的配置后,关闭它然后克隆两个相同的虚拟机,然后针对每台虚拟机做虚拟机独有的设置
- 设置主机名
- 设置SSH免密码登陆
在一台虚机上,做如下操作:
- IP与域名绑定
- 关闭防火墙
- Hadoop相关配置
1. IP与域名绑定
编辑文件sudo vim /etc/hosts,输入如下内容:
192.168.26.131 hadoop.master 192.168.26.132 hadoop.slave1 192.168.26.133 hadoop.slave2
2. 关闭防火墙
systemctl status firewalld.service #查看防火墙状态 sudo systemctl stop firewalld.service #停止防火墙服务 sudo systemctl disable firewalld.service #永久不启用防火墙服务
3. Hadoop相关配置---见后面Hadoop相关配置
Hadoop相关的配置主要涉及/home/hadoop/software/hadoop-2.5.2/etc/hadoop目录下的其个文件:
- yarn-site.xml
- mapred-site.xml
- core-site.xml
- hdfs-site.xml
- slaves
- hadoop-env.sh
- yarn-env.sh
3.1. yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>hadoop.master:8032</value> <description>ResourceManager的RPC服务端口,用于NodeManager,ApplicationMaster与RM通信<description> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>hadoop.master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>hadoop.master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>hadoop.master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>hadoop.master:8088</value> <description>ResourceManager的HTTP服务端口,http://rm:8088可以查看RM的<description> </property> </configuration>
3.2 mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <description>指定mapreduce框架基于yarn,也就是说,mapreduce的调度是采用yarn<description> </property> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop.master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop.master:19888</value> <description>指定yarn的history server的http端口</description> </property> </configuration>
3.3 core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop.master:9000</value> <description>指定hdfs的地址,可以通过基于这个地址访问HDFS</description> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/data/tmp</value> </property> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value></value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value></value> </property> <property> <name>hadoop.native.lib</name> <value>true</value> <description>Should native hadoop libraries, if present, be used.</description> </property> </configuration>
3.4 hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/data/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/data/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop.master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>
3.5 slaves
hadoop.slave1 hadoop.slave2
3.6 yarn-env.sh
添加export JAVA_HOME=/home/hadoop/software/jdk1.7.0_67
3.7 hadoop-env.sh
添加export JAVA_HOME=/home/hadoop/software/jdk1.7.0_67
关闭上面的虚拟机,复制两份虚机,每个虚机做如下操作
- 配置主机名
1. 在192.168.26.131上设置主机名为hadoop.master
sudo hostnamectl set-hostname hadoop.master #查看主机名 hostname
2. 在192.168.26.132上设置主机名为hadoop.slave1
sudo hostnamectl set-hostname hadoop.slave1 #查看主机名 hostname
3. 在192.168.26.133上设置主机名为hadoop.slave2
sudo hostnamectl set-hostname hadoop.slave2 #查看主机名 hostname
- SSH免密码登录
1.在192.168.26.131,192.168.26.132,192.168.26.133上分别执行如下命令,生成RSA私有密钥和公有密钥
ssh-keygen -t rsa -P ""
2. 在每个虚机上,执行如下操作:
2.1 将当前目录切换到/home/hadoop/.ssh
2.2 执行如下命令将id_rsa.pub复制到authorized_keys文件中(这个命令首先创建authorized_keys文件)
cat id_rsa.pub > authorized_keys
4.在每台虚拟机上设置.ssh目录和authorized_keys文件的权限
chmod 700 .ssh chmod 600 authorized_keys
5. 在192.168.26.131上执行如下命令,检查SSH免密码登录是否起作用
ssh localhost exit ssh 192.168.26.132 exit ssh 192.168.26.133 exit5.在其它两台虚拟机上分别执行步骤4
运行Hadoop
- 在192.168.26.131上格式化Hadoop的Namenode
- 在192.168.26.131上启动Hadoop
1. 切换到/home/hadoop/software/hadoop-2.5.2/sbin目录
- 查看Hadoop进程
1. 在192.168.26.131执行jps命令,查看主节点进程
[hadoop@hadoop hadoop]$ jps 3537 SecondaryNameNode 3330 NameNode 5278 Jps 3700 ResourceManager
2. 在192.168.26.132执行jps命令,查看子节点Slave1进程
2400 DataNode 2533 NodeManager 3621 Jps
3. 在192.168.26.133执行jps命令,查看子节点Slave2进程
2235 DataNode 3565 Jps 2376 NodeManager
- 运行WordCount程序
- 查看Hadoop的web页面
访问:http://hadoop.master:8088
http://hadoop.master:8088/cluster/nodes
http://hadoop.master:8088/cluster/apps
HDFS状态
访问http://hadoop.master:50070
访问http://hadoop.master:9001/status.html查看secondary namenode的状态
备忘:http://www.cnblogs.com/meiyuanbao/p/hadoop2.html
相关推荐
hadoop2.4.1从官方下载下来的二本地包是32位系统的,64位下需要自己下载源码编译。整个过程有点麻烦而且时间有点长。该文件是本人在centos7_64位下编译好的包。有需要的朋友自己下载。
Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop集群(第5期副刊)_...
CentOS-6.4-x86_64下,hadoop-2.6.5,支持snappy的native lib
Hadoop安装教程_单机_伪分布式配置_CentOS6.4_Hadoop2.6
centos7通过ambari快速布署hadoop HA集群
细品味Hadoop_Hadoop集群(第1期)_CentOS安装配置
教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。
centos7_hadoop3.1.2_hdfs配置(完整版).docx
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
CentOS7x86-64bit+JDK1.8+hadoop2.7.2安装部署CentOS7x86-64bit+JDK1.8+hadoop2.7.2安装部署CentOS7x86-64bit+JDK1.8+hadoop2.7.2安装部署CentOS7x86-64bit+JDK1.8+hadoop2.7.2安装部署CentOS7x86-64bit+JDK1.8+...
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客总结、分享、收获大数据 (http://dblab.xmu.
Hadoop 2.6.5在CentOS6.8版本下的集群部署 1
CentOS7 Hadoop 2.7.X 安装部署
1)Hadoop集群_第1期_CentOS安装配置_V1.0 2)Hadoop集群_第2期_机器信息分布表_V1.1 3)Hadoop集群_第3期_VSFTP安装配置_V1.0 4)Hadoop集群_第4期_SecureCRT使用_V1.0 5)Hadoop集群_第5期_Hadoop...
细细品味Hadoop系列第一期,主要介绍Centos的安装和配置。
格式化文件系统(仅第一次执行即可,不要重复执行):hdfs/hadoop namenode -format 启动hdfs: sbin/start-dfs.sh 验证是否启动成功: jps DataNode SecondaryNameNode NameNode 浏览器访问方式: ...
最近要在公司里搭建一个hadoop测试集群,于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了,但是其中都有不少坑,在此记录一下自己安装的过程。 目标:使用docker搭建一个一主两从三台机器...
在centos7下编译hadoop2.7.3所需工具:apache-ant-1.9.4-bin.tar.gz、apache-maven-3.3.3-bin.tar.gz、findbugs-3.0.1.tar.gz、hadoop-2.7.3-src.tar.gz、protobuf-2.5.0.tar.gz
linux:centos6.5 hadoop版本:2.6.0 集群方式:伪分布式 已经通过 内容比较详尽
Hadoop2.6.5在CentOS6.8版本下的集群部署,图文教程,很详细