1. hadoop-daemon.sh
1.1 启动HDFS
./hadoop-daemon.sh start namenode ./hadoop-daemon.sh start datanode
通过这种逐步启动的方式,比start-all.sh方式少了一个SecondaryNameNode进程,这不影响Hadoop的使用,其实在 Hadoop2.0中,SecondaryNameNode的功能被NameNode HA(Standby NameNode取代)
可以通过查看日志/home/hadoop/software/hadoop-2.5.2/logs/hadoop-hadoop-datanode-hadoop.master.log
HDFS启动成功后就可以通过浏览器访问50070,可以看到HDFS的状态,而无需YARN启动才使用HDFS
1.2 启动JournalNode
./hadoop-daemon.sh start journalnode
2. yarn-daemon.sh
启动YARN
./yarn-daemon.sh start resourcemanager ./yarn-daemon.sh start nodemanager
3. hadoo-daemons.sh,hadoop-daemon.sh
1. 停掉集群中的一个DataNode
到要停掉DataNode的节点指定如下命令:./hadoop-daemon.sh stop datanode
2. 停掉集群的所有DataNode和NameNode
在namenode上执行如下命令:sbin/stop-dfs.sh
说明:stop-dfs.sh表示停止HDFS的所有DataNode以及NameNode
3. 停掉集群的所有DataNode,但是不停止NameNode
在NameNode节点执行如下命令:
./hadoop-daemons.sh stop datanode
4. 只停止NameNode,而不停止DataNode(不考虑这种情况),
在NameNode节点执行如下命令:
./hadoop-daemons.sh stop namenode
相关推荐
将文件中的hadoop配置文件、自动安装脚本,自己下载的jdk、hadoop文件放于同一目录下,(注jdk、hadoop文件名中要包含关键字jdk、hadoop),然后运行脚本。详细请看说明。
HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本
脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...
hadoop 高可用启动脚本,运行启动zookeeper集群和hadoop ha集群
停止集群麻烦,所以写的脚本。私我可以免费发给你。上传只为自己以后用,防止丢失。
hadoop一键安装脚本,支持安装hadoop集群,zk集群 ha高可用
在学习hadoop启动脚本过程中记录的,有一定的参考价值,值得一看!
适用于《shell脚本配置伪分布式Hadoop》
Hadoop分布式文件系统(HDFS™):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。 Hadoop YARN:作业调度和集群资源管理的框架。 Hadoop MapReduce:一种用于并行处理大型数据集的基于YARN的系统。
hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境
hadoop集群关机重启shell脚本
docx
在集群中配置ssh免密钥登陆的脚本,根据实际情况简单修改脚本内容,即可快速配置。
自动化安装脚本 需要安装expect,并依据自己的实际环境更改ip和hostname 需要jdk的安装文件,需要重命名为jdk7.rpm
利用shell脚本 对Hadoop环境进行傻瓜式配置 先解压! 环节包括: 1.修改hostname 2.修改hosts 3.配置免密 4.Hadoop配置文件的更改 !!!!!!!!!!!!!!!!!!!! ps 请特别注意以下几个问题: 1....
启动集群脚本,私聊免费发。上传只为防丢失。以备后用
3台zookeeper,实现namenode和resourcemanager的高可用,脚本实现12台机器ssh免密登陆的全部自动化,还有配置文件的分发也全部是脚本实现,这样就很省事了
安装hadoop时,集群式安装需要来回的切换机器,那么还有每一步都需要配置文件,很繁琐,所以就在这写了一个脚本
Hadoop高可用自动化安装使用Shell脚本,可自行修改适配自己的集群,完全自动化,仅提供脚本,软件自备
hadoop 部分 shell 脚本