任务6：启动Hadoop集群并测试

任务描述

知识点：

• 掌握Hadoop集群的启动

重? 点：

• Hadoop集群的格式化流程
• Hadoop集群的启动流程

内? 容：

• 格式化Hadoop集群
• 启动测试Hadoop集群

任务指导

启动Hadoop集群并测试，过程如下：

• 初始化HDFS；
• 在master服务器启动Hadoop集群；
• 使用jps命令查看相应的守护进程是否正常启动；
• 打开浏览器，测试8088端口和50070端口对应的管理页面是否正常；
• 停止Hadoop集群。

最后可以通过jps命令查看到相应的守护进程如下：

主机名	守护进程
master	NameNode、SecondaryNameNode、ResourceManager
slave1	DataNode、NodeManager
slave2	DataNode、NodeManager

任务实现

1. 在master服务器启动Hadoop集群

• 在master服务器节点上，进入Hadoop安装目录 /home/hadoop/hadoop-2.9.2

[ root@master ~] cd /home/hadoop/hadoop-2.9.2

• 输入【# bin/hdfs namenode -format】命令进行初始化hdfs

[ root@master hadoop-2.9.2 ]# bin/hdfs namenode -format 

• 输入【# sbin/start-all.sh】命令启动全部守护进程，也可以分开启动各个进程【# sbin/start-dfs.sh】、【# sbin/start-yarn.sh】

[ root@master hadoop-2.9.2 ]# sbin/start-all.sh

• 如果要停止Hadoop集群，可以输入【# sbin/stop-all.sh】命令，停止Hadoop集群

[ root@master hadoop-2.9.2 ]# sbin/stop-all.sh

2. 查看Hadoop5个守护进程

• 在master机器输入【jps】命令，可以查看到3个守护进程，分别为NameNode、SecondaryNameNode、ResourceManager。

• 在slave机器输入【jps】命令，可以查看到2个守护进程，分别为NodeManager、DataNode。

3.?使用浏览器Web访问，测试8088端口和50070端口（要先要确保开放了端口或者直接关闭防火墙）

• 在master中打开浏览器访问：http://localhost:8088/

• 在master中打开浏览器访问：http://localhost:50070/

• 安装完成。这只是大数据应用的开始，之后的工作就是，结合自己的情况，编写程序调用Hadoop的接口，发挥HDFS、MapReduce的作用。