Hadoop 集群环境搭建

发布时间:2023年12月20日

目录

第一部分:系统安装... 3

1:图形化安装... 3

2:选择中文... 3

3:安装选项... 3

4:软件选项... 4

5:安装位置... 4

6:网络配置... 6

7:开始安装... 7

8:创建用户... 7

9:重启系统... 7

10:登录测试... 8

第二部分:初始化设置... 9

1:SSH远程登录... 9

2:yum 源更新... 9

3:安装vim和wget. 11

4:增加test 用户权限... 12

5:修改主机 /tec/hosts 文件... 14

6:配置test 账户免密ssh 登录... 15

7:防火墙设置开机关闭... 17

第三部分:Java jdk 安装配置... 19

1:检查JAVA状态... 19

2:安装JAVA 1.8. 19

3配置环境变量... 20

第四部分:Hadoop 集群安装... 22

1:下载hadoop. 22

2:修改环境变量... 23

3:节点配置... 24

1:主节点安装(server1)... 24

2:备节点安装(server2 server3)... 28

第五部分:Hadoop 状态检查和常用命令... 31

1:网页状态查看... 31

2:控制台命令... 32

1:常用排查故障命令... 32

2:常用基础命令... 32

3:HDFS命令(Hadoop分布式文件系统)... 32

4:MapReduce作业运行命令... 33

5:YARN(Yet Another Resource Negotiator)命令... 33

6:Hadoop集群管理命令... 33

7:Hadoop配置文件管理命令... 33

第一部分:系统安装

大致过程:软件安装选择-------磁盘分区-------IP地址设置-----用户名密码设置

1:图形化安装

这里选择图形化安装。

2:选择中文

选择语言为中文。

3:安装选项

设置对应的安装选项。

4:软件选项

选择最小安装和系统管理工具。

5:安装位置

选择对应的磁盘并手动配置磁盘各分区大小。

点击自动创建

调整 /home 分区和/ 分区的大小,因为Hadoop默认的存储路径是在/目录下,所以/目录需要分配大一点。

分配后的各部分大小。

6:网络配置

手动指定IP地址和主机名。

215三台分别是192.168.1.190/191/192

7:开始安装

文章来源:https://blog.csdn.net/PoGeN1/article/details/135107681
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。