2023_Spark_实验三十三:配置Standalone模式Spark3.4.2集群

发布时间:2023年12月25日

实验目的:掌握Spark Standalone部署模式

实验方法:基于centos7部署Spark standalone模式集群

实验步骤:

一、下载spark软件

下载的时候下载与自己idea里对应版本的spark

News | Apache Spark


选择任意一个下载即可
- spark 3.4.1
- spark 3.4.2

二、安装Standalone模式部署spark

将下载好的spark软件上传到指定的linux集群中

# 解压到指定目录
tar -zxvf spark-3.4.2-bin-hadoop3-scala2.13.tgz -C /opt/module/spark/

# 更改所有权
chown -R hadoop:hadoop spark-3.4.2-bin-hadoop3-scala2.13/

配置环境变量

配置Spark配置文件

- spark-defaults.conf

- spark-env.sh

- workers

spark-defaults.conf配置如下

spark-env.sh配置如下

workers配置如下

配置spark一键启动脚本

启动spark standalone模式集群

三、验证Spark Standalone模式集群

登录hd1节点查看spark webUI 【记得改成自己对应的集群ip】

# 测试代码
spark-submit --class org.apache.spark.examples.SparkPi \
--driver-memory 512m \
--executor-memory 512m \
$SPARK_HOME/examples/jars/spark-examples_2.13-3.4.2.jar 10

spark-submit --class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.13-3.4.2.jar 10

实验结果:基于centos7完成Spark standalone模式集群部署

分析一个小工具,文件同步工具xsync,该工具可以将hd1节点上文件,文件夹分发到hd1,hd2,hd3节点

?

文章来源:https://blog.csdn.net/pblh123/article/details/135196923
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。