1+X大数据平台运维职业技能等级证书中级

发布时间:2023年12月17日

hadoop:


由于我的功能限制,我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导,帮助您完成这些任务。
1. 解压JDK安装包到“/usr/local/src”路径,并配置环境变量。
? ?- 解压JDK:`tar -zxf jdk-版本号-linux-x64.tar.gz` 到 `/usr/local/src/`
? ?- 配置环境变量:编辑 `~/.bashrc` 或 `~/.bash_profile`,添加 `export JAVA_HOME=/usr/local/src/jdk-版本号` 和 `export PATH=$JAVA_HOME/bin:$PATH`
? ?- 使环境变量生效:`source ~/.bashrc` 或 `source ~/.bash_profile`
2. 在指定目录下安装ssh服务,查看ssh进程。
? ?- 安装SSH服务:`yum install openssh-server`
? ?- 查看SSH进程:`ps -ef | grep ssh`
3. 创建SSH密钥,实现主节点与从节点的无密码登录。
? ?- 在主节点创建密钥:`ssh-keygen -t rsa`
? ?- 将公钥复制到从节点:`ssh-copy-id user@slave-node`
4. 修改每台主机host文件。
? ?- 编辑 `/etc/hosts` 文件,添加或修改IP地址与主机名的映射关系。
5. 修改每台主机hostname文件配置IP与主机名映射关系。
? ?- 编辑 `/etc/hostname` 文件,确保其中记录了正确的主机名。
6. 在主节点和从节点修改Hadoop环境变量。
? ?- 编辑 `~/.bashrc` 或 `~/.bash_profile`,添加Hadoop的环境变量配置。
7. 安装Zookeeper组件。
? ?- 根据Zookeeper的安装指南进行安装。
8. 修改namenode、datanode、journalnode等存放数据的公共目录。
? ?- 编辑Hadoop配置文件,指定公共目录为 `/usr/local/hadoop/tmp`。
9. 修改Hadoop相关文件,并初始化Hadoop。
? ?- 根据要求编辑Hadoop配置文件,初始化Hadoop集群。
10. 启动Hadoop,使用相关命令查看所有节点Hadoop进程。
? ? - 启动Hadoop集群,使用 `jps` 命令查看节点进程。
11. 配置完成后在Hadoop平台上运行查看进程命令。
? ? - 在Hadoop平台上执行 `jps` 或相应进程查看命令,并截屏保存结果。
12. 格式化主从节点。
? ? - 使用Hadoop命令格式化主从节点。
13. 启动两个namenode和resourcemanager。
? ? - 使用Hadoop命令启动两个namenode和resourcemanager。
14. 使用查看进程命令查看进程,并截图。
? ? - 执行 `jps` 命令,并截取包含主机名称的图片。
? ? - 访问两个namenode和resourcemanager的web界面,并截图保存包含URL和状态的信息。
15. 终止active的namenode进程,并使用Jps查看各个节点进程。
? ? - 使用 `kill` 命令终止active的namenode进程。
? ? - 使用 `jps` 命令查看节点进程,并截图。
? ? - 访问两个namenode和resourcemanager的web界面,并截图保存包含URL和状态的信息。
16. 重启刚才终止的namenode,并查看jps进程。
? ? - 重启namenode进程。
? ? - 使用 `jps` 命令查看进程。
? ? - 访问两个namenode的web界面,并截图保存。
请注意,以上步骤需要根据您的实际环境和配置进行调整。在执行操作时,应具备相应权限,并严格按照操作规范进行,避免对系统造成不必要的影

spark:


由于我的功能限制,我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导,帮助您完成这些任务。
1. 需前置Hadoop环境,并检查Hadoop环境是否可用。
? ?- 确保已经安装并配置好Hadoop环境。
? ?- 使用 `hadoop version` 命令检查Hadoop版本,并截图保存结果。
2. 解压Scala安装包到“/etc/local/src”路径下,并更名为scala。
? ?- 解压Scala安装包:`tar -zxf scala-版本号.tgz` 到 `/etc/local/src/`
? ?- 重命名解压后的文件夹为 `scala`:`mv /etc/local/src/scala-版本号 /etc/local/src/scala`
3. 设置Scala环境变量,并使环境变量只对当前用户生效。
? ?- 编辑 `~/.bashrc` 或 `~/.bash_profile`,添加 `export SCALA_HOME=/etc/local/src/scala` 和 `export PATH=$SCALA_HOME/bin:$PATH`
? ?- 使环境变量生效:`source ~/.bashrc` 或 `source ~/.bash_profile`
? ?- 使用 `echo $SCALA_HOME` 命令检查Scala环境变量,并截图保存结果。
4. 进入Scala并截图。
? ?- 使用 `scala` 命令进入Scala交互式shell。
? ?- 使用截图工具截取Scala交互式shell的界面,并保存结果。
5. 解压Spark安装包到“/etc/local/src”路径下,并更名为spark。
? ?- 解压Spark安装包:`tar -zxf spark-版本号.tgz` 到 `/etc/local/src/`
? ?- 重命名解压后的文件夹为 `spark`:`mv /etc/local/src/spark-版本号 /etc/local/src/spark`
6. 设置Spark环境变量,并使环境变量只对当前用户生效。
? ?- 编辑 `~/.bashrc` 或 `~/.bash_profile`,添加 `export SPARK_HOME=/etc/local/src/spark` 和 `export PATH=$SPARK_HOME/bin:$PATH`
? ?- 使环境变量生效:`source ~/.bashrc` 或 `source ~/.bash_profile`
? ?- 使用 `echo $SPARK_HOME` 命令检查Spark环境变量,并截图保存结果。
7. 修改Spark参数配置,指定Spark slave节点。
? ?- 编辑Spark配置文件 `spark-defaults.conf`,在文件中添加 `spark.workerNode Address` 配置项,指定slave节点的IP地址和端口。
? ?- 使用 `cat` 或 `less` 命令查看配置文件内容,并截图保存结果。
8. 启动Spark,并使用命令查看webUI结果。
? ?- 使用 `spark-submit` 命令启动Spark应用。
? ?- 使用 `curl` 或浏览器访问Spark webUI,并截图保存结果。
请注意,以上步骤需要根据您的实际环境和配置进行调整。在执行操作时,应具备相应权限,并严格按照操作规范进行,避免对系统造成不必要的影

kafka:


由于我的功能限制,我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导,帮助您完成这些任务。
1. 安装Zookeeper组件,与Kafka环境适配,启动Zookeeper。
? ?- 根据Zookeeper的安装指南进行安装。
? ?- 使用 `zkCli.sh` 命令启动Zookeeper,并截图保存结果。
2. 解压Kafka安装包到“/usr/local/src”路径,并修改解压后文件夹名为kafka。
? ?- 解压Kafka安装包:`tar -zxf kafka_2.12-版本号.tgz` 到 `/usr/local/src/`
? ?- 重命名解压后的文件夹为 `kafka`:`mv /usr/local/src/kafka_2.12-版本号 /usr/local/src/kafka`
3. 设置Kafka环境变量,并使环境变量只对当前root用户生效。
? ?- 编辑 `~root/.bashrc` 或 `~root/.bash_profile`,添加 `export KAFKA_HOME=/usr/local/src/kafka` 和 `export PATH=$KAFKA_HOME/bin:$PATH`
? ?- 使环境变量生效:`source ~/.bashrc` 或 `source ~/.bash_profile`
? ?- 使用 `echo $KAFKA_HOME` 命令检查Kafka环境变量,并截图保存结果。
4. 修改Kafka相应文件。
? ?- 根据实际需求修改Kafka配置文件,如 `server.properties`、`consumer.properties` 和 `producer.properties`。
? ?- 使用 `cat` 或 `less` 命令查看修改后的配置文件内容,并截图保存结果。
5. 启动Kafka并保存命令输出结果。
? ?- 使用 `kafka-server-start.sh` 命令启动Kafka服务。
? ?- 使用 `tail` 命令查看Kafka日志输出,并截图保存结果。
6. 创建指定topic。
? ?- 使用 `kafka-topics.sh` 命令创建topic,如 `kafka-topics.sh --create --topic mytopic --partitions 3 --replication-factor 2`
? ?- 使用 `kafka-topics.sh --list` 命令查看创建的topic,并截图保存结果。
7. 查看所有的topic信息。
? ?- 使用 `kafka-topics.sh --describe` 命令查看所有topic的详细信息,并截图保存结果。
8. 启动指定生产者(producer)。
? ?- 使用 `kafka-console-producer.sh` 命令启动生产者,并截图保存结果。
9. 启动消费者(consumer)。
? ?- 使用 `kafka-console-consumer.sh` 命令启动消费者,并截图保存结果。
10. 测试生产者(producer)。
? ? - 在生产者终端输入数据,观察Kafka主题中是否出现数据,并截图保存结果。
11. 测试消费者(consumer)。
? ? - 在消费者终端观察收到的数据,并截图保存结果。
请注意,以上步骤需要根据您的实际环境和配置进行调整。在执行操作时,应具备相应权限,并严格按照操作规范进行,避免对系统造成不必要的影

storm:


由于我的功能限制,我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导,帮助您完成这些任务。
1. 前置安装Zookeeper集群。
? ?- 根据Zookeeper的安装指南进行安装。
? ?- 使用 `zkCli.sh` 命令检查Zookeeper集群状态,并截图保存结果。
2. 解压Storm安装包到“/usr/local/src”路径,并修改解压后文件夹名为storm。
? ?- 解压Storm安装包:`tar -zxf storm-版本号.tgz` 到 `/usr/local/src/`
? ?- 重命名解压后的文件夹为 `storm`:`mv /usr/local/src/storm-版本号 /usr/local/src/storm`
3. 配置“conf/storm.yaml”文件。
? ?- 编辑 `conf/storm.yaml` 文件,根据实际需求进行配置。
? ?- 使用 `cat` 或 `less` 命令查看配置文件内容,并截图保存结果。
4. 传送配置好的“conf/storm.yaml”文件。
? ?- 使用 `scp` 或其他文件传输工具将配置好的 `conf/storm.yaml` 文件传送到从节点。
? ?- 使用 `ls` 命令在从节点上确认文件已传输,并截图保存结果。
5. 配置nimbus.seeds文件。
? ?- 编辑 `storm/Config.java` 文件,根据实际需求配置nimbus.seeds。
? ?- 使用 `cat` 或 `less` 命令查看修改后的 `storm/Config.java` 文件内容,并截图保存结果。
6. 配置supervisor.slots.ports。
? ?- 编辑 `storm.yaml` 文件,配置 supervisor.slots.ports 参数。
? ?- 使用 `cat` 或 `less` 命令查看修改后的 `storm.yaml` 文件内容,并截图保存结果。
7. 拷贝主节点Storm包到从节点。
? ?- 使用 `scp` 或其他文件传输工具将主节点的Storm包拷贝到从节点。
? ?- 使用 `ls` 命令在从节点上确认Storm包已拷贝,并截图保存结果。
8. 设置Storm环境变量,并使环境变量只对当前root用户生效。
? ?- 编辑 `~root/.bashrc` 或 `~root/.bash_profile`,添加 `export STORM_HOME=/usr/local/src/storm` 和 `export PATH=$STORM_HOME/bin:$PATH`
? ?- 使环境变量生效:`source ~/.bashrc` 或 `source ~/.bash_profile`
? ?- 使用 `echo $STORM_HOME` 命令检查Storm环境变量,并截图保存结果。
9. 在主节点和从节点启动Storm,并截图保存(要求截到url和状态)。
? ?- 在主节点上使用 `storm nimbus` 命令启动Nimbus。
? ?- 在从节点上使用 `storm supervisor` 命令启动Supervisor。
? ?- 使用浏览器或 `curl` 命令访问Nimbus和Supervisor的WebUI,并截图保存结果。
请注意,以上步骤需要根据您的实际环境和配置进行调整。在执行操作时,应具备相应权限,并严格按照操作规范进行,避免对系统造成不必要的影

Guff_hys_python数据结构,大数据开发学习,python实训项目-CSDN博客

文章来源:https://blog.csdn.net/HYSliuliuliu/article/details/134992035
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。