大数据 - Hadoop系列《二》- Hadoop组成

发布时间:2023年12月31日

目录

🐶3.1 hadoop组成

🐶3.1 HDFS 架构概述

1.?NameNode(nn):

?编辑2. DataNode(dn):

3. Secondary NameNode(2nn):

🐶3.2 YARN 架构概述

🐶3.3 MapReduce 架构概述

🐶3.4 HDFS、YARN、MapReduce 三者关系

🐶3.5 大数据技术生态体系

3.5.1 结构化数据与半结构化数据

3.5.2 图中涉及的技术名词解释:


🐶3.1 hadoop组成

  • HDFS (Hadoop Distributed File System) 分布式文件系统:负责海量数据的存储和管理

  • MapReduce分布式运算系统: 负责海量数据的运算

  • YARN分布式资源调度和任务监控平台

在Hadoop1.x 时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。

在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce 只负责运算。

Hadoop3.x在组成上没有变化。

在软件工程中,耦合(Coupling)是指两个模块(或组件、类等)之间的依赖关系程度,即一个模块对另一个模块的了解程度。耦合性描述了模块之间的关联程度,这个关联可能是由于一个模块需要调用另一个模块的功能、使用其数据,或者直接依赖于另一个模块的实现细节等。

🐶3.1 HDFS 架构概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

1.?NameNode(nn):

存储文件的元数据,如文件名文件目录结构文件属性(生成时间、副本数、文件权限),以及每个文件的块列表块所在的DataNode等。

2. DataNode(dn):

在本地文件系统存储文件块数据,以及块数据的校验和

3. Secondary NameNode(2nn):

每隔一段时间对NameNode元数据备份

🐶3.2 YARN 架构概述

Yet Another Resource Negotiator 简称YARN ,另一种资源协调者,是Hadoop 的资源管理器。

ResourceManager(RM):整个集群资源(内存、CPU等)的管理者

NodeManager(NM):单个节点服务器资源的管理者。

ApplicationMaster(AM):单个任务运行的管理者。

Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存CPU、磁盘、网络等。

容器(Container)是一种虚拟化技术的概念。容器并不是传统意义上的虚拟机(VM),而是更轻量级的虚拟化形式,用于隔离和管理运行在同一物理机上的不同任务。

在YARN中,容器是资源的一个抽象,它提供了一种隔离和封装计算任务所需资源的机制。每个容器都封装了运行一个特定任务所需的资源,包括内存、CPU、磁盘、网络等。容器的概念允许多个任务同时在同一物理节点上运行,而彼此之间相互隔离,互不影响。

?说明:

(1)客户端可以有多个

(2)集群上可以运行多个ApplicationMaster

(3)每个NodeManager上可以有多个Container

🐶3.3 MapReduce 架构概述

MapReduce 将计算过程分为两个阶段:Map 和Reduce

1)Map 阶段并行处理输入数据

2)Reduce 阶段对Map 结果进行汇总

🐶3.4 HDFS、YARN、MapReduce 三者关系

如图所示:

?

DataNode就负责数据实实在在的存储。

NameNode负责告诉别人我的数据存储在哪个节点上,存储了什么信息。相当于账本。

SecondaryNameNode:相当于秘书,如果NameNode挂了,2nn会备份一部分数据,来恢复namenode一部分工作(不是所有工作)。

🐶3.5 大数据技术生态体系

如图所示:

?

3.5.1 结构化数据与半结构化数据

  • 结构化数据:

    • 定义: 结构化数据是按照固定格式和模式组织的数据,通常以表格形式存储在关系型数据库中。这种数据类型具有清晰的数据模型和明确定义的架构,每个数据字段都有固定的数据类型。

    • 示例: 关系型数据库表中的数据是典型的结构化数据。例如,一个包含员工信息的数据库表,其中每个员工的姓名、员工号、职位等信息都有明确定义的字段和数据类型。

  • 半结构化数据:

    • 定义: 半结构化数据不像结构化数据那样有明确的表格结构,但它包含一些结构元素,使得数据元素之间有某种形式的关系。半结构化数据通常以层次化结构或标记语言表示,如XML(可扩展标记语言)或JSON(JavaScript对象表示)。

    • 示例:以下是一个文件日志的半结构化数据的简单例子,通常可以使用文本格式,如JSON或XML。

{
  "timestamp": "2023-01-15T12:30:45",
  "level": "INFO",
  "message": "Application started successfully.",
  "source": "MainApplication",
  "user": {
    "id": "12345",
    "name": "John Doe"
  },
  "metadata": {
    "ip_address": "192.168.1.101",
    "server": "web-server-01"
  }
}

在这个例子中,文件日志的每一条记录都以JSON格式表示。关键元素包括:

  • timestamp: 记录的时间戳。

  • level: 日志级别(例如,INFO、WARN、ERROR)。

  • message: 记录的文本消息。

  • source: 产生日志的源或模块名称。

  • user: 包含用户相关信息的对象。

  • metadata: 包含其他元数据的对象,如IP地址、服务器名称等。

这种表示形式具有半结构化的特点,因为它允许根据需要添加或省略特定的字段,而不像严格结构化的表格形式那样要求每个记录具有相同的列。这使得处理不同类型或版本的日志变得更加灵活。

3.5.2 图中涉及的技术名词解释:

(1)Sqoop:Sqoop 是一款开源的工具,主要用于在Hadoop、Hive 与传统的数据库(MySQL)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop 的HDFS 中,也可以将HDFS 的数据导进到关系型数据库中。

(2)Flume:Flume 是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume 支持在日志系统中定制各类数据发送方,用于收集数据。

(3)Kafka:Kafka 是一种高吞吐量的分布式发布订阅消息系统。

(4)Spark:Spark 是当前最流行的开源大数据内存计算框架。可以基于Hadoop 上存储的大数据进行计算。

(5)Flink:Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

(6)Oozie:Oozie 是一个管理Hadoop 作业(job)的工作流程调度管理系统。

(7)Hbase:HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。

(8)Hive:Hive 是基于Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL 查询功能,可以将SQL 语句转换为MapReduce 任务进行运行。其优点是学习成本低,可以通过类SQL 语句快速实现简单的MapReduce 统计,不必开发专门的MapReduce 应用,十分适合数据仓库的统计分析。

(9)ZooKeeper:它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

文章来源:https://blog.csdn.net/weixin_40968325/article/details/135305969
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。