大数据 - Doris系列《一》- Doris简介

目录

🐶1.1 Doris 概述

🐶1.2 OLAP和OLTP（面试）

1. 应用场景

🥙联机事务处理OLTP(On-Line Transaction Processing)

🥙联机分析处理OLAP(On-Line Analytical Processing)

2. OLAP和OLTP比较--“用户行为日志数据”

3. 常见的开源OLAP引擎

🐶1.3 使用场景

🐶1.4 优势

🐶1.5 架构

1.🥙FE（Frontend）

2. 🥙BE（Backend）

3. 🥙MySQL Client

4. Broker:

🐶1.6 默认端口

---

🐶1.1 Doris 概述

Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后， 更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一 业务最大可达到上百 TB。

Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）

分析型（OLAP）数据库产品。仅需亚秒级（一秒钟的十亿分之一）响应时间即可获得查询结果，有效地支持实时数据分析。

大规模并行处理：存储的数据量大、计算的数据量也很大。

Apache Doris 的分布式架构非常简洁，易于运维，并且可以支持 10PB 以上的超大数据集。

Apache Doris 可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。

🐶1.2 OLAP和OLTP（面试）

1. 应用场景

?

OLAP（联机分析处理）和OLTP（联机事务处理）是两种不同类型的数据库处理系统，它们存在的意义主要在于满足不同的业务需求和数据处理目标。

🥙联机事务处理OLTP(On-Line Transaction Processing)

公司业务系统使用数据库的场景，针对业务系统数据库有大量随机的增删改查

• ?高并发

• 速度要快

• 支持事务

在淘宝的网站上，OLTP系统用于处理用户的交易，包括浏览商品、下单、付款等。每个用户的交互都会影响数据库中的实时数据，例如库存数量、订单状态等。这确保了淘宝平台能够在高并发环境下迅速处理大量的交易请求。

🥙联机分析处理OLAP(On-Line Analytical Processing)

• 公司的数据分析使用数据库的场景，对已经生成好的数据进行统计分析

• 一次操作都是针对的整个数据集

• 只有查这个动作，不会去增删改

• 查询的响应速度相对慢点也能接受

• 并发量要求不是太高

?淘宝也需要使用OLAP系统来进行分析，以了解用户购物习惯、热门商品趋势、销售季节性等信息。通过OLAP，淘宝可以生成各种报告和可视化图表，帮助业务决策者更好地了解市场动态，并采取适当的策略，例如优化推荐算法、调整营销策略等。 OLAP还可以用于监测业务的整体健康状况，发现潜在的问题并及时采取行动。

2. OLAP和OLTP比较--“用户行为日志数据”

	OLTP	OLAP
数据源	仅包含当前运行日常业务数据	整合来自多个来源的数据，包括OLTP和外部来源
目的	面向应用,面向业务,支撑事务	面向主题，面向分析，支持分析决策
焦点	当下	主要面向过去，面向历史(实时数仓除外)
任务	增删改查	主要是用于读，select查询，写操作很少
响应时间	毫秒	秒，分钟，小时，天，这些取决于数据量和查询的复杂程度
数据量	小数据,MB,GB	大数据，TP,PB

?

3. 常见的开源OLAP引擎

开源OLAP引擎	优点	缺点	技术融合成本	易用性	使用场景	运维成本	引擎类型
ClickHouse	列式存储 单极性彪悍 保留明细数据	分布式集群在线扩展支持不佳 运维成本极高	高	非标协议接口	全面	高	纯列存OLAP
Druid	实时数据摄入 列式存储和位图索引 多租户和高并发	OLAP性能分场景表现差异大 使用门槛高 仅支持聚合查询	高	非标协议接口	局限	高	MOLAP
TiDB	HTAP混合数据库 同时支持明细和聚合查询 高度兼容mysql	非列式存储 OLAP能力不足	低	SQL标准	全面	低	纯列存OLAP
Kylin	与计算引擎，可以对数据一次聚合多次查询 支持数据规模超大 易用性强，支持标准sql 性能强，查询数据快	需要依赖hadoop生态 仅支持聚合查·询 不支持adhoc查询 不支持join和对数据的更新	高	SQL标准	局限	高	MOLAP
Doris	GooleMesa+Apache Impa+ORCFile/Parquet 主键更新 支持Rollup Table 高并发和高通图的Ad-hoc查询 支持聚合+明细数据查询 无外部系统依赖	成熟度不够	低	兼容mysql访问协议	全面	低	HOLAP

🐶1.3 使用场景

• 报表分析

  • 实时看板 （Dashboards）

  • 面向企业内部分析师和管理者的报表

  • 面向用户或者客户的高并发报表分析（Customer Facing Analytics）。比如面向网站主的站点分析、面向广告主的广告报表，并发通常要求成千上万的 QPS ，查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris ，每天写入 100 亿行数据，查询并发 QPS 上万，99 分位的查询延时 150ms。

• 即席查询（Ad-hoc Query）：面向分析师的自助分析，查询模式不固定，要求较高的吞吐。小米公司基于 Doris 构建了增长分析平台（Growing Analytics，GA），利用用户行为数据对业务进行增长分析，平均查询延时 10s，95 分位的查询延时 30s 以内，每天的 SQL 查询量为数万条。

• 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。海底捞基于 Doris 构建的统一数仓，替换了原来由 Spark、Hive、Hbase、Phoenix 组成的旧架构，架构大大简化。

• 数据湖联邦查询：通过外表的方式联邦分析位于 Hive、Hudi 中的数据，在避免数据拷贝的前提下，查询性能大幅提升

🐶1.4 优势

?

🐶1.5 架构

Doris 的架构很简洁，只设 FE(Frontend)前端进程、BE(Backend)后端进程两种角色、两个后台的服务进程，不依赖于外部组件，方便部署和运维，FE、BE 都可在线性扩展。

1.🥙FE（Frontend）

??存储、维护集群元数据；负责接收、解析查询请求，规划查询计划,调度查询执行，返回查询结果。主要有三个角色：

• Leader 和 Follower：主要是用来达到元数据的高可用，保证单节点宕机的情况下,元数据能够实时地在线恢复，而不影响整个服务。

  注意点：follower的存活数量要超过半数才能正常执行。

  • Leader: ①生成sql的执行计划 ②修改，写入元数据 ③备份元数据

  • follower: ①生成sql的执行计划 ② 备份元数据 ③leader挂了以后，竞选leader

• Observer：用来扩展查询节点，同时起到元数据备份的作用。如果在发现集群压力非常大的情况下，需要去扩展整个查询的能力，那么可以加 observer 的节点。observer 不参与任何的写入，只参与读取。

  • observer: ①生成sql的执行计划 ②备份元数据

2. 🥙BE（Backend）

负责物理数据的存储和计算；依据 FE 生成的物理计划，分布式地执行查询。数据的可靠性由 BE 保证，BE 会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。

3. 🥙MySQL Client

Doris 借助 MySQL 协议，用户使用任意 MySQL 的 ODBC/JDBC 以及 MySQL 的客户端，都可以直接访问 Doris。

mysql -uroot -p -P9030 -hhadoop01

Mysql 本地主机名：localhost 端口号：3306

Mysql linux本地主机名或IP地址：hadoop01 hadoop02 hadoop03 192.168.252.101/192.168.252.102/192.168.252.103

4. Broker:

一个独立的无状态进程。封装了文件系统接口，提供 Doris 读取远端存储系统中文件的能力，包括 HDFS，S3，BOS 等。

?

🐶1.6 默认端口

实例名称	端口名称	默认端口	通讯方向	说明
BE	be_port	9060	FE-->BE	BE 上 thrift server 的端口,用于接收来自 FE 的请求
BE	webserver_port	8040	BE<-->FE	BE 上的 http server 端口
BE	heartbeat_service_port	9050	FE-->BE	BE 上心跳服务端口,用于接收来自 FE 的心跳
BE	brpc_prot*	8060	FE<-->BE,BE<-->BE	BE 上的 brpc 端口,用于 BE 之间通信
FE	http_port	8030	FE<-->FE ,用户<--> FE	FE 上的 http_server 端口
FE	rpc_port	9020	BE-->FE ,FE<-->FE	FE 上 thirft server 端口
FE	query_port	9030	用户<--> FE	FE 上的 mysql server 端口
FE	edit_log_port	9010	FE<-->FE	FE 上 bdbje 之间通信用的端口
Broker	broker_ipc_port	8000	FE-->BROKER,BE-->BROKER	Broker 上的 thrift server,用于接收请求

常用端口号

端口号	作用
8030	FE的Web UI端口
8040	BE的Web UI端口
9030	MYSQL客户端连接Doris的端口
9050	BE上心跳服务端口，用于接收来自FE的心跳
9010	FE之间的通信的端口