详解MRS HBase全局二级索引

发布时间:2023年12月29日

本文分享自华为云社区《MRS HBase全局二级索引原理与使用场景》,作者:学习一下大数据 。

一、HBase二级索引背景介绍

HBase是基于Key-Value的分布式存储数据库,对表中的数据按照rowkey的字典进行排序;当已知要查询的数据rowkey或其范围,可以快速查找到需要读取的数据;HBase提供Filter功能来查询具有特定列值的数据,当无法确定rowkey范围时,条件查询会劣化为全表查询,表数据量较大的场景下,查询容易超时,无法满足查询时延要求。

与结构化数据库(例如MySQL)相似,HBase二级索引就是为了提升此类条件查询场景性能:查询条件无法精确/模糊匹配rowkey(类似于DB主键),同时严格要求查询时延。

二、MRS HBase二级索引原理

用户可以将定义经常查询的列定义为索引列,通过冗余存储索引列数据以达到加速查询的效果,将时间不可控的全表条件查询转换为区间条件查询,从而做到查询低时延。

MRS提供两种HBase二级索引:本地索引(HIndex)和 全局索引(GSI);两者的区别是:

cke_137.png

cke_138.png

  • 索引数据存储方式:本地索引存储索引数据到用户表的一个单独的列族中,全局索引存储到一个索引表中(索引数据独立存储)。
  • 写入流程:本地索引一次性写入用户数据和索引数据,全局索引需要先后写入索引表和数据表。
  • 读取流程:本地索引需要读取所有region的索引+用户数据,全局索引读取索引表(覆盖查询列场景下,不经过数据表)或索引表+数据表。

MRS 3.x版本提供了HBase全局索引能力,相较于本地索引,具有的优势有:

  • 索引数据独立存储,解耦用户数据,稳定性更优
  • 索引查询链路优化,支持覆盖列(支持全覆盖),可以将经常查询的非索引列冗余存储到索引表,避免从原表获取数据,同时减少了查询过程中内部的RPC操作,在大规模数据场景下,查询性能更优

此外,全局索引还提供以下工具,用于索引的维护:

  • 索引创建/删除/状态修改工具
  • 索引数据批量构建工具
  • 索引数据一致性校验工具

三、MRS 全局二级索引使用场景

全局二级索引适用于以下场景:

  • 经常使用固定条件(非rowkey)查询
  • 查询时延有严格要求
  • 用户表的数据量较大(region数量较多)
  • 读多写少,对写入时延无严格要求(为保障索引数据一致性,全局索引采用分阶段式写入的方式,写入时延会有一定上升)

全局二级索引同时需要考虑,预留足够存储空间给索引表,索引数量/覆盖列/索引列越多,需要的空间越大,极限场景(全覆盖)下,与数据表大小相当。

四、MRS HBase全局二级设计与实战

基于HBase全局二级索引查询时,并非所有查询都能命中索引进行加速(HBase全局二级索引的使用规范详见用户手册),想要利用好索引功能,必须根据查询条件设计好索引。

以下实例展示了城市地点人流量统计功能实现,包括索引设计、查询条件等。

数据表定义

create 'city','cf',{SPLITS=>['0','1','2','3','4','5']}

rowkey定义:数据id(随机数字id,用于离散数据)

列名

含义

cf:city_id

城市id(0-9)

cf:location_id

场所id(0-9)

cf:visitors_nums

人流量数值

cf:time

时间点(整小时)

索引定义

索引名:idx_vn_time

索引字段:cf:visitors_nums+cf:time

覆盖列:全覆盖

该索引用于筛选人流量较大的地区信息

数据表查询对比

预置数据:10MB,预分区11个region,HBase集群节点3个

cke_139.png

查询条件1:查询人流量大于9000的地区信息

scan 'city',{COLUMN=>'cf', FILTER=>"SingleColumnValueFilter('cf','visitors_nums',>=,'binary:9000')"}

cke_140.png

禁用索引后再次查询

cke_141.png

查询条件2:查询2021-01-10 0点-12点,人流量大于9000的地区信息

scan 'city',{COLUMN=>'cf', FILTER=>"SingleColumnValueFilter('cf','visitors_nums',>=,'binary:9000') AND SingleColumnValueFilter('cf','time',>=,'binary:1610208000000') AND SingleColumnValueFilter('cf','time',<,'binary:1610251200000')"}

cke_142.png

禁用索引后再次查询

cke_143.png

可以看到,命中索引时,查询效率提升十分明显,即使在小表上,也能获得数倍的性能提升。

注:命中索引后的查询结果按索引定义排序

点击关注,第一时间了解华为云新鲜技术~

文章来源:https://blog.csdn.net/devcloud/article/details/135236424
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。