Hologres + Flink 流式湖仓建设

发布时间:2024年01月15日

Hologres + Flink 流式湖仓建设

1 Flink + Hologres

在这里插入图片描述

holo在实时数仓领域非常受欢迎,一般搭配flink+hologres来做实时数仓,中间分层用holo,上下游一般依赖于holo的binlog来下发数据
在这里插入图片描述

2 实时维表 Lookup

在这里插入图片描述
Hologres 作为 Flink 的实时维表,相比其他维表具有以下优势:

  • 维表百万 RPS 查询。

通过 Hologres 行存表主键点查的能力,支持非常高 RPS 的查询,更容易达到百每秒百万单次查询,我们内部存在一些业务甚至可以到达几千万和上亿次的查询。

  • 维表实时可更新。
    可以实现更新维表及其中的一部分字段,降低运维难度,提升效率。

  • 支持1对N点查(Prefix Scan)。
    不仅支持一对一查询,更支持一对多查询。例如我们在保险客户里面,需要根据身份证查询有哪些保单,一个人可能会对应多张保单,这种一对 N 的查询 Hologres 可以非常友好的支持。

  • 支持 InsertIfNotExist。
    在一般维表进行查询时,查到就返回,查不到就返回空,但通过这个能力,Hologres 可以做到在查询不到数据时插入一则数值,再把插入值返回。这个功能可以用来玩转流量分析场景的精确 UV 查询,通过 RoaringBitmap 画像方案,让千亿级别的画像分析从分钟级缩减到秒级。

文章来源:https://blog.csdn.net/Direction_Wind/article/details/135597074
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。