数仓建设学习路线(四)-指标体系建设

发布时间:2024年01月22日

指标体系建设目的

与下游(风控/bi)达成合作,保障指标建设时口径的统一,完成指标覆盖,提升复用性,通过可视化方式提升查询效率

指标中心图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

指标体系建设难点

? 能否与下游达成共识(沟通)
? 指标能否做到数仓收口
? 需要与其他部门配合(数据平台/前端),进度难把控,容易烂尾
? 如何推广给下游
? 开发变更/下线规范难保障

指标标准

  • 来源表信息保持一致
    • 做到尽可能从“核心表”复用字段
  • 口径统一(多数在dws层)
    • 业务口径(偏文字叙述)
    • 计算口径(sql代码)
    • 计算维度统一
  • 指标类型
    • 原子指标指的是基于业务过程的度量值,顾名思义是不可以在进行拆分的指标,如交易笔数、交易金额、交易用户数
    • 基于原子指标、时间周期和维度,圈定业务统计范围并分析获取业务统计指标的数值,派生指标=原子指标+业务限定+统计周期+维度的组合(统计粒度),如交易金额的完成值、计划值,累计值等指建立在基础指标之上,通过一定运算规则形成的计算指标集合,如平均用户交易额、资产负债率、同比、环比、占比等
  • 指标变更/下线流程
    • 如果发现字段变更后对下游自己的表/报表产生影响,那自己负责修改代码并让其他同学进行代码审核、数据质量审核且任务运行成功后方可发布线上
      如果下游血缘存在不是自己的表/报表,需要在相关业务群里说一下/找到下游表owner/报表owner发送通知,让下游owner进行修改,如联系不上需要向owner的leader说明问题,并且让下游表/报表的owner当天回复一下受不受影响,不回复则对方承担问题责任,如果对方不接受修改方案,需要双方约定一下修改内容、修改日期,重定方案
    • 如果发现下游都是自己的表/报表,那自己负责将代码中的字段下线(字段下线不是删表从建,而是将字段置空等操作)并让其他同学进行代码审核,任务运行成功后方可发布,并且去除相应字段dqc检测(如果有该字段dqc的话)
      如果下游血缘存在不是自己的的表/报表,需要在相关业务群里说一下/找到下游表owner/报表owner发送通知,让下游评估字段下线对下游的影响,如果评估没问题则让其进行代码中的字段下线,如联系不上需要向owner的leader说明问题,如果对方不接受字段下线,需要双方约定一下时间进行商讨

如何开发指标平台

数据平台功能构造
与前端配合,数仓完成指标信息统计以及录入,前端完成数据填充可视化

如何与其他团队完成指标平台共建(内部指标中心搭建,也可购买云端产品)

  • 数分/风控团队
    • 与数分/风控协商完成指标共同维护,方便数分/风控使用查询,也方便数分/风控为下游解释指标口径,从而做到双赢
  • 前端/数平团队
    • 与前团/数平团队共同完成指标中心可视化搭建,解决下游使用痛点
  • 成果
    • 前端/数平构建平台帮助下游通过可视化方式查询
    • 数仓提供指标内容方便下游使用,提升查询效率,帮助下游理解
    • 数分/风控为下游带来了口径解释,同时方便维护理解,帮助新人完成业务理
文章来源:https://blog.csdn.net/qq_41794285/article/details/135749896
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。