谈到指标,相信每家企业都遇到过以下问题:
· 对指标的定义不清晰,必须跨部门反复沟通,新建、修改指标的成本高;
· 各种指标逻辑近似,但没有复用,数据团队有大量重复工作;
· 由于没有生命周期运营,许多指标开发完没多久就“沉睡”或“空转”;
· 因为指标二义性、指标逻辑不清等遗留问题,用户对指标信任度低,用之前不得不反复确认细节。
针对上述常见问题,奇点云把业内经典的方法论沉淀到了SimbaMetric(指标全生命周期管理平台)中,为客户提供数仓规划、维度建模、业务指标体系等功能,帮助客户建立工程规范,高效完成指标体系搭建和规范建模。具体包括但不限于:
内置行业标准模板库,包含行业常用的词根包、指标体系、数据模型等内容,支持一键引用至项目内;提供规范和标准管理功能,让“按标准开发”能落到实处;支持指标建模、可视化维度建模等方式,提高逻辑模型创建效率。
“而伴随数字化深入,企业会发现只解决上述问题可以,但不够好。”
在不久前的StartDT Day数智科技大会上,奇点云CTO王乐珩谈到,有越来越多企业正卡在以下2个“进阶”困境:
第一问,如何打破跨部门协作壁垒,最大程度提升指标建设和管理效率?
第二问,想重构指标管理体系,是“愚公移山”还是铲平重来?
#1
同一套指标,同一套流程
打破协作壁垒,告别“信息差”
从业务部门提出指标需求,到数据团队接下需求并开发上线,“交钥匙”还给业务部门…在指标的全生命周期中,断裂点并不少见。
“业务需要指标,第一步就是和数据开发拉群开会、反复沟通。如果需求紧急,还必须坐在开发旁边盯着写SQL,直到把数据指标跑出来。指标交付以后开发也不再跟进,过了一段时间,业务和技术又有了信息差。”
王乐珩表示,业务和技术各成体系,跨部门协作无奈变成了“不停拉齐信息差”,这看似是组织问题,实际上可以通过指标管理产品来改善。
今年下半年,SimbaMetric正式从“指标工厂”升级为“指标全生命周期管理平台”,就旨在解决上述问题,真正实现:
· 指标从需求提交、定义、设计到开发、应用、修改乃至下线,都通过SimbaMetric完成;
· 业务需求方、项目经理、业务分析师、开发者,4个角色都在同一个流程中,围绕SimbaMetric中的同一个主体(同一套指标)来讨论。
从技术上,实现技术元数据与业务元数据统一,数据资产将更便于管理和使用,减少出错和不信任;从协作上,彻底告别“信息差”,帮助团队提升协作效率,减少各环节的耗时和成本。
过去诸多的数字化转型实践证明,数据资产建设从不能“毕其功于一役”,如果缺少方便的机制,团队就可能懈于执行,最终伴随着人事变动、组织调整等企业常见场景,让最初设计好的数据资产体系变成“垃圾山”。而协作流程越便利,协作效率越高,就越能让指标资产管理和使用持续下去,高效地转变资产为价值。
#2
自动化工具解决繁杂的迁移难题
规范与效率必须兼得
在过去持续多年的数字化转型中,企业已在各个系统陆陆续续沉淀下了指标资产。而当希望把这些烟囱式建设的指标资产统一到一个体系中管理时,就面临着迁移、转换的问题:
· 天平的一边,是宝贵的历史积累,把存量的指标资产铲平重建无疑是一种浪费;
· 天平的另一边,是不同体系的规则不同,指标作业、任务和服务的迁移远比“复制”难得多,如果手工迁移,耗时可能与铲平重建匹敌。
SimbaMetric选择用自动化工具解决繁杂难题,让规范与效率兼得;提供“双轨并轨”的能力,让迁移期间生产无忧。
以奇点云服务的一家客户为例,客户希望把遗留在CDH的指标任务迁移到SimbaMetric,与新梳理的指标体系一并管理。
· 首先,用自动化工具把CDH上的任务、指标、表等资产批量转换,导入到SimbaMetric;
· 在新旧系统尚未完全切换的过渡期,SimbaMetric提供类似于铁路系统的“双轨并轨”能力,用自动化工具完成数据验证,保证新环境执行无误后再停止旧环境;
· 彻底完成切换后,依托SimbaMetric的自动扫描工具,验证数据准确性,审计出所有指标和模型的标准规范性问题,统计代码和字段的落标率。数据团队基于审计报告逐步改进,提高落标率。
王乐珩指出,“双轨并轨”是转轨期(即过渡期)的重要机制,不仅仅是新旧环境并跑、完成数据验证。前期,允许一些“不合规的指标”进入新系统(SimbaMetric),继续执行任务,不因迁移而阻断数据业务生产,切换后,通过扫描工具检测出哪些不符合规范,形成“TO DO LIST”,让数据团队继续修正,让指标体系质量更优。
最终,奇点云助客户完成了历史指标资产(涉及到10+数据源、600+指标相关作业、70+指标任务、20个指标API服务),从CDH到SimbaMetric的平滑迁移,并入SimbaMetric中的指标体系统一管理。
指标全生命周期管理平台SimbaMetric,不仅是有数仓规划、数据标准、指标管理、规范建模等职能的“总线矩阵登记簿”,它还支持业务、研发等角色完成无缝协作,真正实现指标资产的全生命周期管理,为企业指标资产的高效运营提供产品保障。