近日,由中国信息通信研究院和中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)共同组织的 2023 大数据“星河(Galaxy)”案例征集活动评选结果现已公示。案例征集自9月启动以来,受到了业界广泛关注和踊跃报名。经过形式审查和专家评审,矩阵起源与深圳智慧城市大数据中心有限公司联合申报的《基于超融合数据库的一站式交通大数据平台》在 706 份申报案例中成功入选数据库优秀案例。
在智慧交通应用中面临着复杂的数据处理需求,即:人、车辆、道路和环境等各个方面都会产生大量异构数据,交通管理人员需要实时分析和决策这些数据,以应对各种交通事件。深智城大数据公司在承接了多个交通领域的大数据项目之后,形成了一套基于传统数据库与 Hadoop 架构的大数据解决方案。但在实际使用中发现:
在交通场景中有较大缺陷:无法满足超大规模高频数据写入、实时数据分析、数据实时更新、数据一致性保证和异构数据兼容等业务需求。
在管理复杂度上存在较大问题:Hadoop 技术栈组件分散、运维复杂,对于快速交付和长期的运维都造成了很大的挑战。
对于新兴的云原生基础设施(如 K8s)的兼容性不够高:无法充分利用底层硬件资源,管理维护碎片化。
矩阵起源历时 10 个月,帮助其将存量的百TB数据离线数据及数十 TB 的实时数据分别从 Hadoop 及 ClickHouse 中迁移到 MatrixOne 中,针对业务需求的实时分析链路进行专项性能优化;并针对一些半结构化和非结构化的数据定制了数据类型及 UDF 函数。最终,成功使得深圳智慧城市大数据中心有限公司减少 80% 数据组件个数,并降低 50% 运维成本。此案例是交通行业首个采用超融合数据库的大数据业务项目,也是首个原生使用 K8s 将数据层和业务层统一纳管并完全容器化的项目。
此次成功入选大数据“星河”案例,证明了矩阵起源在项目中展现出了卓越的专业技能和技术创新能力,为深圳智慧城市大数据中心有限公司带来了显著的效益;同时,也为整个交通行业提供了全新的数据处理思路和解决方案。该案例为行业带来了较为深远的影响,为数据智能在交通行业的广泛应用贡献了技术力量。