云卷云舒:算力网络+云原生(中):探索构建算力网络数据库

发布时间:2023年12月24日

一、导言

1、基础要求:算力网络时代,数据类型、范围充分延展和爆发,数据库也要适应起来,分布式数据库是起步要求;

2、近期需求:通过云服务的方式提供算网时代,尤其是智能大模型所需要的向量数据库,赋能大模型接入提效;

3、战略机遇:算网数据库是一个双向赋能的产物,会催生更多新型形态的数据库产品,数据库服务于算力网络、也受益于算力网络。

二、算力网络时代数据库的特征

1、形态多样,内核丰富:数据库要满足的应用场景得到延展,必然会覆盖HTAP、多模向量、代理/网关数据库等多种形态;

2、构建标准:云原生将必然成为事实标准,云原生的极致弹性、标准分层内生、不可变基础设施等概念和优势将充分发挥。目前看来也只有“云原生”可以一统江湖,让大家守江湖规矩,避免畸形的技术发展。

3、技术要求:

  • 智能:算力网络情况下的资源调度必然成为常态,应对数据分散和传输必然需要智能化手段保证;另外数据的实体分散对于属地化独立分散的运维来讲将变得不可行,智能运维手段是必选;
  • 容量:智能会促使数据几何增长,整个网络所能管理的节点、关系上限就对数据库容量提出要求。所以说容量也将是新的数据库技术竞争高地;
  • 软硬融合:与硬件融合,而且与算力设备的兼容将成为必选,包括主节点硬件一体化保证元数据存储扩展性和安全,分节点需要保证快速入网,实现对于不同品牌的国产化设备的兼容性保证;
  • 深度分布式:算力网络时代,全省甚至全国计算资源并网,带来了数据库极大分散,那么数据的碎片化程度必然更高,只有和智能手段结合,才能补齐分布存储的传输压力;
  • 平台化布局:不言而喻。

4、技术壁垒降低:随着国产化的崛起,数据库技术的新竞争高地将转移,并向上转移,从传统的内核壁垒转向上层,我们姑且称之为“分布式智能调度内核”,管控的重要性不言而喻,从而国内广大的国产化数据库厂商将崛起,呈现百花齐放的竞争态势;

5、数据库all卸载:笔者也大胆预测一条,数据库的边界与存储将进一步模糊,具有智能和管控的存储也将是数据库领域未来必将考虑的一条路。

三、突破口、演进路线探索

1、统一标准,构建上层智能分布式调度的标准将是未来实现引领的杀手锏,分层设计需要考虑到运营输入层、运算引擎层、运算接入层,每一层基于云原生构建规范标准,跨层通信构建分布式、解耦的新传输协议;

2、人工智能和大模型场景,可能是未来算力网络数据库的一个突破口。

3、数据库卸载到存储,数据库的特性在算力网络时代必将分散化到多点,极致分散化的数据库可能就是一个捎带智能化和管控能力的存储,一切为了“最低成本的满足需求”,被调度的需求。所以基于高效存储构建一些极致简单的数据库,不失为一种选择。

参考:

云卷云舒:算力网络+云原生(上):打造云网边端协同架构-CSDN博客

云卷云舒:算力网络+云原生(下):云数据库发展的新篇章-CSDN博客

云卷云舒:从云网融合到算力网络-CSDN博客

文章来源:https://blog.csdn.net/bishenghua/article/details/135123608
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。