挺进云存储,天翼云全新一代XSSD勇立潮头

发布时间:2023年12月18日

引言:自研高性能分布式存储引擎LAVA,实现云硬盘持续创新获得新突。

【全球云观察 | 科技热点关注】

作为算力基础设施的基石,云存储的发展一直备受公有云厂商所重视,对拉动云厂商营收规模带来重要价值,就此也成为了云厂商技术创新与业务发展的重点领域。

天翼云已经是全球最大的运营商云,在云存储的创新上一直非常重视。自研高性能分布式存储引擎LAVA,将云硬盘的创新推向新的高潮,进一步赋能科技应用创新,加快行业数字化进程,助力数字经济的发展。

01

没有最快只有更快,为什么需要越来越快的云存储?

当前,全球进入数字化高度发展的新时代,数字经济已为我国经济发展带来了前所未有的动力。助力数字经济发展离不开算力、存力与运力的三大驱动,更离不开来自云计算、AI、大数据等新兴技术的广泛应用。正因为技术进步与创新应用的普及,从而带来了海量数据呈现出新的增长趋势。

在AI训练领域,ChatGPT将对话机器人的智能化能力推向了历史最高点,不仅如此,ChatGPT持续迭代,不断攀登高阶智能的举措引发了全球对大模型的狂热。随着GPT-4的诞生,模型参数进入百亿千亿级别已经逐渐成为常态。与此同时,中国参与大模型创新厂商也与世界同步,持续迭代大模型的智力。

然而,无论是GPT-4还是其他大模型,所有参与百模大战的厂商聚焦AI算力的同时,也对存储进行再创新,以此应对AI大模型参数规模呈现指数级爆发增长的挑战。细心分析AI模型训练的特点,我们不难发现小文件海量数据的存储需求最为突出,同时大家对训练结果要求越来越快,因为越快越有价值。打造高效存储的支撑系统,是其中必要条件。传统磁盘阵列系统因其缺乏云的弹性与灵活性,难以胜任AI训练时高时低的新需求变化。唯有结合闪存技术同时发挥出云存储的优势才是必然之选。由此,既有云的灵活弹性,又有高性能表现的SSD云硬盘,也就顺理成章地成为AI模型训练的好搭档。

此外,随着大模型行业化发展大潮的到来,各个细分行业大模型诞生将此起彼伏。模型变小是大模型行业化的必然趋势,为此,对于算力、存力在规模与性能上更灵活的需求也将随着模型行业化发展而逐渐呈现出来。在这种情况下,高性能SSD云硬盘实现更多技术创新可谓正逢其时。

在数据库领域,随着用户关键应用能力的加强,对数据库性能的要求也变得更为苛刻,SSD云硬盘对加速数据库性能有着立竿见影的作用,特别是再结合RDMA网络的加持,应用SSD缓存与加速技术对数据库应用场景带来了非常有效的支撑。这也是源自SSD本身比HDD传统磁盘具有更好的IO特性,不需要磁盘那样寻道读写数据,SSD云硬盘带来更加优异的IOPS性能表现,也被更多地应用在数据库场景。高性能SSD云硬盘可以灵活满足用户的高IOPS需求,也可以按需分配存储资源,在数据库应用较少情况下节约资源,按需付费,弹性支撑数据库场景的灵活应用。

在游戏渲染领域,当前不少游戏厂商与视频创意组织乐意选择云端算力平台,在渲染工作繁忙时花费云端GPU等资源,在闲暇时可以节省资源。与此对应渲染数据存储支持上,选择高性能SSD云硬盘最为匹配。关键在于渲染应用会随着数据的增长,对存储性能要求会更高,在很大程度上,也驱使相关云存储厂商不断提升云硬盘性能,实现更优越的百万级IOPS。

很显然,要求存储越来越快,这是所有用户一直以来的普遍追求,对性能越来越苛刻的要求,主要源自新兴应用的蓬勃发展。新应用驱动新数据快速增长,包括AI训练、数据库、游戏渲染等应用对数据读写IOPS和时延要求极高。

除了AI训练、数据库、游戏渲染之外,视频创意、AR/VR、动画制作、仿真建模等领域,同样对存储性能、弹性、按需使用等方面有着刚需。

以用户需求为创新的源动力,天翼云在云硬盘上加速创新,迎来了新的发展拐点。没有最快只有更快,特别是在高性能的云硬盘技术发展上,依托自研高性能分布式存储引擎LAVA,将百万级IOPS云硬盘XSSD推向市场。

02

全面进发云存储,XSSD勇立数字化发展的潮头

事实上,在云硬盘领域,天翼云布局十分广泛,旗下拥有包括普通IO、高IO、通用型SSD、超高IO、极速型SSD以及最新推出的XSSD,总计六类产品。为了覆盖用户各种各样的需求,天翼云全面进发,以不同容量、不同性能的云硬盘来支持用户多样化需求,彰显云存储的创新优势。

针对越来越苛刻的高性能需求,天翼云一直保持着业界少有的创新节奏,特别是在闪存技术的应用上,有着多年的积累,这有助于天翼云在云硬盘上推陈出新,并不断实现新突破。

天翼云基于高性能分布式存储引擎LAVA,在主机侧采用VFIO-User架构,提供企业级NVMe SSD云硬盘,IO经过虚拟机内核后直达LAVA客户端,降低了原QEMU开源虚拟机IO处理的消耗。借助零拷贝数据传输机制,通过全自研L-RDMA协议,不仅降低通信开销,提升数据传输效率,而且缩短了全栈IO处理路径,直接带来时延上的明显优化。

不过,SSD因其自身erase-before-write特性的限制,写放大一直是件麻烦事。为此,天翼云结合日志即数据技术,通过多版本数据管理技术,解决了整个写IO流程无写放大的难题,即使遭遇上千快照也不会产生额外IO,从而很好地规避了SSD云硬盘因写操作带来的IO性能影响。

此外,还在分布式存储纠删码EC技术基础上,天翼云叠加动态路由功能,实现与多副本同级别性能,存储利用率提升50%以上。

独特的分布式引擎架构的技术虽好,但是,XSSD到底可以达到怎样的性能水平呢?总体来看,与天翼云的上一代极速型SSD、超高IO云硬盘相比,XSSD表现还是相当突出。

之前推出的超高IO云硬盘可以提供最大带宽350MBps,最低时延1ms,实现最大IOPS为3.3万。极速型SSD可以提供最大带宽750MBps,时延低于1ms,实现最大IOPS为10万。

而X系列云硬盘亮相之后,其带宽、时延、IOPS等指标均提升了2~10倍。在数据库等时延敏感场景,XSSD可以实现稳定低时延,并为用户提供媲美本地盘的高性能。目前,XSSD分为两种规格,其中面向IO密集型数据库的XSSD-1在带宽和IOPS上虽然与之前的极速型SSD旗鼓相当,但是在时延上却获得更优越的百微秒级表现,性能高且时延低才是诸多用户尤为重视的关键。

面向关键/核心数据库、内存数据库、AI和大数据应用场景的XSSD-2,在带宽、时延、IOPS三个核心表现上都获得前所未有的突破,最大带宽达到4000MBps,实现最大IOPS高达100万,而最低时延却被控制在了0.1ms,相当于比极速型SSD最低时延表现降低了10倍左右。

高性能云硬盘几乎所有公有云厂商都在提供,天翼云XSSD到底能否“闯关”成为行业翘楚,除了天翼云对外公布的具体性能情况之外,更需要业界权威机构的评测认可。

2023年,中国信通院为天翼云分布式块存储XSSD测试颁发测试证明,天翼云XSSD成为业内首家通过信通院权威认证百万IOPS,并且实现存储全国产化的云硬盘,进一步夯实了数据要素的存储基石,勇立数字化发展的潮头。

03

全新科技突破,应对苛刻应用场景的存储挑战

话又说回来了,XSSD性能虽好,可靠性到底如何呢?毕竟检验云硬盘品质的核心指标,离不开高可靠性。

从可靠性需求的早期发展来看,之前企业上云方案中不少采用物理机加本地盘的方式,虽然可以满足用户的高性能需求,但受限单台服务器存储资源的使用,因而在可靠性上难以得到有效保障,不仅无法容忍“Double Fault”双点失效,即使单点故障也同样无法容忍,与此同时存储容量无法实现弹性扩展,在满足用户应用需求增减变化上显得格格不入。

实现全新科技突破,应对苛刻应用场景对高可靠性的挑战,XSSD的表现异常突出。在高可靠性上,不仅实现高达99.9999999%的数据持久性,而且实现了99.975%的业务可用性。

实际上,拥有如此突出的高可靠性,这与天翼云在XSSD上实现技术突破,应对四大可靠性挑战有着很大关系。

针对故障快速修复的挑战,XSSD基于分布式存储引擎LAVA,采用独有的EC动态路由叠加多层数据保护技术,实现跨AZ数据高可用,减少跨AZ数据修复流量,达成快速修复故障目的。

针对存储引擎写入方式的挑战,所有数据写入XSSD都采用Append Only模式,优化写链路,规避底层数据覆盖写的难题,可追溯数据,遭遇故障读写不降级,从SSD云硬盘底层技术革新,硬碰硬增强可用性。

针对快照影响性能的挑战,XSSD采用多版本管理的快照技术,降低快照对IO性能的干扰,实现快照性能无损,目前每块云硬盘的快照数量可达千级,支持用户在数据备份与持续保护上的苛刻需求。

针对数据读写全流程的可靠性挑战,XSSD凭借全路径数据校验技术,实现端到端数据保护的DIF校验,同时支持多种DIF配置,确保读写全流程的数据一致性。

应对苛刻应用场景的存储挑战,实现高可靠性虽然必不可少,但少了弹性扩展,必然就难以满足用户实际应用需求的增减变化。

在高弹性方面,XSSD表现依然不俗。有着对天翼云在云服务弹性优势上的天然承袭,XSSD采用分布式元数据存储管理,元数据规模与性能随节点增加而线性增长,最大支撑万亿级元数据规模,满足关键业务、核心数据库、内存数据库、AI训练等典型应用对容量和性能的要求,同时通过两级集群设计,万级节点扩展能力不在话下。

此外,XSSD为用户提供按需采购付费的方式,通过预配置IOPS的订购模式,实现容量和性能的解耦,任何用户都可以按照业务发展的不同阶段情况,针对波峰或波谷按需动态配置性能。很显然,在动态性能需求场景上,XSSD支持预配置IOPS订购模式,可谓深得人心。

由此可见,从高性能、高可靠、高弹性、按需配置等多个方面硬指标出发,满足苛刻应用场景的用户需求。天翼云通过创新性设计的端到端IO路径,采用软硬件多层面技术优化,加上自研高性能分布式存储引擎LAVA的技术加持,打造出新一代高性能云硬盘XSSD,令业界眼前一亮。

更值得一提的是,助力数字中国的蓬勃发展,在全栈式国产化设计思路上,天翼云XSSD创新坚持安全可信。为了确保整个云硬盘产业链不被“卡脖子”,保障云硬盘的生态安全性,天翼云积极携手CPU、存储介质、SSD控制器、网络、操作系统、存储软件等国产厂商,联合存储全产业链的上下游合作伙伴,充分发挥国产技术的创新优势,互为开放,广泛兼容,借助存储软件在系统层面扬长避短,实现XSSD整体能力达到业界领先水平。

不过,全球存储观察认为,基于分布式存储引擎LAVA的XSSD系列云硬盘推出,只是天翼云挺进云存储的一个新开始,下一步将会有更多基于完全自研的云硬盘新品出现,实现云硬盘在技术上的更多新突破,满足更多苛刻应用场景的新需求,让我们拭目以待。(by Aming)

- END-

欢迎文末评论补充!

【全球存储观察|全球云观察 |阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

文章来源:https://blog.csdn.net/qq_41689867/article/details/134980247
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。