从DeepSeek的发布,到近期腾讯、百度、华为纷纷下场推出开源LLM大模型,AI大模型的发展进入了深水区。
越来越多的企业也逐渐发现,在AI时代保持领先,除了需要算力、算法的储备,更需要充足的高质量数据准备。例如上海交通大学附属瑞金医院,不久前刚开源发布的RuiPath病理模型,其背后就是依托了百万张高质量数字病理切片的数PB数据。
根据IDC咨询的预测,2025年全球数据规模将达175ZB,其中非结构化数据占总量的80%,且以每年55%~65%的速度增长,到2030年全球非结构化数据总量将达28000EB。
海量非结构化数据的体量与“含金量”飙升,也衍生出诸多新的问题和挑战。尤值一提的是,生成式AI浪潮打开了“潘多拉魔盒”,激活了视频、语音、文本、图片等海量非结构化数据的潜能,不少企业数据中心汇聚了不同应用的多种类、多格式、多协议数据,试图将海量的历史与实时数据喂给大模型训练、推理。
AI已成为“时代之变”的源动力。这其中,普遍用于承载海量数据的分布式存储的重要性愈发突出。
介质层面的更新,是首先到来的变革,SSD全面替代HDD的进程显著提速:一方面能满足分析型业务对数据存储容量和性能的高要求,另一方面亦可缓解数据中心沉重的能耗负担,由先进存力绿色基座驱动的全闪化新时代,正呼啸而来。
硅进磁退:存储介质跨过关键节点
从创新扩散的角度看,任何一项新技术从原创突破到商业化应用,再到全面替代,往往需要经历颇为曲折的过程。SSD与HDD的“交战史”同样跌宕起伏,存储介质的进化并非一蹴而就。
事实上,SSD自诞生之日起就展现出独特的禀赋,业界普遍认为硅进磁退是先进介质的发展方向。与HDD相比,SSD在性能、可靠性等核心指标上优势明显,IOPS提升了成百上千倍,时延则降低了数百倍,年返还率也大幅下降,前进的道路似乎一马平川。
然而,就像不少创新技术会在成长期遇到瓶颈一样,SSD也在相当长一段时间里“叫好不叫座”,高昂的价格劝退了很多慕名而来的行业客户,如何降低应用门槛成为亟待解决的难题。
令人欣喜的是,SSD借助技术创新“避短扬长”,在降低成本与节能减耗两个维度都取得了丰硕成果。
一方面,在SSD优异性能的加持下,存储层的数据缩减技术成为绝配。当下,数据缩减比可达3:1甚至更高,将显著缩小单位数据存储成本与HDD之间的差距,预计到2027年,SSD单位价格即可低于HDD;另一方面,SSD单盘容量的增长速度已大幅超越HDD,预计到2026年,其单盘容量可达300TB,远超HDD 42TB的水平。
在单盘容量超2~3倍、叠加超2:1的数据缩减率,可以预见,SSD的单位容量成本将逼近到HDD的1.2倍左右。根据基于典型机房空间租赁、功耗费用的评估,同等规模下,5年的总体运营支出(OPEX)将降低70~80%,使得二者在5年TCO上实现持平。
不难看出,存储介质的进化已跨过关键节点,面向混合负载的全闪存分布式存储有望成为客户的最佳选择。针对海量非结构化数据带来的严峻考验,SSD既能适应视频、音频、文件等大带宽的要求,也能满足图片、检索、查询等高IO需求,并通过显著加速读写速度和降低时延,为客户实现数智化转型保驾护航。
存力跃迁:应用升级与绿色节能驱动基座蜕变
如果说存储介质的进化和价格门槛的降低为全面全闪化创造了必要条件,那么应用场景的不断丰富、数据价值的持续提升,以及绿色节能的迫切要求,则为构建分布式存储全闪化基座提供了强劲动力。
以AI、大数据为代表的数据分析型应用,正是分布式存储全闪化施展身手的最佳舞台。这些应用逐步重构各行业的生产方式,智能分析、主动决策成为企业创新最大的驱动力。海量非结构化数据规模激增和长时间留存,分析型业务对数据存储容量和性能的需求不断升级,全面加速存储基座闪存化是大势所趋。
目前,全闪分布式存储已在超算中心、国家实验室、气象卫星、油气勘探、基因测序、自动驾驶等纷繁场景得到广泛认可;与此同时,曾经的温冷数据正在变热,数据的内在价值亟待释放,全闪化基座成为大时代里不可或缺的中流砥柱。
值得关注的是,分布式存储全闪化不仅是“助攻”关键应用的催化剂,而且是数据中心守住绿色底线的清道夫。
这种攻守兼备的能力,恰是其摧营拔寨的基石,更为先进存力的演进提供了动力。在AI大模型长袖善舞的时代,数据中心承载的压力与日俱增,必须兼顾高效训练与绿色节能双重使命。
相关统计显示,预计到2035年,数据中心用电量约为2020年的3倍,将占全社会总用电量的5%~7%,碳排放增幅约为103%,建设低碳数据中心成为当务之急——打造绿色存储底座无疑是解决数据中心能耗难题的重要途径,分布式存储全闪化可谓生逢其时。
介质革新作为存储产业的一个重要拐点,当下,不少分布式存储厂商已经纷纷涌入全闪的赛道,包括华为、曙光、XSKY等优秀国产厂商,纷纷将渴望借助介质创新去破局,找到重塑格局的契机,以谋求整个产业的更进一步。
值得一提的是,全闪路径上的开路先锋,华为在今年发布了新一代OceanStor Pacific全闪分布式存储,再次突破密度与能效极限。据了解,华为全闪分布式存储已在全球交付4.8EB,替代HDD进程的明显加快。
早在十年前,以开源Ceph软件为典型代表的第一代分布式存储软件浮出水面,虽然借虚拟化和云计算的东风有所斩获,但进化速度相对缓慢,也无法满足客户日新月异的需求。
如今,华为等厂商秉承自主创新理念,把握技术演进趋势,真正实现端到端自主研发,在分布式存储市场扮演引领者角色。就全闪化领域而言,国内厂商在核心技术和产品研发等方面建树颇丰,并具备深入更多应用场景等优势,以此为突破口精耕细作,有望闯出一片新蓝海。
站在更开阔的视角,新一轮AI浪潮对基础设施的重塑刚刚拉开帷幕,先进存力的进化方兴未艾,分布式存储全闪化基座还有相当巨大的渗透空间。
新时代来临的脚步可能比预期更快,主动拥抱变化也许是更明智的选择。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
责任编辑:kj005
当阿娜尔(化名)大姐知道捐赠团队来自5000公里之外的北京、上海时,她眼里满含热泪,“没想到你们从那么远来帮助我们公益脚步,无远弗届此次捐赠活动将爱...
从DeepSeek的发布,到近期腾讯、百度、华为纷纷下场推出开源LLM大模型,AI大模型的发展进入了深水区越来越多的企业也逐渐发现,在AI时代保持领先,除了需要...
对许多人而言,一瓶好酱油,从来不止于“调味”的角色,更是行至何方都藏于心底的熟悉印记匠心品质:滋养家人的安心之本东古一品鲜酱油,承袭百年...
7月8日,长沙理工大学电气与信息工程学院赴国网冷水江市供电公司实践队暑期“三下乡”实践队伍正式出发见面会上,国网冷水江供电公司总经理首先...
7月8日,长沙理工大学电气与信息工程学院赴国网沅江市供电公司开展暑期实践学习活动在实践启动会上,带队教师张雅雯代表团队对国网沅江市供电公司提供的宝贵学习平台和周...
7月9日,飞书发布了知识问答、AI会议、Aily、飞书妙搭等多款AI新产品“我们承诺为企业提供真能用、真落地的企业AI产品,真正帮助企业在AI时代实...
盛夏如火,匠心如炬匠心聚力 砥砺奋进启新程大会开场致辞环节,作为门窗工匠联合倡议人,中视蓝海门窗幕墙行业发展联盟秘书长王燕辉、好博窗控联合创始人米建军,一同回顾...