中华网数码

设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机 培训 学校 课程
当前位置:滚动新闻>

“存-算-推理框架”三层协同,华为UCM破AI推理难题|华为全联接大会

“存-算-推理框架”三层协同,华为UCM破AI推理难题|华为全联接大会
2025-09-19 09:42:53 来源:今日热点网

在9月18日召开的华为全联接大会2025(HC 2025)数据存储峰会上,华为数据存储周跃峰指出,华为UCM推理记忆数据管理器正成为推动行业AI推理加速研究与应用的关键变量。该技术可实现推理记忆数据成池存储、统一管理,并通过避免重复计算、精简序列长度、后缀智能联想等关键能力,有效利用历史记忆数据优化推理任务。

避免重复计算:将推理记忆知识全量、持久化保存下来,以查找、复用历史记忆数据的方式代替重复计算,让机器具备“记忆”能力。精简序列长度:对超长上下文进行去噪、提纯、压缩,清除冗余KV Cache信息,缩短推理文本长度,实现推理上下文窗口扩展。后缀智能联想:在阅读理解、数据分析等业务场景下,基于过去习惯和私域知识,进行后缀检索联想预测,自动匹配最优结果,推理吞吐提升1倍以上,并实现存得越多推得越快。

UCM通过场景化加速算法、套件及第三方库,构建“推理框架、算力、存储”三层协同的方案,将为探索未知领域和构建智能社会创造更多可能性,跃升行业智能化。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

责任编辑:kj005

文章投诉热线:157 3889 8464  投诉邮箱:7983347 16@qq.com

关键词:

比5070 Ti要低20%左右?NVIDIA RTX 5070跑分成绩曝光

2025-02-27 09:44:12比5070 Ti要低20%左右?NVIDIA RTX 5070跑分成绩曝光

AMD 锐龙7 9700X 对决酷睿i7-14700K:畅玩电竞,新锐龙依旧锐不可挡!

2025-02-27 09:43:39AMD 锐龙7 9700X 对决酷睿i7-14700K:畅玩电竞,新锐龙依旧锐不可挡!

Intel® Amston Lake:边缘计算与网络通信的强劲引擎

2025-02-27 09:43:09Intel® Amston Lake:边缘计算与网络通信的强劲引擎

“我是被逼的” 黄仁勋表示:英伟达不能没有中国

2025-02-27 09:37:35“我是被逼的” 黄仁勋表示:英伟达不能没有中国

相关新闻