中华网数码

数码
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置: 数码 > IT硬件 >

燧原科技发布带宽最大的云端AI推理卡 内存达到819GB/s

燧原科技发布带宽最大的云端AI推理卡 内存达到819GB/s
2021-12-09 09:48:33 来源:快科技

12月7日,AI创业公司燧原科技(Enflame)发布了第二代云端AI推理加速卡——“云燧i20”。

这是继今年7月的云端AI训练加速卡“云燧T20”之后,燧原科技新一代针对云端推理场景的AI加速产品。

云燧i20最大亮点就是拥有迄今最大的AI加速卡存储带宽,通过HBM2e内存达到了819GB/s,可为云端推理业务提供高吞吐、低延时的性能。

目前,以语音识别、图片识别、视频内容分析为主的感知类应用,内容推荐、欺诈交易拦截等决策类应用,在云端大部分都是以实时在线的方式提供服务,同时神经网络的参数越来越多,数据带宽需求也越来越高,因此兼顾高带宽、低延迟变得至关重要。

云燧i20搭载了新一代AI推理芯片“邃思”,基于第二代高性能计算核心和数据引擎,12nm工艺打造,通过架构升级大大提高了单位面积的晶体管效率,算力可媲美7nm GPU,而且成本更低。

同时,全面支持FP32、TF32、FP16、BF16、INT8计算精度,其中单精度FP32峰值算力32TFLOPS,单精度张量TF32峰值算力128TFLOPS,整型INT8峰值算力256TOPS,对比上代云燧i10浮点、整型算力分别提升到1.8倍、3.6倍。

搭配升级后的软件栈“驭算TopsRider”,性能、开发效率、模型覆盖面都得到大幅提升。

通过引入通用高层图优化和大规模算子融合技术,释放大容量片内存储和高带宽存储的利用率,模型平均性能提升3.5倍,硬件算力利用率平均提升2倍。

通过升级的编程模型以及算子自动分片、自动生成技术,自定义算子开发效率翻倍,模型迁移成本大大降低。

此外,对动态性的支持也大大增强,在检测、语音识别、语义理解等场景更具竞争力。

据介绍,燧原科技专注AI领域云端算力平台,提供自主知识产权的高算力、高能效比、可编程的通用AI训练和推理产品,可广泛应用于云数据中心、超算中心、互联网、金融、智慧城市等多个人工智能场景,已在互联网、金融、政务等多家客户的商业落地,并获得认可。(作者:上方文Q)

责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

个保法颁布一周年:个性化广告发展需平衡隐私保护与用户体验

2022-11-14 11:53:20个保法颁布一周年:个性化广告发展需平衡隐私保护与用户体验

2022年全球折叠手机总销量将首度超过千万部大关

2022-02-09 11:40:212022年全球折叠手机总销量将首度超过千万部大关

印度市场智能手机出货量出炉:vivo占比排名第三

2022-02-08 11:19:13印度市场智能手机出货量出炉:vivo占比排名第三

平板电脑进入新的竞争阶段 重新夺回市场主导权

2022-02-07 16:52:08平板电脑进入新的竞争阶段 重新夺回市场主导权

2021年四季度中国手机市场苹果占有率位居第一

2022-01-27 13:33:342021年四季度中国手机市场苹果占有率位居第一

预测2022年中国市场智能机销量达3.4亿部 同比增长8%

2022-01-26 14:57:26预测2022年中国市场智能机销量达3.4亿部 同比增长8%

相关新闻