随着5G、云计算、大数据等新兴技术逐渐成熟,IoT产业发展驶入快车道,基于IoT平台的实时互动技术的重要性也日益凸显。
实时互动技术为IoT产业带来便捷性的同时,也同样带来了挑战。由于智能硬件终端对音视频SDK的功耗要求非常高,一旦视频通话的视频传输太占功耗,就会造成硬件的续航时间下降,发烫发热等。
对此,声网人工智能算法团队经过持续的技术钻研,正式推出了业内首个基于移动端实时处理的多倍超分算法,该算法的优势是成本低、功耗小,不需要部署 GPU 服务器,仅依靠移动端设备自身的 CPU、GPU 或 NPU 来实时超分,以较小的算法计算量实现视频分辨率的多倍超分,有效增强了视频的画质,并降低视频传输的成本。
声网多倍超分算法非常适用于IoT平台的实时互动场景,可以在不增加功耗的情况下实现硬件设备视频通话的画质增强,例如声网多倍超分可以将硬件设备端的720p视频以360p进行采集,并通过360p进行传输,在接收端将接收到的360p视频增强到720p,不仅保证了智能硬件终端的视频画质,还降低了SDK功耗,增加了硬件的续航时间。
声网多倍超分作为业内首个支持移动端实时处理的实时超分算法,拥有三大核心优势:
移动端最高支持3倍实时超分:声网多倍超分算法可以做到在移动端实时处理,支持2倍与 3倍超分,例如360p两倍超分720p,240p 3倍超分 720p,360p 3倍超分 1080p,并且经过测试,与行业其他超分算法相比,在同等计算量的条件下,声网的实时超分效果与画质表现更胜一筹。
覆盖机型广,中低端机型也能实时处理:声网多倍超分算法在移动端的机型覆盖非常广,iOS 可覆盖 iPhone6s 及以上机型,能够覆盖 95% 以上的 iOS 视频用户;Android 覆盖所有中高端机以及部分低端机,能够覆盖 85% 以上的安卓用户。
CPU 消耗、SDK 内存消耗低:声网多倍超分算法对移动端设备的性能消耗占比极低,有着出色的能耗表现,例如在移动端 360p 超分至 720p,超分的模型跑在设备的 GPU上,几乎不会增加 CPU 消耗,单帧处理耗时平均在 10ms 以内。在 1 对 1 视频通话场景中,360p/15fps 的视频开启 2 倍或 3 倍超分后,SDK 的内存消耗只增加 10% 左右。
声网凭借移动端最高支持3倍实时超分、 覆盖机型广,中低端机型也能实时处理、CPU 消耗、SDK 内存消耗低三大优势,声网在实际场景应用中也游刃有余。除了在IOT实时互动场景中的应用外,声网多倍超分算法还在带宽受限的实时互动场景、视频首帧出图清晰等场景应用中发挥着独有的优势。
不得不承认,随着移动端对视频画质要求的不断增长,未来基于移动端的超分技术的应用也将越来越广。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
责任编辑:kj005
文章投诉热线:156 0057 2229 投诉邮箱:29132 36@qq.com