随着5G、AI、智能驾驶技术、实时互动技术的快速发展，虚实互动的平行操控场景开始受到行业关注。如物流园区的无人车、矿区的无人驾驶矿车，港口的无人集卡车，以及远程接管脱困的云代驾。

平行操控即通过现代超低延时视频通信技术与实时信令技术的结合，使操作者可以实时的驾驶/操作远端的无人车或机械设备。那么，如今的平行操控发展到了什么阶段？又有哪些技术与场景应用看点？在刚刚过去的RTE2023 第九届实时互联网大会上，声网平行操控技术负责人张乐陶带来了题为《超低延时助力平行操控极致体验》的演讲，与大家分享了平行操控的应用场景与创新方案。

以下为演讲正文，部分内容在不改变原意的基础上略有删改。

各位嘉宾、行业伙伴上午好，很高兴能和大家一起探讨平行操控这项技术的发展应用，以及声网在这个行业的技术积累与创新。通俗的讲，平行操控即远程操控，是通过现代超低延时视频通信技术与实时信令技术相结合，使得操作者可以实时的驾驶/操作远端的无人车或机械设备。

这是一个非常经典的平行操控业务框架图，左边是装载了摄像头和无线通信设备的无人车，右边是有方向盘、驾驶系统、刹车系统的驾驶舱。操控者在收到无人车回传的图像后，通过实时信令将操作指令发送给无人车，这样便实现了无人驾驶能力，中间则是传递音视频和信令的实时传输网。相比传统近距离的遥控，平行操控的传输网构建在互联网之上，突破了传统距离限制，操控者可以实时遥控几百甚至上千公里以外的设备。

在平行操控的应用场景上，应急接管、高危作业和远程服务是平行操控典型的三个业务场景。首先是应急接管，以无人车为例，无人车目前被广泛应用在机场、码头、港口等地方，但应用过程中往往会出现如暴风雨、交通管制、突发事故等一些无法自主决策的场景。相较此前需要人为介入到现场处理，平行操控则可以更快、更低的成本解决这个问题。第二是高危作业，在井下矿车、高空作业机器人、无人挖掘机等危险指数较高或环境恶劣等工作场景中，平行操控可以很好地发挥价值。第三是远程服务，如机器人、云赛车、无人机之类的场景，操作者可以借助云服务操控这些无人值守设备。

作为虚实互动的场景，平行操控在应用过程中，也需要解决以下几个痛点：一是同城/跨区体验保障难，4G/5G、WiFi和局域网等不同的网络差异大，无线网络可靠性无法保证；二是音视频延时要求高，假如一个无人车行驶速度在15-30km/h，行业里普遍认为端到端延迟要控制在200毫秒以内，某些极端案例要求50毫秒内，甚至还有抗弱网和抖动的需求；三是远程信令控制同步难，为保证车辆安全运行，操控指令与实时音视频传输需做到一致性，信令传输亦要求低延时。

基于以上这些业务痛点，声网的平行操控解决方案能提供全球端到端全链路延时优化。在设备端，深度适配了Nvidia Jetson系列，提供从采集、编码到传输的全套功能，并且支持H265和H264的视频编码，以及超低延时信令和实时的音频对讲；在操作端，该方案支持主流操作系统，包含IOS、Windows、Mac、Android、Linux等。而在满足两端平行操控的延时性上面，则是依托于声网自研的SD-RTN™传输网络，覆盖了全球200+国家与地区，能实现全球端到端延时中位数76ms，具有优异的抗弱网能力，可以保证实时信令在 70% 丢包情况下消息到达率 100%，有效保障无人设备操作中的安全性。此外，该方案还提供云端录制服务，支持记录用户每次远程遥控的全过程并支持回看。

对于不同的业务场景形态，声网平行操控解决方案还提供了QoS分级保障，包括质量分级、服务分级、大网服务升级、SDK 质量控制分级等。针对同城传输场景，通过标记优先级、优化路由调度策略、同节点转发等方式，保障特殊场景超低延时传输；针对跨区传输场景，通过全网智能路由和 AI 机器学习算法，节点故障和质量抖动可实现无感知切换，有效保证传输质量。

在平行操控核心技术这块，声网提供了基于UDP传输层的自研传输框架AUT协议，旨在使用一套传输框架，统一实现不同应用层的传输要求，满足低延迟、高画质、高帧率等不同业务场景偏好。在客户需要对设备进行精细化操作时，它可以配置高画质；当客户需要操作手感时，它可以配置高帧率场景。对于一系列的业务偏好，AUT都提供了配置方法，确保哪怕出现弱网时，也能达到客户想要的业务体验。

众所周知，随机丢包在无线通信场景中很常见。声网自研的DMEC可以通过信源、信道联合编码的方式有效对抗无线通信中的随机丢包，并对传输中更重要的视频帧做更强的编码保护。随着丢包率的上升，DMEC在视频流畅度上具备明显的优势。此外，声网还利用多路径技术改善端侧运营商网络遮蔽，自研了同时支持音视频和信令通道的Multipath技术，可以直接带来物理带宽的增益，无需额外硬件，成本更可控。

另外，基于追求极限延迟情况下，不能完全依赖丢包重传和FEC对抗弱网的现状。声网提出了基于反馈的动态跨帧参考方案，编码器可以基于反馈情况，动态调整视频码流的参考关系。哪怕在视频帧传输过程中出现缺失的情况下，也能保证快速出图。同时还能控制码率，不造成画质过度下降。

实践出真理。声网采集了大量包括林荫、城市峡谷、隧道等场景下实际4G/5G网络数据，最大程度将实验室测试环境和真实环境对齐，最终得出的数据结论是：在4G路测弱网环境下，视频端到端延时低至100ms，95分位为180ms；60% 抗弱网丢包边界，实测平稳运行期间 100ms 卡顿率 ＜0.01%；20% 丢包+50ms 网络抖动下，100ms 卡顿率＜0.1%。

最后和大家分享几个案例：

1、5G 专网环境。基于声网的私有化部署，为某头部方案商提供矿井下无人车辆的远程脱困以及调度监控。该项目分成三个部分，设备端基于Linux，操控端为Android，同时使用web SDK为中控中心提供统一的监控大屏。

2、无人配送场景。声网为一个北京无人配送客户在园区开放道路路测提供了支持，测试过程都是在4G/5G的公网环境的公开道路上全程远遥。在人流/车流较多的复杂的路况下，借助RTC和RTM用户可以实现丝滑的控制体验。

3、模拟驾驶舱的云赛车场景。基于声网平行操控的超低延迟技术，操控端在上海使用4G网络对在四川的智能车进行操控，保障了整体效果的丝滑体验。

我今天分享的内容就到这里，谢谢大家。

责任编辑：kj005