Soul App持续加码AI交互技术研发，其AI团队Soul AI Lab今年年初正式开源实时数字人生成模型SoulX-FlashTalk，作为14B参数实时数字人模型，它首次实现0.87s亚秒级延时、32fps高帧率、超长视频稳定生成与全身动作交互，为实时生成式数字人行业提供可落地商用方案，推动大参数量数字人从实验室走向应用。Soul团队秉持技术创新理念，深耕AI交互领域，致力于打造沉浸、多元、智能的交互体验，此次开源既是技术共享，也是赋能行业、共建生态的一步。

SoulX-FlashTalk在响应速度上实现颠覆性突破，亚秒级延时让数字人交互更自然。实时视频交互中，延迟是体验核心，SoulX-FlashTalk通过全栈加速引擎极致优化，将首帧输出延时降至0.87s，达成亚秒级响应。这一突破让14B级大模型数字人首次具备即时反应能力，消除传统生成滞后感，实现零延迟反馈，视频通话、直播弹幕、智能客服等场景下，均能提供自然流畅、无卡顿的深度对话。高帧率输出稳定32fps，远超直播25fps标准，画面丝滑流畅，证明大模型经深度优化可兼顾高参数与高效率。

解决长视频痛点、实现全身高保真交互，是SoulX-FlashTalk的核心优势。传统数字人长视频生成易出现面部不一致、画质下降、身份漂移、动作单一等问题，限制应用场景。SoulX-FlashTalk采用自纠正双向蒸馏技术，引入多步回溯自纠正机制，主动模拟并修正长序列误差，实现无感纠错且画质无损；模型完全保留双向注意力机制，每帧生成可同步参考过去与未来上下文，从根源抑制身份漂移，超长直播中数字人口型、面部、背景稳定一致，无模糊变形。动作表现突破传统局限，支持音频驱动全身肢体动态合成，依托14B DiT建模能力消除手部畸形与模糊，精准呈现手部细节，维持99.22%身份一致性，平衡动作灵动性与画面稳定性。

为平衡质量与速度，Soul团队设计科学训练策略与高效推理体系。训练采用两阶段策略，第一阶段延迟感知时空适配，结合动态长宽比分桶微调，适配低分辨率与短帧序列；第二阶段自纠正双向蒸馏，通过DMD框架压缩采样步数、移除CFG加速，搭配多步回溯自纠正与随机截断策略优化显存。推理依托全栈加速引擎，通过混合序列并行、算子级优化、3D VAE并行化、整链优化，大幅提升推理速度，达成亚秒级延迟。传统单向模型易出现时间不一致与身份漂移，双向注意力机制充分利用全局上下文，提升生成一致性与细节质量。

SoulX-FlashTalk推理架构流程图

权威数据集测试中，SoulX-FlashTalk性能全面领先，适配多行业落地需求。TalkBench-Short与TalkBench-Long测试中，短视频ASE达3.51、IQA达4.79、Sync-C达1.47，刷新视觉保真度与口型同步精度；长视频Sync-C达1.61，抑制同步漂移，长短视频均稳定32fps，指标超越行业主流模型。依托性能，模型可应用电商AI直播、短视频制作、AI教育、NPC交互、AI客服等领域，解决数字人直播画质模糊、口型错位痛点，助力企业降本增效。Soul此前开源SoulX-Podcast登顶HuggingFace TTS趋势榜，GitHub星标超3300。今年，团队陆续开源了实时数字人生成方向的SoulX-FlashTalk、SoulX-FlashHead、SoulX-LiveAct ，歌声合成模型 SoulX-Singer，全双工语音对话控制模块SoulX-Duplug，一系列动作标志着Soul开源战略升级，未来团队将聚焦核心交互能力，携手开发者共建AI+社交生态。

责任编辑：kj005

文章投诉热线:157 3889 8464  投诉邮箱:7983347 16@qq.com