01事件概述
火山引擎于11月19日正式上线豆包实时音视频通话模型(SeedRealtime 1.0)API 服务,主打全模态实时交互,将声音、画面、时序与表达统一到同一个端到端模型中。
02技术要点
来源称该方案降低了传统语音级联系统依赖 ASR、VLM、TTS 等多个模块串联带来的延迟叠加和信息损耗;模型能持续理解场景变化,在合适时机主动开口,把看、听、说纳入同一套实时决策体系。
SeedRealtime 原生支持声音、画面与时序信息的深度融合,可结合场景消解同音词歧义、理解视觉中的时序指代;在多人、嘈杂、开放环境中能分清说话对象、理解上下文关系。
03主动交互与抗干扰
模型具备持续环境感知与主动表达能力,在关键目标出现、画面状态变化或任务节点到来时主动提醒、反馈和补充;能实时感知对话节奏,自然接话、停顿与回应,并可分辨旁人闲聊与背景噪声,避免误触发。
04背景与选型提示
北京火山引擎科技有限公司成立于2020年5月,注册资本10亿元,由抖音有限公司间接持股100%。来源未公布 API 定价、延迟指标与并发规格,选型时需以官方文档为准。
编辑分析 基于来源信息推断
从架构角度看,端到端实时音视频模型的核心取舍是:用单一模型统一看、听、说,换取更低的串联延迟与更少的信息损耗,代价是传统级联方案中各模块可独立替换、调优的灵活性。来源提到模型能主动开口、分辨背景噪声,这指向其在视频客服、现场协作、语音助理等需要持续感知真实环境的业务场景中的适配价值,但具体业务效果需开发者实测验证。文中主动感知与抗干扰能力描述均为火山引擎介绍口径,未经第三方评测证实。