大模型与软件产业动态报道日期 11-20约 2 分钟读完

火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API

火山引擎于11月19日正式上线豆包实时音视频通话模型(SeedRealtime 1.0)的 API 服务。该模型将声音、画面、时序与表达统一到一个端到端模型中,支持“边看、边听、边说”的全模态实时交互,相较传统 ASR、VLM、TTS 串联的级联方案减少延迟叠加与信息损耗,并具备持续环境感知、主动表达与抗干扰能力。

内容纠错

01事件概述

火山引擎于11月19日正式上线豆包实时音视频通话模型(SeedRealtime 1.0)API 服务,主打全模态实时交互,将声音、画面、时序与表达统一到同一个端到端模型中。

02技术要点

来源称该方案降低了传统语音级联系统依赖 ASR、VLM、TTS 等多个模块串联带来的延迟叠加和信息损耗;模型能持续理解场景变化,在合适时机主动开口,把看、听、说纳入同一套实时决策体系。

SeedRealtime 原生支持声音、画面与时序信息的深度融合,可结合场景消解同音词歧义、理解视觉中的时序指代;在多人、嘈杂、开放环境中能分清说话对象、理解上下文关系。

03主动交互与抗干扰

模型具备持续环境感知与主动表达能力,在关键目标出现、画面状态变化或任务节点到来时主动提醒、反馈和补充;能实时感知对话节奏,自然接话、停顿与回应,并可分辨旁人闲聊与背景噪声,避免误触发。

04背景与选型提示

北京火山引擎科技有限公司成立于2020年5月,注册资本10亿元,由抖音有限公司间接持股100%。来源未公布 API 定价、延迟指标与并发规格,选型时需以官方文档为准。

编辑分析 基于来源信息推断

从架构角度看,端到端实时音视频模型的核心取舍是:用单一模型统一看、听、说,换取更低的串联延迟与更少的信息损耗,代价是传统级联方案中各模块可独立替换、调优的灵活性。来源提到模型能主动开口、分辨背景噪声,这指向其在视频客服、现场协作、语音助理等需要持续感知真实环境的业务场景中的适配价值,但具体业务效果需开发者实测验证。文中主动感知与抗干扰能力描述均为火山引擎介绍口径,未经第三方评测证实。

资料来源 瑞财经

整理说明 内容由 AI 根据公开资料整理;事实与推断分开呈现。

内容纠错

延伸阅读

选型助手

让需求变成可修改的筛选条件

依据已录入参数生成条件,结果可查看和修改。帧率与性能需核对实测,不能仅凭算力数值保证。