AI 之家 / 模型库 / 火山方舟 GUI Agent 能力

火山方舟 GUI Agent 能力

AI 辅助整理
火山方舟GUI Agent界面截图解析动作意图输出单步 Grounding 定位多轮任务回环录入参考价 · 以官方为准

火山方舟提供的 GUI Agent 能力文档,基于 Doubao Seed 系列模型,通过界面截图和提示词解析出可执行动作意图。支持两种用法:GUI Agent 输出离散动作(多轮观察-决策-动作回环)和纯 Grounding 单步定位(一次输出一个 click 坐标)。调用需使用原生 OpenAI SDK 且不传 tools,动作解析使用 ui-tars 官方解析器。适合构建自动化操作图形界面的 Agent 应用,但需注意坐标为 0–1000 相对坐标需自行换算像素,首个多模态请求约 10~23 秒且 Ark 有并发限制。

上下文 token待核实
输入 / 百万 token待核实
输出 / 百万 token待核实
版本doubao-seed-2.1-turbo
部署云端 API(Ark 推理接入点,OpenAI 兼容 chat.completions,不传 tools,思维链在 message.reasoning_content)

能力与用途

GUI Agent界面截图解析动作意图输出单步 Grounding 定位多轮任务回环

本文介绍如何使用方舟接口调用模型,构建 GUI Agent 应用,实现基于界面截图和提示词解析出可执行的动作意图。支持模型为 Doubao Seed 系列模型。 一、任务流程:让模型像人一样操作图形界面,看屏幕截图→想下一步做什么→动手执行→再看新的屏幕,如此循环直到任务完成。输出纯文本且不含 <seed:tool_call> 时视为任务完成。两种用法:方式一 GUI Agent 执行观察→决策→动作→再观察的多轮回环;方式二纯 Grounding 只做单步定位,输出 click 坐标。 二、关键约定:调用 chat.completions.create 时不要传 tools 参数,否则走 OpenAI function calling,输出格式与本指南不兼容。模型经训练会把动作块直接写进 message.content,思维链在独立字段 message.reasoning_content。所有点击/拖拽类坐标都是 0–1000 的相对坐标,与截图分辨率无关,映射公式为 px = round(x / 1000 * width)。 三、方式一实现要点:system prompt 分 TASK_SP(任务框架)和 FUNCTION_SP(动作定义)两段,定义 8 个离散动作(click / drag / hotkey / left_double / right_single / scroll / type / wait);截图转 Base64 传输;动作解析调用 ui-tars 包的官方解析器 parse_xml_action_65_with_validate_soft,返回空列表表示模型以纯文本收尾、交互结束。 四、方式二纯 Grounding:一条指令加一张截图输出一个 click 动作坐标,不跑回环、不判结束、不真正执行动作;坐标可支持整数或一位小数精度,坐标原点为截图左上角。 五、部署与运维约束:RGBA 图片建议先 convert("RGB") 再编码;首个多模态请求约 10~23s,timeout 设置 ≥ 120;Ark 有并发限制,Grounding 批量评测并发建议 4–8,--max-retries ≥ 3,批量评测脚本 --timeout 默认 300s。

能力对比

暂无经过核验的逐项评分,暂不绘制能力雷达或综合排名。

数据与来源

资料提供方
火山方舟
站内资料更新
2026-11-22 02:01:23

站内更新时间不等同于模型发布日期。未提供测试集、日期和原始成绩时,不展示官方或平台实测分数。

版本记录

doubao-seed-2.1-turbo当前录入版本

历史版本、上线与下线日期待核实。

接入与使用

请按官方文档确认 API 地址、模型标识、身份验证、权限与收费规则。

打开官方文档

平台实测

暂无已核验的模型测试报告。模型能力标签不表示已经完成平台实测。
选型助手

让需求变成可修改的筛选条件

依据已录入参数生成条件,结果可查看和修改。帧率与性能需核对实测,不能仅凭算力数值保证。