能力与用途
本文介绍如何使用方舟接口调用模型,构建 GUI Agent 应用,实现基于界面截图和提示词解析出可执行的动作意图。支持模型为 Doubao Seed 系列模型。 一、任务流程:让模型像人一样操作图形界面,看屏幕截图→想下一步做什么→动手执行→再看新的屏幕,如此循环直到任务完成。输出纯文本且不含 <seed:tool_call> 时视为任务完成。两种用法:方式一 GUI Agent 执行观察→决策→动作→再观察的多轮回环;方式二纯 Grounding 只做单步定位,输出 click 坐标。 二、关键约定:调用 chat.completions.create 时不要传 tools 参数,否则走 OpenAI function calling,输出格式与本指南不兼容。模型经训练会把动作块直接写进 message.content,思维链在独立字段 message.reasoning_content。所有点击/拖拽类坐标都是 0–1000 的相对坐标,与截图分辨率无关,映射公式为 px = round(x / 1000 * width)。 三、方式一实现要点:system prompt 分 TASK_SP(任务框架)和 FUNCTION_SP(动作定义)两段,定义 8 个离散动作(click / drag / hotkey / left_double / right_single / scroll / type / wait);截图转 Base64 传输;动作解析调用 ui-tars 包的官方解析器 parse_xml_action_65_with_validate_soft,返回空列表表示模型以纯文本收尾、交互结束。 四、方式二纯 Grounding:一条指令加一张截图输出一个 click 动作坐标,不跑回环、不判结束、不真正执行动作;坐标可支持整数或一位小数精度,坐标原点为截图左上角。 五、部署与运维约束:RGBA 图片建议先 convert("RGB") 再编码;首个多模态请求约 10~23s,timeout 设置 ≥ 120;Ark 有并发限制,Grounding 批量评测并发建议 4–8,--max-retries ≥ 3,批量评测脚本 --timeout 默认 300s。
暂无经过核验的逐项评分,暂不绘制能力雷达或综合排名。
数据与来源
- 资料提供方
- 火山方舟
- 官方说明
- 核对官方资料 ↗
- 站内资料更新
- 2026-11-22 02:01:23
站内更新时间不等同于模型发布日期。未提供测试集、日期和原始成绩时,不展示官方或平台实测分数。
版本记录
历史版本、上线与下线日期待核实。
接入与使用
请按官方文档确认 API 地址、模型标识、身份验证、权限与收费规则。
打开官方文档