规格参数
模型与接入
- 支持模型
- Doubao Seed 系列模型 · 方舟平台,OpenAI 兼容接口,不传 tools
- 参考评测接入点
- doubao-seed-2.1-turbo(火山 Ark 推理接入点) · 换用其他模型/版本分数会不同
接口与动作
- GUI Agent 动作空间
- click / drag / hotkey / left_double / right_single / scroll / type / wait · 8 个离散动作,以 JSON 格式定义在 system prompt
- Grounding 动作空间
- click · 单步定位,一次输出一个坐标
- 坐标体系
- 0–1000 相对坐标 · 与截图分辨率无关,映射公式 px = round(x / 1000 * width)
- 思维链字段
- message.reasoning_content · content 里没有 <think> 外壳
使用约束
- 首个多模态请求耗时
- 约 10~23s · timeout 设置 ≥ 120
- 批量评测并发建议
- 4–8 · --max-retries ≥ 3,--timeout 默认 300s
评测参考
- sspro Accuracy
- ~54–56% · 3000×3000 分辨率、temperature=0、整数坐标,命中 27–28/50
- osworld-g Accuracy
- ~84–86% · 3000×3000 分辨率、temperature=0、整数坐标,命中 42–43/50
- 总体 Accuracy
- ~69–71% · 命中 69–71/100
同类对比
| 规格 | 本品 · doubao-seed-2.1-turbo | kimi-k3.1-pro | 火山方舟模型 API | qwen-audio-3.1-asr-flash | CreateArkOfficialResultQuery / GetArkOfficialResult |
|---|---|---|---|---|---|
| 主控 | — | — | — | — | — |
| NPU | — | — | — | — | — |
| 内存 / 显存 | — | — | — | — | — |
| 参考单价 | 询价 | 询价 | 询价 | 询价 | ¥0.1 |
| 库存 | — | — | — | — | — |
产品介绍
本文介绍如何使用方舟接口调用模型,构建 GUI Agent 应用,实现基于界面截图和提示词解析出可执行的动作意图。支持模型为 Doubao Seed 系列模型。
一、任务流程:让模型像人一样操作图形界面,看屏幕截图→想下一步做什么→动手执行→再看新的屏幕,如此循环直到任务完成。输出纯文本且不含 <seed:tool_call> 时视为任务完成。两种用法:方式一 GUI Agent 执行观察→决策→动作→再观察的多轮回环;方式二纯 Grounding 只做单步定位,输出 click 坐标。
二、关键约定:调用 chat.completions.create 时不要传 tools 参数,否则走 OpenAI function calling,输出格式与本指南不兼容。模型经训练会把动作块直接写进 message.content,思维链在独立字段 message.reasoning_content。所有点击/拖拽类坐标都是 0–1000 的相对坐标,与截图分辨率无关,映射公式为 px = round(x / 1000 * width)。
三、方式一实现要点:system prompt 分 TASK_SP(任务框架)和 FUNCTION_SP(动作定义)两段,定义 8 个离散动作(click / drag / hotkey / left_double / right_single / scroll / type / wait);截图转 Base64 传输;动作解析调用 ui-tars 包的官方解析器 parse_xml_action_65_with_validate_soft,返回空列表表示模型以纯文本收尾、交互结束。
四、方式二纯 Grounding:一条指令加一张截图输出一个 click 动作坐标,不跑回环、不判结束、不真正执行动作;坐标可支持整数或一位小数精度,坐标原点为截图左上角。
五、部署与运维约束:RGBA 图片建议先 convert("RGB") 再编码;首个多模态请求约 10~23s,timeout 设置 ≥ 120;Ark 有并发限制,Grounding 批量评测并发建议 4–8,--max-retries ≥ 3,批量评测脚本 --timeout 默认 300s。
