已就绪内容按当前版本翻译;动态数量、项目输入等部分界面仍可能显示中文原文。
AI 之家 / 模型庫 / 火山方舟 GUI Agent 能力

火山方舟 GUI Agent 能力

AI 辅助整理
火山方舟GUI Agent界面截图解析动作意图输出单步 Grounding 定位多轮任务回环錄入參考價 · 以官方為準

火山方舟提供的 GUI Agent 能力文檔,基於 Doubao Seed 系列模型,透過介面截圖與提示詞解析出可執行的動作意圖。支援兩種用法:GUI Agent 輸出離散動作(多輪觀察-決策-動作回環)與純 Grounding 單步定位(一次輸出一個 click 座標)。調用需使用原生 OpenAI SDK 且不傳 tools,動作解析使用 ui-tars 官方解析器。適合構建自動化操作圖形介面的 Agent 應用,但需注意座標為 0–1000 相對座標需自行換算像素,首個多模態請求約 10~23 秒且 Ark 有並發限制。

上下文 token待核實
輸入 / 百萬 token待核實
輸出 / 百萬 token待核實
版本doubao-seed-2.1-turbo
部署云端 API(Ark 推理接入点,OpenAI 兼容 chat.completions,不传 tools,思维链在 message.reasoning_content)

能力與用途

GUI Agent界面截图解析动作意图输出单步 Grounding 定位多轮任务回环

本文介紹如何使用方舟介面調用模型,構建 GUI Agent 應用,實現基於介面截圖與提示詞解析出可執行的動作意圖。支援模型為 Doubao Seed 系列模型。 一、任務流程:讓模型像人一樣操作圖形介面,看螢幕截圖→想下一步做什麼→動手執行→再看新的螢幕,如此循環直到任務完成。輸出純文字且不含 <seed:tool_call> 時視為任務完成。兩種用法:方式一 GUI Agent 執行觀察→決策→動作→再觀察的多輪回環;方式二純 Grounding 只做單步定位,輸出 click 座標。 二、關鍵約定:調用 chat.completions.create 時不要傳 tools 參數,否則走 OpenAI function calling,輸出格式與本指南不相容。模型經訓練會把動作區塊直接寫進 message.content,思維鏈在獨立欄位 message.reasoning_content。所有點擊/拖曳類座標都是 0–1000 的相對座標,與截圖解析度無關,映射公式為 px = round(x / 1000 * width)。 三、方式一實現要點:system prompt 分 TASK_SP(任務框架)與 FUNCTION_SP(動作定義)兩段,定義 8 個離散動作(click / drag / hotkey / left_double / right_single / scroll / type / wait);截圖轉 Base64 傳輸;動作解析調用 ui-tars 套件的官方解析器 parse_xml_action_65_with_validate_soft,返回空列表表示模型以純文字收尾、互動結束。 四、方式二純 Grounding:一條指令加一張截圖輸出一個 click 動作座標,不跑回環、不判結束、不真正執行動作;座標可支援整數或一位小數精度,座標原點為截圖左上角。 五、部署與維運約束:RGBA 圖片建議先 convert("RGB") 再編碼;首個多模態請求約 10~23s,timeout 設置 ≥ 120;Ark 有並發限制,Grounding 批次評測並發建議 4–8,--max-retries ≥ 3,批次評測腳本 --timeout 預設 300s。

能力對比

暫無經過核驗的逐項評分,暫不繪製能力雷達或綜合排名。

資料與來源

資料提供方
火山方舟
站內資料更新
2026-11-22 02:01:23

站內更新時間不等同於模型發布日期。未提供測試集、日期和原始成績時,不展示官方或平台實測分數。

版本記錄

doubao-seed-2.1-turbo目前錄入版本

歷史版本、上線與下線日期待核實。

接入與使用

請按官方文件確認 API 位址、模型標識、身分驗證、權限與收費規則。

開啟官方文件

平台實測

暫無已核驗的模型測試報告。模型能力標籤不代表已完成平台實測。
選型助手

让需求变成可修改的筛选条件

依据已录入参数生成条件,结果可查看和修改。帧率与性能需核对实测,不能仅凭算力数值保证。