此语言仍有 16 条内容或界面任务待翻译;未完成部分显示中文原文。
Nhà AI / Thư viện mô hình / Năng lực GUI Agent của Volcano Ark

Năng lực GUI Agent của Volcano Ark

AI 辅助整理
火山方舟GUI Agent界面截图解析动作意图输出单步 Grounding 定位多轮任务回环Nhập giá tham chiếu · lấy thông tin chính thức làm chuẩn

Tài liệu năng lực GUI Agent do Volcano Ark cung cấp, dựa trên dòng mô hình Doubao Seed, phân tích ý định hành động có thể thực thi từ ảnh chụp màn hình và prompt. Hỗ trợ hai cách sử dụng: GUI Agent xuất các hành động rời rạc (vòng lặp nhiều lần quan sát-quyết định-hành động) và Grounding thuần định vị một bước (mỗi lần xuất một tọa độ click). Việc gọi phải dùng OpenAI SDK gốc và không truyền tools, phân tích hành động dùng parser chính thức của ui-tars. Phù hợp để xây dựng các ứng dụng Agent tự động thao tác giao diện đồ họa, nhưng cần lưu ý tọa độ là tọa độ tương đối 0–1000 cần tự quy đổi sang pixel, yêu cầu multimodal đầu tiên mất khoảng 10~23 giây và Ark có giới hạn đồng thời.

Token ngữ cảnhChờ xác minh
Đầu vào / triệu tokenChờ xác minh
Đầu ra / triệu tokenChờ xác minh
Phiên bảndoubao-seed-2.1-turbo
Triển khai云端 API(Ark 推理接入点,OpenAI 兼容 chat.completions,不传 tools,思维链在 message.reasoning_content)

Năng lực và mục đích sử dụng

GUI Agent界面截图解析动作意图输出单步 Grounding 定位多轮任务回环

Bài viết này hướng dẫn cách dùng API Ark để gọi mô hình, xây dựng ứng dụng GUI Agent, phân tích ý định hành động có thể thực thi dựa trên ảnh chụp màn hình và prompt. Mô hình hỗ trợ là dòng Doubao Seed. 一、Luồng nhiệm vụ: cho mô hình thao tác giao diện đồ họa như con người, xem ảnh chụp màn hình→nghĩ bước tiếp theo làm gì→thực hiện→xem lại màn hình mới, lặp như vậy cho đến khi hoàn thành nhiệm vụ. Khi đầu ra là văn bản thuần và không chứa <seed:tool_call> thì coi là nhiệm vụ hoàn thành. Hai cách dùng: cách một GUI Agent thực hiện vòng lặp nhiều lần quan sát→quyết định→hành động→quan sát lại; cách hai Grounding thuần chỉ định vị một bước, xuất tọa độ click. 二、Quy ước quan trọng: khi gọi chat.completions.create không truyền tham số tools, nếu không sẽ đi vào OpenAI function calling, định dạng đầu ra không tương thích với hướng dẫn này. Mô hình được huấn luyện để ghi khối hành động trực tiếp vào message.content, chuỗi suy luận nằm ở trường riêng message.reasoning_content. Tất cả tọa độ click/kéo đều là tọa độ tương đối 0–1000, không phụ thuộc độ phân giải ảnh chụp, công thức quy đổi là px = round(x / 1000 * width). 三、Điểm triển khai cách một: system prompt gồm hai phần TASK_SP (khung nhiệm vụ) và FUNCTION_SP (định nghĩa hành động), định nghĩa 8 hành động rời rạc (click / drag / hotkey / left_double / right_single / scroll / type / wait); ảnh chụp chuyển sang Base64 để truyền; phân tích hành động gọi parser chính thức parse_xml_action_65_with_validate_soft của package ui-tars, trả về danh sách rỗng nghĩa là mô hình kết thúc bằng văn bản thuần, tương tác kết thúc. 四、Cách hai Grounding thuần: một chỉ dẫn kèm một ảnh chụp xuất một tọa độ hành động click, không chạy vòng lặp, không đánh giá kết thúc, không thực sự thực thi hành động; tọa độ có thể hỗ trợ số nguyên hoặc độ chính xác một chữ số thập phân, gốc tọa độ là góc trên bên trái của ảnh chụp. 五、Ràng buộc triển khai và vận hành: ảnh RGBA nên convert("RGB") trước rồi mới encode; yêu cầu multimodal đầu tiên khoảng 10~23s, nên đặt timeout ≥ 120; Ark có giới hạn đồng thời, đề xuất đồng thời đánh giá hàng loạt Grounding 4–8, --max-retries ≥ 3, --timeout mặc định của script đánh giá hàng loạt là 300s.

So sánh năng lực

Chưa có điểm đánh giá từng hạng mục đã được xác minh, tạm thời không vẽ biểu đồ radar năng lực hay xếp hạng tổng hợp.

Dữ liệu và nguồn

Đơn vị cung cấp thông tin
火山方舟
Cập nhật tài liệu trên nền tảng
2026-11-22 02:01:23

Thời gian cập nhật trên nền tảng không đồng nghĩa với ngày phát hành mô hình. Khi không cung cấp bộ kiểm thử, ngày thực hiện và kết quả gốc, sẽ không hiển thị điểm đo thực tế chính thức hoặc của nền tảng.

Lịch sử phiên bản

doubao-seed-2.1-turboPhiên bản nhập hiện tại

Các phiên bản lịch sử, ngày ra mắt và ngừng bán đang chờ xác minh.

Kết nối và sử dụng

Vui lòng xác nhận địa chỉ API, định danh mô hình, xác thực, quyền hạn và quy tắc tính phí theo tài liệu chính thức.

Mở tài liệu chính thức

Kiểm thực trên nền tảng

Chưa có báo cáo kiểm thử mô hình nào đã được xác minh. Nhãn năng lực của mô hình không có nghĩa là đã hoàn thành kiểm thử thực tế trên nền tảng.
Trợ giúp lựa chọn sản phẩm

让需求变成可修改的筛选条件

依据已录入参数生成条件,结果可查看和修改。帧率与性能需核对实测,不能仅凭算力数值保证。