Năng lực và mục đích sử dụng
Bài viết này hướng dẫn cách dùng API Ark để gọi mô hình, xây dựng ứng dụng GUI Agent, phân tích ý định hành động có thể thực thi dựa trên ảnh chụp màn hình và prompt. Mô hình hỗ trợ là dòng Doubao Seed. 一、Luồng nhiệm vụ: cho mô hình thao tác giao diện đồ họa như con người, xem ảnh chụp màn hình→nghĩ bước tiếp theo làm gì→thực hiện→xem lại màn hình mới, lặp như vậy cho đến khi hoàn thành nhiệm vụ. Khi đầu ra là văn bản thuần và không chứa <seed:tool_call> thì coi là nhiệm vụ hoàn thành. Hai cách dùng: cách một GUI Agent thực hiện vòng lặp nhiều lần quan sát→quyết định→hành động→quan sát lại; cách hai Grounding thuần chỉ định vị một bước, xuất tọa độ click. 二、Quy ước quan trọng: khi gọi chat.completions.create không truyền tham số tools, nếu không sẽ đi vào OpenAI function calling, định dạng đầu ra không tương thích với hướng dẫn này. Mô hình được huấn luyện để ghi khối hành động trực tiếp vào message.content, chuỗi suy luận nằm ở trường riêng message.reasoning_content. Tất cả tọa độ click/kéo đều là tọa độ tương đối 0–1000, không phụ thuộc độ phân giải ảnh chụp, công thức quy đổi là px = round(x / 1000 * width). 三、Điểm triển khai cách một: system prompt gồm hai phần TASK_SP (khung nhiệm vụ) và FUNCTION_SP (định nghĩa hành động), định nghĩa 8 hành động rời rạc (click / drag / hotkey / left_double / right_single / scroll / type / wait); ảnh chụp chuyển sang Base64 để truyền; phân tích hành động gọi parser chính thức parse_xml_action_65_with_validate_soft của package ui-tars, trả về danh sách rỗng nghĩa là mô hình kết thúc bằng văn bản thuần, tương tác kết thúc. 四、Cách hai Grounding thuần: một chỉ dẫn kèm một ảnh chụp xuất một tọa độ hành động click, không chạy vòng lặp, không đánh giá kết thúc, không thực sự thực thi hành động; tọa độ có thể hỗ trợ số nguyên hoặc độ chính xác một chữ số thập phân, gốc tọa độ là góc trên bên trái của ảnh chụp. 五、Ràng buộc triển khai và vận hành: ảnh RGBA nên convert("RGB") trước rồi mới encode; yêu cầu multimodal đầu tiên khoảng 10~23s, nên đặt timeout ≥ 120; Ark có giới hạn đồng thời, đề xuất đồng thời đánh giá hàng loạt Grounding 4–8, --max-retries ≥ 3, --timeout mặc định của script đánh giá hàng loạt là 300s.
Chưa có điểm đánh giá từng hạng mục đã được xác minh, tạm thời không vẽ biểu đồ radar năng lực hay xếp hạng tổng hợp.
Dữ liệu và nguồn
- Đơn vị cung cấp thông tin
- 火山方舟
- Giải thích chính thức
- Đối chiếu tài liệu chính thức ↗
- Cập nhật tài liệu trên nền tảng
- 2026-11-22 02:01:23
Thời gian cập nhật trên nền tảng không đồng nghĩa với ngày phát hành mô hình. Khi không cung cấp bộ kiểm thử, ngày thực hiện và kết quả gốc, sẽ không hiển thị điểm đo thực tế chính thức hoặc của nền tảng.
Lịch sử phiên bản
Các phiên bản lịch sử, ngày ra mắt và ngừng bán đang chờ xác minh.
Kết nối và sử dụng
Vui lòng xác nhận địa chỉ API, định danh mô hình, xác thực, quyền hạn và quy tắc tính phí theo tài liệu chính thức.
Mở tài liệu chính thức