此语言仍有 26 条内容或界面任务待翻译;未完成部分显示中文原文。
Дом AI / Библиотека моделей / Возможности GUI Agent в Volcano Ark

Возможности GUI Agent в Volcano Ark

AI 辅助整理
火山方舟GUI Agent界面截图解析动作意图输出单步 Grounding 定位多轮任务回环Введите справочную цену · Официальные данные имеют приоритет

Документация по возможностям GUI Agent, предоставляемым Volcano Ark: на основе моделей серии Doubao Seed из скриншотов интерфейса и промптов извлекаются намерения, приводимые к исполняемым действиям. Поддерживаются два режима: GUI Agent выводит дискретные действия (многораундовый цикл наблюдение–решение–действие) и чистый Grounding — одноразовое позиционирование (один click с координатами за раз). Вызов должен выполняться через нативный OpenAI SDK без передачи tools, разбор действий — официальным парсером ui-tars. Подходит для создания Agent-приложений с автоматизацией работы с графическим интерфейсом, но учтите: координаты являются относительными в диапазоне 0–1000 и требуют самостоятельного пересчёта в пиксели; первый мультимодальный запрос занимает около 10~23 секунд, у Ark есть ограничения на конкурентность.

Токен контекстаОжидает проверки
Вход / 1 млн tokenОжидает проверки
Выход / 1 млн tokenОжидает проверки
Версияdoubao-seed-2.1-turbo
Развёртывание云端 API(Ark 推理接入点,OpenAI 兼容 chat.completions,不传 tools,思维链在 message.reasoning_content)

Возможности и применение

GUI Agent界面截图解析动作意图输出单步 Grounding 定位多轮任务回环

В этой статье описывается, как вызывать модели через интерфейс Ark для создания GUI Agent-приложений, извлекающих исполняемые намерения действий из скриншотов интерфейса и промптов. Поддерживаются модели серии Doubao Seed. 1. Процесс задачи: модель управляет графическим интерфейсом как человек — смотрит скриншот экрана → решает, что делать дальше → выполняет действие → снова смотрит новый экран, цикл повторяется до завершения задачи. Вывод считается завершённым, если это чистый текст без <seed:tool_call>. Два режима: режим 1 — многораундовый цикл GUI Agent «наблюдение → решение → действие → наблюдение»; режим 2 — чистый Grounding, только одноразовое позиционирование с выводом координат click. 2. Ключевые соглашения: при вызове chat.completions.create не передавайте параметр tools, иначе задействуется OpenAI function calling, и формат вывода будет несовместим с данным руководством. Модель обучена записывать блок действий непосредственно в message.content, а цепочку рассуждений — в отдельное поле message.reasoning_content. Все координаты кликов/перетаскивания — относительные в диапазоне 0–1000, независимые от разрешения скриншота; формула пересчёта: px = round(x / 1000 * width). 3. Особенности реализации режима 1: system prompt состоит из двух частей — TASK_SP (каркас задачи) и FUNCTION_SP (определение действий), всего 8 дискретных действий (click / drag / hotkey / left_double / right_single / scroll / type / wait); скриншот конвертируется в Base64 для передачи; разбор действий выполняется официальным парсером пакета ui-tars parse_xml_action_65_with_validate_soft; пустой список означает, что модель завершила чистым текстом и взаимодействие окончено. 4. Режим 2 — чистый Grounding: одна инструкция и один скриншот дают координаты одного действия click; цикл не запускается, завершение не определяется, действия реально не выполняются; координаты поддерживают целые числа или один десятичный знак, начало координат — верхний левый угол скриншота. 5. Ограничения развёртывания и эксплуатации: RGBA-изображения рекомендуется сначала convert("RGB"), затем кодировать; первый мультимодальный запрос занимает около 10~23 с, timeout ≥ 120; у Ark есть ограничения на конкурентность — для пакетной оценки Grounding рекомендуется параллелизм 4–8, --max-retries ≥ 3, дефолтный --timeout скрипта пакетной оценки — 300 с.

Сравнение возможностей

Нет верифицированных оценок по пунктам, радар способностей и общий рейтинг пока не отображаются.

Данные и источники

Поставщик материалов
火山方舟
Обновление материалов на платформе
2026-11-22 02:01:23

Время обновления на сайте не совпадает с датой выпуска модели. Без тестового набора, даты и исходных результатов официальные или платформенные баллы не отображаются.

История версий

doubao-seed-2.1-turboТекущая введённая версия

История версий, даты запуска и снятия с производства подлежат уточнению.

Подключение и использование

Сверьтесь с официальной документацией по адресу API, идентификатору модели, аутентификации, правам доступа и правилам тарификации.

Открыть официальную документацию

Проверено платформой

Проверенных отчётов о тестировании моделей нет. Метки способностей модели не означают, что платформенное тестирование завершено.
Помощник по выбору

让需求变成可修改的筛选条件

依据已录入参数生成条件,结果可查看和修改。帧率与性能需核对实测,不能仅凭算力数值保证。