Возможности и применение
В этой статье описывается, как вызывать модели через интерфейс Ark для создания GUI Agent-приложений, извлекающих исполняемые намерения действий из скриншотов интерфейса и промптов. Поддерживаются модели серии Doubao Seed. 1. Процесс задачи: модель управляет графическим интерфейсом как человек — смотрит скриншот экрана → решает, что делать дальше → выполняет действие → снова смотрит новый экран, цикл повторяется до завершения задачи. Вывод считается завершённым, если это чистый текст без <seed:tool_call>. Два режима: режим 1 — многораундовый цикл GUI Agent «наблюдение → решение → действие → наблюдение»; режим 2 — чистый Grounding, только одноразовое позиционирование с выводом координат click. 2. Ключевые соглашения: при вызове chat.completions.create не передавайте параметр tools, иначе задействуется OpenAI function calling, и формат вывода будет несовместим с данным руководством. Модель обучена записывать блок действий непосредственно в message.content, а цепочку рассуждений — в отдельное поле message.reasoning_content. Все координаты кликов/перетаскивания — относительные в диапазоне 0–1000, независимые от разрешения скриншота; формула пересчёта: px = round(x / 1000 * width). 3. Особенности реализации режима 1: system prompt состоит из двух частей — TASK_SP (каркас задачи) и FUNCTION_SP (определение действий), всего 8 дискретных действий (click / drag / hotkey / left_double / right_single / scroll / type / wait); скриншот конвертируется в Base64 для передачи; разбор действий выполняется официальным парсером пакета ui-tars parse_xml_action_65_with_validate_soft; пустой список означает, что модель завершила чистым текстом и взаимодействие окончено. 4. Режим 2 — чистый Grounding: одна инструкция и один скриншот дают координаты одного действия click; цикл не запускается, завершение не определяется, действия реально не выполняются; координаты поддерживают целые числа или один десятичный знак, начало координат — верхний левый угол скриншота. 5. Ограничения развёртывания и эксплуатации: RGBA-изображения рекомендуется сначала convert("RGB"), затем кодировать; первый мультимодальный запрос занимает около 10~23 с, timeout ≥ 120; у Ark есть ограничения на конкурентность — для пакетной оценки Grounding рекомендуется параллелизм 4–8, --max-retries ≥ 3, дефолтный --timeout скрипта пакетной оценки — 300 с.
Нет верифицированных оценок по пунктам, радар способностей и общий рейтинг пока не отображаются.
Данные и источники
- Поставщик материалов
- 火山方舟
- Официальное описание
- Сверить с официальными материалами ↗
- Обновление материалов на платформе
- 2026-11-22 02:01:23
Время обновления на сайте не совпадает с датой выпуска модели. Без тестового набора, даты и исходных результатов официальные или платформенные баллы не отображаются.
История версий
История версий, даты запуска и снятия с производства подлежат уточнению.
Подключение и использование
Сверьтесь с официальной документацией по адресу API, идентификатору модели, аутентификации, правам доступа и правилам тарификации.
Открыть официальную документацию