此语言仍有 26 条内容或界面任务待翻译;未完成部分显示中文原文。
音频与音乐 · 阿里云

通义听悟(TINGWU)

Потоковое распознавание речи для разработчиков API: на вход — аудиопоток, на выходе — текст распознавания, перевод и протокол встречи на базе большой языковой модели.

AI 辅助整理
транскрибация речи в реальном временипротокол встречиперевод речиAPIразделение по говорящим

Описание инструмента

Tongyi Tingwu — сервис реального времени для транскрибации речи и формирования протоколов с помощью больших языковых моделей от Alibaba Cloud, подключаемый через OpenAPI. После создания задачи реальной записи разработчик устанавливает WebSocket-соединение по возвращённому MeetingJoinUrl и передаёт аудиопоток, получая в реальном времени результаты распознавания и перевода; по завершении доступны результаты постобработки — сводка, обзор по главам, извлечение ключевых пунктов и др. Поддерживаются различные аудиоформаты, распознавание на многих языках, двусторонний перевод, разделение по говорящим и другие параметры — подходит для интеграции возможностей транскрибации встреч в собственные приложения. Перед подключением необходимо создать AccessKey, создать проект и установить SDK; при использовании следует учитывать ограничения по QPS и тарификацию.

Документация интерфейсов и реализации из центра помощи Alibaba Cloud, описывающая процесс подключения и параметры реальной записи. Поддерживаемые входные форматы: PCM/WAV, OPUS, SPEEX, MP3, AAC; 16-битная разрядность выборки, моно; частота дискретизации 16000 Hz или 8000 Hz; максимальная длительность одной записи — 24 ч. Распознавание поддерживает китайский, английский, кантонский, японский, корейский и режим свободного переключения китайский/английский; для многоязычного режима передаётся параметр multilingual с ограничением набора языков через LanguageHints. Перевод поддерживает двусторонний обмен между китайским, английским, японским, корейским, немецким, французским и русским языками. Для распознавания речи можно включить разделение по говорящим (не более 100 человек). Опциональные возможности больших языковых моделей: обзор по главам, краткое изложение полного текста, резюме выступлений, обзор вопросов и ответов, интеллект-карты, извлечение ключевых слов и задач, контроль качества обслуживания, преобразование устной речи в письменную форма, пользовательский prompt; транскодирование поддерживает только запись в указанный OSS с битрейтом 128 кбит/с и mp3. Ограничения QPS: создание задач — 20 на уровне пользователя, запрос статуса и результатов — 100 на уровне пользователя. Документация содержит примеры кода на четырёх языках: Java, Go, C++, Python.

Кому подходит

Разработчики, которым нужно интегрировать в собственные приложения транскрибацию речи в реальном времени, перевод и протоколирование встреч на базе больших языковых моделей; требуется аккаунт Alibaba Cloud и подключение через SDK.

Рекомендуемые шаги использования

  1. 01

    Создайте AccessKey и задайте переменные окружения ALIBABA_CLOUD_ACCESS_KEY_ID и ALIBABA_CLOUD_ACCESS_KEY_SECRET

  2. 02

    Создайте проект в консоли управления Tingwu и получите AppKey

  3. 03

    Установите Alibaba Cloud SDK и вызовите интерфейс CreateTask для создания задачи реальной записи

  4. 04

    Установите WebSocket-соединение по возвращённому MeetingJoinUrl, после отправки команды StartTranscription передавайте аудиокадры в реальном времени и получайте результаты распознавания и перевода

  5. 05

    Отправьте StopTranscription для завершения распознавания и закройте соединение, затем вызовите интерфейс (operation=stop) для завершения реальной записи

  6. 06

    Вызывайте интерфейс GetTaskInfo для проверки статуса реальной записи и получения результатов постобработки, таких как послесовещательная сводка

Что знать перед использованием

Для использования необходимо создать AppKey в консоли управления Tingwu и настроить AccessKey; регион интерфейса — cn-beijing. Требования к входному аудио: 16-битная разрядность, моно, частота дискретизации 16000 или 8000 Hz; для китайского поддерживаются 8K и 16K, английский, японский, кантонский и корейский поддерживают только 16K, многоязычный режим — только 16K. Максимальная длительность одной записи — 24 ч. Лимит QPS на уровне пользователя: создание задач — 20, запрос статуса и результатов — 100. В сценарии реальной записи видеоинформация отсутствует, извлечение PPT не поддерживается.

费用与套餐:В источнике упоминается, что возможности постобработки на базе AI-моделей тарифицируются, а повторное завершение вызывает многократную тарификацию послесовещательных функций больших языковых моделей; конкретные цены в данном документе не указаны — ориентируйтесь на официальный сайт.

Помощник по выбору

让需求变成可修改的筛选条件

依据已录入参数生成条件,结果可查看和修改。帧率与性能需核对实测,不能仅凭算力数值保证。