
讯飞智作
科大讯飞Единая платформа озвучки: вводите текст — получайте сверхреалистичный синтез речи и видео с цифровыми людьми

Потоковое распознавание речи для разработчиков API: на вход — аудиопоток, на выходе — текст распознавания, перевод и протокол встречи на базе большой языковой модели.
Tongyi Tingwu — сервис реального времени для транскрибации речи и формирования протоколов с помощью больших языковых моделей от Alibaba Cloud, подключаемый через OpenAPI. После создания задачи реальной записи разработчик устанавливает WebSocket-соединение по возвращённому MeetingJoinUrl и передаёт аудиопоток, получая в реальном времени результаты распознавания и перевода; по завершении доступны результаты постобработки — сводка, обзор по главам, извлечение ключевых пунктов и др. Поддерживаются различные аудиоформаты, распознавание на многих языках, двусторонний перевод, разделение по говорящим и другие параметры — подходит для интеграции возможностей транскрибации встреч в собственные приложения. Перед подключением необходимо создать AccessKey, создать проект и установить SDK; при использовании следует учитывать ограничения по QPS и тарификацию.
Документация интерфейсов и реализации из центра помощи Alibaba Cloud, описывающая процесс подключения и параметры реальной записи. Поддерживаемые входные форматы: PCM/WAV, OPUS, SPEEX, MP3, AAC; 16-битная разрядность выборки, моно; частота дискретизации 16000 Hz или 8000 Hz; максимальная длительность одной записи — 24 ч. Распознавание поддерживает китайский, английский, кантонский, японский, корейский и режим свободного переключения китайский/английский; для многоязычного режима передаётся параметр multilingual с ограничением набора языков через LanguageHints. Перевод поддерживает двусторонний обмен между китайским, английским, японским, корейским, немецким, французским и русским языками. Для распознавания речи можно включить разделение по говорящим (не более 100 человек). Опциональные возможности больших языковых моделей: обзор по главам, краткое изложение полного текста, резюме выступлений, обзор вопросов и ответов, интеллект-карты, извлечение ключевых слов и задач, контроль качества обслуживания, преобразование устной речи в письменную форма, пользовательский prompt; транскодирование поддерживает только запись в указанный OSS с битрейтом 128 кбит/с и mp3. Ограничения QPS: создание задач — 20 на уровне пользователя, запрос статуса и результатов — 100 на уровне пользователя. Документация содержит примеры кода на четырёх языках: Java, Go, C++, Python.
Разработчики, которым нужно интегрировать в собственные приложения транскрибацию речи в реальном времени, перевод и протоколирование встреч на базе больших языковых моделей; требуется аккаунт Alibaba Cloud и подключение через SDK.
Создайте AccessKey и задайте переменные окружения ALIBABA_CLOUD_ACCESS_KEY_ID и ALIBABA_CLOUD_ACCESS_KEY_SECRET
Создайте проект в консоли управления Tingwu и получите AppKey
Установите Alibaba Cloud SDK и вызовите интерфейс CreateTask для создания задачи реальной записи
Установите WebSocket-соединение по возвращённому MeetingJoinUrl, после отправки команды StartTranscription передавайте аудиокадры в реальном времени и получайте результаты распознавания и перевода
Отправьте StopTranscription для завершения распознавания и закройте соединение, затем вызовите интерфейс (operation=stop) для завершения реальной записи
Вызывайте интерфейс GetTaskInfo для проверки статуса реальной записи и получения результатов постобработки, таких как послесовещательная сводка
Для использования необходимо создать AppKey в консоли управления Tingwu и настроить AccessKey; регион интерфейса — cn-beijing. Требования к входному аудио: 16-битная разрядность, моно, частота дискретизации 16000 или 8000 Hz; для китайского поддерживаются 8K и 16K, английский, японский, кантонский и корейский поддерживают только 16K, многоязычный режим — только 16K. Максимальная длительность одной записи — 24 ч. Лимит QPS на уровне пользователя: создание задач — 20, запрос статуса и результатов — 100. В сценарии реальной записи видеоинформация отсутствует, извлечение PPT не поддерживается.
费用与套餐:В источнике упоминается, что возможности постобработки на базе AI-моделей тарифицируются, а повторное завершение вызывает многократную тарификацию послесовещательных функций больших языковых моделей; конкретные цены в данном документе не указаны — ориентируйтесь на официальный сайт.