Перевод речи за один шаг
Обычно видео переводят в два этапа: сначала расшифровывают речь на исходном языке, потом прогоняют текст через машинный переводчик. Каждый этап добавляет свои ошибки, а второй видит только слова, но не то, как они были сказаны.
Этот инструмент идёт коротким путём. Whisper — речевая модель, на которой он работает, — обучен не только расшифровывать речь, но и сразу выдавать английский текст по иноязычному аудио; около 125 000 часов его обучающих данных — именно такие пары неанглийской речи и английского текста. В режиме перевода модель слушает запись и пишет по-английски, без промежуточной расшифровки на исходном языке.
Это даёт несколько практических преимуществ:
- Тайминги остаются привязаны к английскому тексту. Каждый переведённый сегмент сохраняет время начала и конца той речи, из которой он получен, поэтому SRT и VTT совпадают с видео.
- Ошибки не накапливаются. В двухэтапной схеме неверно расслышанное слово превращается в уверенно неправильный перевод; здесь модель работает с самим звуком, так что переводчику не на что опереться в виде ошибочной расшифровки.
- Одна задача — одно ожидание. Английский текст или субтитры вы получаете из одной загрузки.
Цена — фиксированный язык перевода: Whisper переводит только на английский.
Где это работает хорошо, а где слабо
Инструмент хорошо подходит, чтобы понять содержание или для несложной публикации:
- Разобраться в докладе на конференции, лекции или интервью на языке, которого вы не знаете.
- Добавить английские субтитры к короткому ролику для международной аудитории.
- Уловить суть голосового сообщения, новостного сюжета или видео от клиента, прежде чем решать, нужен ли профессиональный переводчик.
Знайте, где у него трудности:
- Имена собственные и термины. Имена людей, названия мест и продуктов могут переводиться буквально или с ошибками. Проверяйте их перед публикацией.
- Идиомы и юмор. Устойчивые выражения иногда переводятся слово в слово.
- Речь на нескольких языках. Когда говорящие переключают язык посреди фразы, отдельные куски могут остаться непереведёнными или выпасть.
- Изредка непереведённые фрагменты. Время от времени сегмент остаётся на исходном языке. Если явно выбрать язык речи вместо «Автоопределения», это случается реже.
- Записи, которые уже на английском. Они просто расшифровываются, так что запускать их здесь нет смысла; воспользуйтесь транскрибацией.
Какой результат выбрать
Доступны три формата, а когда задача завершена, английский текст появляется и на странице — его можно сразу скопировать:
- TXT ставит каждую переведённую фразу на отдельную строку, без таймингов. Лучше всего для чтения, заметок, цитат и вставки в документ.
- SRT — надёжный выбор для субтитров: его принимают видеоредакторы, десктопные плееры и большинство форм загрузки.
- VTT — для HTML5-видео на сайте, где элемент
<track>принимает только VTT.
Чтобы показать английские субтитры, добавьте SRT как дорожку субтитров в редакторе или плеере либо положите его рядом с видео с тем же именем файла. Если субтитры сдвинуты на секунду-другую или позже понадобится другой формат, инструмент «Конвертировать SRT в VTT и обратно» умеет сдвигать тайминги и переключать SRT и VTT.
Как подготовить файл
Принимаются и видео, и аудио: MP4, MOV, MKV и WebM, а также MP3, WAV и M4A. Используется только звук, так что большое видео можно заменить его звуковой дорожкой, чтобы загрузка шла быстрее. Запись экрана на 300 МБ в виде MP3 обычно занимает 10–15 МБ, а перевод получается тем же самым.
Распознавание занимает примерно столько же времени, сколько длится запись, а бесплатный лимит измеряется в минутах аудио, а не в мегабайтах. Если запись длиннее вашего лимита, разрежьте её по естественным паузам и переводите части по очереди, чтобы ни одна фраза не оборвалась на границе.
Обработка идёт на наших серверах, потому что модель слишком велика, чтобы работать во вкладке браузера. Загруженный файл удаляется, как только результат готов, а сам результат автоматически становится недоступен примерно через час, так что скачайте или скопируйте его сразу.