Ютуб запустил экспрессивный автодубляж на 8 языках. Нейросеть воспроизводит тембр и эмоции автора, а зритель при желании переключается в плеере на оригинальную дорожку. До публикации блогер может прослушать перевод в Творческой студии и решить, стоит ли открывать его зрителям.
Ютуб заговорил голосами авторов на восьми мировых языках
Переведённая дорожка сохраняет тембр авторского голоса. Когда ведущий меняет интонацию по ходу рассказа, озвучка передаёт эмоциональную окраску его речи. Зритель слышит голос человека, которого видит в кадре, хотя тот уже говорит на другом языке.
После перевода фоновые звуки остаются частью ролика. Особенно это заметно в записях, где речь сопровождает события в кадре. Разработки инкубатора Гугл передают слова и манеру речи автора, при этом сохраняя звуки, окружавшие его во время съёмки.
Сначала система определяет исходный язык, говорится в справке Гугл. Так видеохостинг понимает, с какой речи начинать обработку, а затем создаёт новую голосовую дорожку. Зритель слышит результат уже в готовом ролике: переведённые слова звучат с авторской интонацией на фоне исходной записи.
Встроенный переводчик соревнуется со сторонними плагинами браузера
Встроенный дубляж Ютуба оформляет перевод как отдельную аудиодорожку. Зритель выбирает её непосредственно в плеере, поэтому переведённая речь не звучит поверх оригинальной. Дорожка становится частью ролика, при этом автор по-прежнему контролирует его звуковой профиль.
Расширение для дубляжа Ютуб устроено иначе. Как сказано в магазине расширений Хром, оно переводит субтитры и запускает озвучку на четырёх площадках: Ютуб, Билибили, Юдеми и Курсера. Пользователю достаточно нажать «Воспроизвести», и расширение начнёт переводить и озвучивать видео без дополнительных действий.
В расширении предусмотрена функция «Премиум», сохраняющая оригинальную фоновую музыку и звуковые эффекты. Для роликов, где речь сопровождается музыкой, это существенная деталь: без неё перевод может восприниматься иначе. Встроенный вариант удобен тем, что переключатель аудиодорожек уже есть в плеере Ютуба.
Как включить автодубляж и проверить нейросетевую дорожку до публикации
Настроить автодубляж можно в Творческой студии Ютуб. Если функция пока неактивна, кнопка «Включить» в «Расширенных настройках» может предоставить ранний доступ. Когда новое видео загружено, сервис автоматически создаёт дорожки и публикует их согласно настройкам автора.
До публикации автор может зайти в раздел контента, прослушать нейросетевой перевод и отключить дорожку, которая его не устроила. Исходный язык видео задают при загрузке. Если указать его неправильно, в дубляже возможны ошибки, поэтому перед выпуском перевода звук стоит сравнить с оригиналом.
После того как исходный язык исправлен, сервис заново создаёт дубляж. Получившуюся дорожку также можно прослушать до публикации. По данным справки Гугл, звук может не появиться, если система не смогла автоматически распознать язык аудио.
Клонирование тембра открывает блогерам зарубежную аудиторию без студийных затрат
Блогер может выпускать ролик для зрителей с разными родными языками, не записывая каждую версию в студии и не нанимая профессиональных дикторов. Так автору становится проще знакомить зарубежную аудиторию со своими видео. Вырастет ли число просмотров, зависит от того, заинтересует ли зрителей содержание самого ролика.
Голосовая локализация по-новому выстраивает просмотр разговорного видео. Иностранному зрителю проще следить за событиями в кадре, если перевод можно слушать, а не читать в субтитрах строку за строкой. Особенно важна интонация в рассказах, где смысл передают паузы и эмоциональная подача.
Подобную озвучку предлагает и инструмент из магазина расширений Хром. Его премиум-функция создаёт субтитры для роликов на Ютубе и Билибили, когда они отсутствуют, после чего переводит и озвучивает текст. Благодаря этому зритель может слушать ролик на родном языке, даже если исходное видео опубликовали без субтитров.
Ютуб готовит синхронный перевод стримов к началу 2027 года и испытывает подгонку артикуляции губ
Ютуб намерен запустить пилот автоматического перевода прямых трансляций в начале 2027 года. Этот срок прозвучал на презентации «Сделано на Ютубе». Переведённая речь должна звучать прямо во время эфира, пока автор продолжает выступать, а зрители смотрят трансляцию.
Такой перевод будет создаваться непосредственно по ходу трансляции. Зритель сможет слушать его в прямом эфире, пока обсуждение всё ещё идёт. Для стримов это серьёзное изменение: перевод появится во время разговора, а не тогда, когда он уже закончится.
Кроме того, Ютуб испытывает визуальную синхронизацию артикуляции с переведённой речью. Технология подгоняет видимые движения губ говорящего под звучание другого языка, чтобы картинка совпадала с переводом. Эта функция пока находится на этапе испытаний, а заявленный срок пилота в начале 2027 года касается автоматического дубляжа прямых эфиров.