«Яндекс Браузер» переведет на русский Youtube-трансляции

Технология доступна в режиме бета-тестирования Компания «Яндекс» запустила технологию автоматического закадрового перевода прямых трансляций в своем браузере.
Пока технология работает в режиме открытого бета-тестирования — для перевода трансляций на YouTube-каналах из плейлиста. «Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие», — цитирует пресс-служба руководителя приложения «Яндекс» и «Яндекс Браузера» Дмитрия Тимко.
Над синхронным переводом видео работают несколько нейросетей: одна распознает аудио и превращает его в текст, другая определяет пол спикера по биометрии, третья расставляет знаки препинания и выделяет из текста части, которые содержат законченную мысль — их забирает четвертая нейросеть, отвечающая за перевод, который синтезируется на русском языке. Протестировать технологию может любой пользователь «Яндекс Браузера» на своем компьютере. Прототип автоматического перевода видео «Яндекс» анонсировал в июле прошлого года. Тогда технология работала только с роликами на английском языке.