YouTube научился автоматически подписывать окружающие звуки в видео
В YouTube появилась функция, которая автоматически подписывает в видеороликах окружающие звуки — аплодисменты, музыку и смех. Это поможет лучше понимать происходящее на экране тем, у кого имеются проблемы со слухом. Возможности системы пока ограничены тремя перечисленными категориями. YouTube использует машинное обучение, чтобы определять звуки и показывать их текстовые описания. Компания разработала нейронную сеть и натренировала её, использовав тысячи часов видео. По словам разработчиков, сложнее всего было научить систему отличать элементы, которые звучат одновременно — например, смех и рукоплескания. В результате описания окружающих звуков стали отображаться вместе со стандартными автоматическими субтитрами. Команда разработчиков YouTube признаёт, что подписи примитивны. Но теперь технологию будет проще усовершенствовать, потому что основа, то есть нейронная сеть, уже создана. В будущем компания хочет добавить поддержку таких звуков, как лай, стук и звон. Для этого искусственному интеллекту придётся научиться различать источники звуков: звон, например, могут издавать телефон, будильник или дверной звонок. Это стоит усилий разработчиков: они провели исследование, две трети участников которого сказали, что с подписями видео смотреть комфортнее. Автоматические субтитры появились в YouTube в ноябре 2009 года. Алгоритмы компании пока далеки от идеала и их приходится дорабатывать — из-за неправильного произношения, диалектов, акцентов и фоновых шумов. Тем не менее, функция очень популярна: более 15 миллионов роликов с автоматическими субтитрами люди смотрят каждый день, а всего таких видео в сервисе — более миллиарда.
Scalelab Russia
YouTube научился автоматически подписывать окружающие звуки в видео
В YouTube появилась функция, которая автоматически подписывает в видеороликах окружающие звуки — аплодисменты, музыку и смех. Это поможет лучше понимать происходящее на экране тем, у кого имеются проблемы со слухом.
Возможности системы пока ограничены тремя перечисленными категориями. YouTube использует машинное обучение, чтобы определять звуки и показывать их текстовые описания.
Компания разработала нейронную сеть и натренировала её, использовав тысячи часов видео. По словам разработчиков, сложнее всего было научить систему отличать элементы, которые звучат одновременно — например, смех и рукоплескания.
В результате описания окружающих звуков стали отображаться вместе со стандартными автоматическими субтитрами.
Команда разработчиков YouTube признаёт, что подписи примитивны. Но теперь технологию будет проще усовершенствовать, потому что основа, то есть нейронная сеть, уже создана. В будущем компания хочет добавить поддержку таких звуков, как лай, стук и звон. Для этого искусственному интеллекту придётся научиться различать источники звуков: звон, например, могут издавать телефон, будильник или дверной звонок.
Это стоит усилий разработчиков: они провели исследование, две трети участников которого сказали, что с подписями видео смотреть комфортнее.
Автоматические субтитры появились в YouTube в ноябре 2009 года. Алгоритмы компании пока далеки от идеала и их приходится дорабатывать — из-за неправильного произношения, диалектов, акцентов и фоновых шумов. Тем не менее, функция очень популярна: более 15 миллионов роликов с автоматическими субтитрами люди смотрят каждый день, а всего таких видео в сервисе — более миллиарда.