В соцсети ВКонтакте теперь можно автоматически генерировать субтитры к видео

ВКонтакте презентовали новую функцию, позволяющую автоматически создавать субтитры к роликам.

ВКонтакте продолжает модернизировать свои продукты. Последним из нововведений стал обновленный видеоплеер. В новой версии плеера появилась опция, позволяющая создавать текстовое сопровождение к видеороликам в автоматическом режиме. Субтитры к видео роликам генерируются в русифицированном варианте.

Формирование субтитров стало возможным благодаря использованию алгоритмов машинного обучения и внедрению технологии интеллектуального подавления шума. При создании текстового блока появляется не просто набор слов. Алгоритмы ВКонтакте самостоятельно выделяют заглавные буквы, а также расставляют точки, запятые и прочие знаки препинания. Текстовый блок появляется на экране одновременно с произнесением фразы в аудиодорожке.

Чтобы сгенерировать текстовое сопровождение, аудиопоток проходит несколько ступеней точной обработки информации:

• Алгоритмы очищают аудио дорожку от «лишних звуков», используя инструменты интеллектуального подавления шума.
• Нейросеть распознает произносимые фразы/предложения и преобразует их в текстовый формат.
• Далее расставляются в необходимых отрывках текста точки, запятые и выделяются заглавные буквы.
• Созданный текст подставляется к воспроизводимым кадрам.

Технология автоматического создания текстового сопровождения к видеороликам реализована на основе собственных разработок ВКонтакте. Благодаря этому представителям социальной сети удалось создать технологию, которая позволит настроить автоматическое создание текстового сопровождения для роликов для их максимально эффективной работы.

Так, по сообщению технического директора ВКонтакте, Александра Тоболя, для создания новой опции был усовершенствованы собственные ASR-технологии ВК, а также реализован ряд решений. Последние позволили добиться максимально точной синхронизации текста с аудиодорожкой в видео роликах.

На данный момент новая опция доступна только в тестовом режиме. Оценить возможность автоматического создания субтитров можно в наиболее востребованных видео или в роликах, размещаемых верифицированными сообществами ВКонтакте.

К концу 2021 года ВКонтакте планирует применить опцию автоматической генерации субтитров к большинству видеороликов социальной сети. Воспроизводиться текстовое сообщение будет при активации воспроизведения, как в мобильной версии ВКонтакте, так и в десктопной версии соцсети.

По сообщению Александа Тоболя, в ближайшем будущем нейростевые технологии и машинное обучение будет внедрено в различные сервисы социальной сети.