Яндекс научил YandexGPT пересказывать видеоролики

6 октября 2023

Яндекс представил новую технологию YandexGPT, которая умеет пересказывать содержание видеороликов в текстовом формате. Эта разработка стала результатом исследований в области обработки естественного языка и компьютерного зрения.

YandexGPT анализирует видео, выделяет ключевые объекты, действия и события, а затем генерирует краткий текстовый пересказ. Для обучения технологии использовался большой набор данных, включающий около 130 000 часов видео с русскоязычными субтитрами.

Одним из основных применений YandexGPT может стать автоматическое создание аннотаций и рефератов для видеоконтента. Это упростит поиск релевантных фрагментов в больших видеоархивах. Кроме того, технология будет полезна для быстрого ознакомления с содержанием видео и определения его актуальности.

В ходе тестирования YandexGPT продемонстрировала хорошие результаты. Пересказы в целом соответствуют содержанию исходных видео. Система способна улавливать контекст и выстраивать логическую последовательность событий

Однако есть и определенные ограничения. Алгоритму пока сложно распознавать тонкие детали и эмоциональную окраску событий. Кроме того, качество пересказа во многом зависит от содержания конкретного видео.

Тем не менее, учитывая быстрые темпы развития технологий обработки данных, можно ожидать, что в будущем качество пересказов YandexGPT будет неуклонно улучшаться. Это позволит расширить области применения системы.

В целом разработка YandexGPT является важным шагом на пути к созданию ИИ, способного анализировать и пересказывать мультимодальный контент, включающий как видео, так и текст. Подобные технологии станут неотъемлемой частью "умных" поисковых систем и виртуальных помощников будущего.