Стартап Runaway AI создал нейросеть Gen 2, способную создавать короткие видеоролики по текстовому описанию

Развитие нейросетей, генерирующих картинки на любой вкус, в последние годы поражает. Сетевое сообщество уже привыкло к новостям об очередных апдейтах для Dall-E и Midjourney, которые существенным образом «прокачивают» их возможности. А вот нейросети, способные генерировать видеоролики по короткому текстовому описанию, — это что-то действительно новенькое. Первопроходцами в этой области могут стать энтузиасты из стартапа Runaway AI.

Нейросеть Gen 2 от Runaway AI способна создавать короткие видеоролики, принимая в качестве основы текстовое описание всего из нескольких слов. Работает это таким же образом, как и с посвящёнными картинкам нейросетями. Человек, например, пишет простенькое выражение «девушка гуляет на пляже», затем Gen 2 генерирует видеоролик продолжительностью в три секунды с соответствующим содержанием. Также пользователь перед генерацией ролика может загрузить изображение, которое станет подсказкой для сервиса, в какой именно стилистике должно быть оформлено видео.

Разработчики Gen 2 — вовсе не случайные люди в среде построения ИИ-сервисов. Они занимаются созданием инструментов на основе искусственного интеллекта ещё с 2018 года, получив за это время свыше $50 млн инвестиций. Также стартап оказывал активное содействие в построении нейросети Stable Diffusion первого поколения. В последнем случае, напомним, речь идёт о сервисе, способном генерировать изображения по текстовому описанию.

В настоящий момент нейросетью Runaway AI не сможет воспользоваться любой желающий. Пользователь должен зарегистрироваться на сайте разработчиков и добавить себя в лист ожидания. Нейросеть Gen 2 способна не только создавать новые ролики, но также изменять уже готовые видео, накладывая маски, внося изменения в стиль и даже полностью перекраивая картинку.

Источник: overclockers.ru