Нейросеть научили по описанию генерировать сцены из "Флинстоунов" (ВИДЕО)

16 апр 2018 10:40 #68254 от ICT
Группа исследователей из Института искусственного интеллекта Пола Аллена и Иллинойсского университета в Урбане-Шампейне создала нейросеть, которая может по текстовому описанию создавать короткие анимированные ролики с персонажами мультсериала "Флинтстоуны". Статья, посвященная разработке, была размещена на сайте arXiv.org . Как пишет N+1 , система, получившая название CRAFT (Composition, Retrieval and Fusion Network, "составляющая, добывающая и спаивающая нейросеть"), способна генерировать анимированные сцены на основе описания сцены и действий персонажей. CRAFT включает в себя три разные нейросети, которые выделяют в тексте описания подходящую композицию сцены, сущности (сюда входят как одушевленные, так и неодушевленные объекты) и фон. Для обучения системы ее создатели использовали свыше 25 тысяч размеченных вручную 75-кадровых роликов продолжительностью по три секунды. При помощи этой выборки CRAFT училась понимать, кто и что делает в каждом отрывке, и затем использовала подходящие части роликов для генерации новых сцен. Судя по небольшому демонстрационному видеоролику, который пыл опубликован на YouTube, порой CRAFT допускает бросающиеся в глаза ошибки при генерировании сцен. Так, в одном из фрагментов Фред (главный персонаж мультсериала) бежит на месте. Однако в целом система демонстрирует заметный прогресс в области генерации видеоконтента из текстового описания в сравнении с существующими аналогами. Напомним, в январе этого года разработчики из компании Microsoft представили нейросеть, способную рисовать изображения на основе текстового описания. Ее особенность состоит в том, что алгоритм генерирует изображение не из всего описания сразу, превращая его в один вектор-предложение, а изучает детали, оценивая каждое слово описания. Ссылка на источник


  • Сообщений: 103416

  • Пол: Не указан
  • Дата рождения: Неизвестно
  • Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

    Похожие статьи

    ТемаРелевантностьДата
    В Microsoft научили нейросеть рисовать изображения по их описанию23.38Пятница, 19 января 2018
    В Nvidia научили нейросеть создавать замедленное видео из обычных роликов17.21Среда, 20 июня 2018
    «Сбер» создал нейросеть, которая генерирует картинки по описанию на русском16.32Вторник, 02 ноября 2021
    Нейросеть научили давать советы о любви13.67Пятница, 27 января 2017
    Нейросеть научили взламывать пароли миллионами13.67Вторник, 19 сентября 2017
    Нейросеть научили распознавать отретушированные снимки13.67Понедельник, 25 июня 2018
    Нейросеть научили составлять рецепт блюда по фотографии13.53Пятница, 21 июля 2017
    В США нейросеть научили распознавать гомосексуалистов и лесбиянок по их фотографиям13.53Пятница, 08 сентября 2017
    Нейросеть научили прятать открытые окна при приближении начальника13.38Среда, 28 декабря 2016
    Нейросеть научили проходить видеоигру при помощи голосовых команд13.38Среда, 26 апреля 2017

    Мы в соц. сетях