Открыт код для синтеза анимации с помощью нейросетей
Группа исследователей из шанхайского технического университета опубликовала инструментарий Impersonator, позволяющий при помощи методов машинного обучения симулировать движения людей по статическим изображениям, а также заменять одежду и менять ракурс с которого виден объект. Код написан на языке Python с применением фреймворка PyTorch. Для сборки также требуется torchvision и CUDA Toolkit.
Инструментарий получает на входе двумерное изображение и синтезирует изменённый результат на основе выбранной модели. Поддерживается три варианта трансформаций: Создание движущегося объекта, повторяющего движения, на которых была обучена модель. Передача элементов внешнего вида из модели в объект (например, смена одежды). Генерация нового ракурса (например, синтез изображения в профиль на основе фотографии в анфас). Все три метода могут комбинироваться, например, можно имитировать по фотографии исполнение сложного акробатического трюка в другой одежде.
В процессе синтеза попутно выполняются операции выделения объекта на фотографии и формирования недостающих элементов фона при перемещении. Модель для нейронной сети может быть натренирована один раз и использована для различных преобразований. Для загрузки доступны готовые модели, позволяющие сразу использовать инструментарий без проведения предварительной тренировки. Для работы требуется GPU с размером памяти не менее 8GB.
В отличие от методов трансформации, основанных на трансформации по ключевым точкам, описывающим расположение тела в двумерном пространстве, в Impersonator предпринята попытка синтеза трехмерной сетки (mesh) с описанием тела, используя методы машинного обучения. Предложенный метод позволяет проводить манипуляции с учётом персонализированной формы тела и текущей позы, моделируя естественные движения конечностей.
Для сохранения исходной информации, такой как текстуры, стиль, цвета и узнаваемость лица, в процессе трансформации применяется генеративно-состязательная нейронная сеть (Liquid Warping GAN). Информация об исходном объекте и параметры для его точной идентификации извлекается путём применения свёрточной нейронной сети.
Источник: http://www.opennet.ru/opennews/art.shtml? num=51608
Инструментарий получает на входе двумерное изображение и синтезирует изменённый результат на основе выбранной модели. Поддерживается три варианта трансформаций: Создание движущегося объекта, повторяющего движения, на которых была обучена модель. Передача элементов внешнего вида из модели в объект (например, смена одежды). Генерация нового ракурса (например, синтез изображения в профиль на основе фотографии в анфас). Все три метода могут комбинироваться, например, можно имитировать по фотографии исполнение сложного акробатического трюка в другой одежде.
В процессе синтеза попутно выполняются операции выделения объекта на фотографии и формирования недостающих элементов фона при перемещении. Модель для нейронной сети может быть натренирована один раз и использована для различных преобразований. Для загрузки доступны готовые модели, позволяющие сразу использовать инструментарий без проведения предварительной тренировки. Для работы требуется GPU с размером памяти не менее 8GB.
В отличие от методов трансформации, основанных на трансформации по ключевым точкам, описывающим расположение тела в двумерном пространстве, в Impersonator предпринята попытка синтеза трехмерной сетки (mesh) с описанием тела, используя методы машинного обучения. Предложенный метод позволяет проводить манипуляции с учётом персонализированной формы тела и текущей позы, моделируя естественные движения конечностей.
Для сохранения исходной информации, такой как текстуры, стиль, цвета и узнаваемость лица, в процессе трансформации применяется генеративно-состязательная нейронная сеть (Liquid Warping GAN). Информация об исходном объекте и параметры для его точной идентификации извлекается путём применения свёрточной нейронной сети.
Источник: http://www.opennet.ru/opennews/art.shtml? num=51608
Ещё новости по теме:
18:20