Start-up-Secret Weapons выпустила бесплатную программу для графических дизайнеров, которые хотели бы обработать свое видео. Чтобы получить эффект, близкий к ротоскопии (так создавался, например, клип А-ha или фильм «Твой Винсент»), просто необходимо подрисовать один или несколько кадров. Все остальное сделает EbSynth.
Как это работает?
EbSynth был создан на основании исследований, проведенных в Политехническом институте Чехии и в Adobe Research, который возглавляет владелец Secret Weapons. В отличие от других подобных программ, EbSynth не основана на машинном обучении, но использует непараметрические алгоритмы синтеза текстур. Это означает, что пользователь сам должен подготовить материал, на котором программа будет работать. Другими словами, чтобы получить живописную анимацию из фильма с актерами, вы должны быть «на ты» с техникой цифровой живописи.
В первую очередь вы должны преобразовать видео в последовательность изображений в обычном формате 2D (например, PNG). Затем следует выбрать те кадры, на которых четко видно объекты, появляющиеся в сцене и перекрасить их (авторы советуют делать это непосредственно на кадре из фильма). Если не нарисуем предметы в целом, программа сама их не пополнит, поэтому эта стадия процесса является ключевой для обеспечения согласованности и хорошего результата. Пользователь может также создавать маски, которые отделят актеров от фона. В конце просто выберите соответствующие параметры видео, и программа смонтирует лицо. В следующем видео вы увидите, как это происходит шаг за шагом.
Хотя процесс может показаться сложным, с подготовкой кадров спокойно справится художник или аниматор. Легче если есть опыт в работе с программным приложением Prisma или другими приложениями, которые используют ИИ для преобразования обычного изображения в живописный шедевр.
Множество программ для редактирования видео также имеет встроенные фильтры, позволяющие получить аналогичный эффект. Результат, однако, не является совершенным, поэтому художники предпочитают применять, насчитывающий уже более 100 лет, метод ротоскопирования.
Именно таким образом создавались, например, некоторые сцены в Диснеевской «Белоснежке», клип на песню «Take on me» группы А-ha. Как легко догадаться, такая работа утомляет и занимает много времени, но гарантирует высокое качество. EbSynth значительно сокращает весь процесс создания мультипликационного фильма, при сохранении неплохого эффекта.