Процесс включает конвертацию видео в последовательность изображений PNG, удаление каждого второго кадра для конвертации с частотой 15 кадров в секунду, применение img2img с использованием ControlNet и подсказок для достижения согласованности, создание ключевого кадра, использование контрольных сетей обратной связи, увеличение частоты кадров с помощью Flowframes, применение анти-мигания в Davinci Resolve и компиляция видео.
Модель Mostly Realistic Vision 5.0 использовалась для основной конвертации, а для раскраски карандашами использовалась LORA, доступная по ссылке: https://civitai.com/models/120853?modelVersionId=131468.
Комментарий: Основным источником мерцания являются волосы, которые начинают мерцать, когда добавляются дополнительные детали и человек движется. Это связано с сидом, вызывающим мерцание. При этом подходе есть ограничение на объем конвертации – не меняется фон в некоторых случаях, но это требует стабильности контрольных сетей обратной связи и их неподвижности.
Интересуешься нейросетями? Тебе в источник – Арт-нейросети от Nerual Dreming
#ai #aianimation #animation #video #neuralnetwork #neuralnet #neuroart #neuralnetworks #stablediff #stablediffusion #artificialintelligence #guide
