Применение нейросети Stable Diffusion для анимации голоса

Обработка видео в Stable Diffusion достигла новых вершин.

Инструменты: SD+TemporalKit + ebsynth.

Чекпоинты: revAnimated & CountrfeitV25 + rola

Начало:

Сохраните выходное видео целевого объекта в виде последовательности кадров в папке с именем «frames».

Используйте controlnet v1.1 (openpose full + hed) со степенью шумоподавления около 0,5 в соответствии с вашими потребностями, шаг 30.

После настройки выполните пакетную обработку и экспортируйте ключи (ключевые кадры). Вручную извлеките 3 кадра в секунду для примера с частотой кадров 30fps.

Свяжите целевой файл в ebsynth и запустите его после завершения ассоциации. Автоматически создайте пакеты файлов на основе ключей.

Наконец, вернитесь к плагину SD TemporalKit и просто установите вывод для конечного видео в процессе ebsynth.

Подписывайтесь на мой телеграм канал Арт-нейросети от Nerual Dreming, чтобы быть в курсе всех новостей из мира нейро-сетей.

#stablediffusion.

Источник