Генерируем варианты изображения по любому референсу

В контролнет появился новый препроцессор. Который называется reference_only, суть работы в том, чтобы взять ваше изображение как референс и наделать вариантов. Что по моему опыту является очень частым запросом от пользователей.

Что за ControlNet такой я писал в одной из своих статей. А как приобщиться к генерациям вообще рассказываю в самом конце статьи.

Для того чтобы воспользоваться новым препроцессором, вам нужен ControlNet версии не ниже чем 1.1.153. Если это не так, обновите его во вкладке Extensions. После чего, как обычно, выбрать препроцессор в выпадающем списке. Модель для его работы не требуется. Выбрать референс, генерировать.

Лучшие результаты будут достигнуты если картинка была сгенерирована, вы используете промпт от нее и у вас зафиксирован сид. А так же чем сложнее промпт тем лучше следование референсу.

Ниже наглядные примеры от Реддитора.

Слева без использования контролнета. Справа с ним. Сид фиксирован, промпт детальный:

Слева без использования контролнета. Справа с ним.Случайный сид, промпт детальный:

Слева без использования контролнета. Справа с ним. Случайный сид, промпт простой:

Видно, что наибольшее следование референсу получаем в первом варианте, на всех четырех изображениях хорошо сохранилось лицо и одежда, в отличие от генераций без использования ContrloNet.

Использование не сгенерированных изображений или изображений к которым у вас нет промпта в качестве референса так же работает, но местами хуже.

Пример одного из пользователей. Взяв изображение в Midjourney, он создал варианты этого изображения в SD.

MJ:

SD:

А на этом всё. До скорого.

Поделиться результатом или задать вопрос, а так же пообщаться с единомышленниками вы можете в нашем нейробратском комьюнити.

Больше гайдов на моем канале, где бесплатно обучаю с установки и до тренировки собственных моделей. Подписывайтесь чтобы не пропустить.

#stablediffusion