Февраль 27, 2023

Телеграм канал автора

Как обучить модель новому лицу, персонажу, стилю, за несколько минут.

Что я получил в итоге:

Из чего:

Гайд подойдет уже достаточно опытным пользователям стабильной диффузии или тем кто может внимательно повторять за всем что написано.

Low-rank adaptation (LoRA) - в последнее время стала крайне популярной из за того что всего за несколько минут можно обучить сеть отрисовывать предмет или следовать определенному стилю. На civitai новые LoRA появляются буквально сотнями в день.

В гайде будет использоваться пример с Google Colab чтобы обучать мог каждый(позже выйдет версия для ПК). Так как на 6гиговых картах памяти может уже и не хватить. Да и не у всех есть даже такая.

2 ядра, 2 гига

Стабильная диффузия может рисовать только вещи основанные на концепциях на которых она была обучена. Она не может нарисовать концепцию которой в ней нет. То есть как выглядите вы, она не знает например, а значит никогда и не нарисует.

Вот тут нам и пригождается LoRA (дальше просто Лора). Это метод который позволяет нам обучать модель новой концепции.

Преимущество Лора в том что тренировка не требует много времени и сотен изображений.

Нам понадобится:

1. Гугл аккаунт
2. Аккаунт хаггингфейс (опционально, если вас не устроит набор уже встроенных моделей)
3. Набор данных для обучения (изображения концепта или примеры стиля)

Готовим датасет:

Один из самых понятных пунктов, но это не делает его простым.