SwD ускоряет генерацию изображений до 0,3–0,4 секунды без потери детализации
Группа экспертов из Yandex Research и НИУ ВШЭ представила инновационный метод Scale-wise Distillation (SwD), который кратно повышает скорость работы диффузионных нейросетей, сохраняя при этом высокое визуальное качество результатов. Традиционные подходы к генерации требуют длительных итераций с вычислениями в высоком разрешении, что серьезно замедляет процесс. Разработчики SwD предложили изящное решение: генерация стартует с низкого разрешения, а детализация и уточнение контуров происходят поэтапно по мере очистки изображения от шума.
Технология базируется на методах дистилляции знаний, когда компактная модель-студент обучается в точности повторять действия тяжеловесных нейросетей уровня FLUX и Stable Diffusion 3.5. Благодаря этому количество необходимых шагов генерации сокращается с десятков до всего 4–6. Ключевым нововведением стала функция потерь Maximum Mean Discrepancy (MMD), которая сопоставляет внутренние представления данных у учителя и студента. Такой подход позволил сделать обучение более эффективным, ускорив каждую итерацию в семь раз.
Внедрение SwD сокращает время создания изображения до 0,3–0,4 секунды, при этом качество остается на уровне исходных мощных моделей. Это значительно удешевляет эксплуатацию нейросетей и открывает широкие возможности для их интеграции в прикладные продукты. Успехи команды были отмечены научным сообществом: публикация о данном исследовании принята к участию в престижной конференции ICLR 2026.
Источник: iXBT
