ИИ-видео без облачных технологий: новая модель от Lightricks увеличивает скорость генерации в 30 раз, обходясь без дорогих GPU

Компания Lightricks, прославившаяся своими приложениями Facetune и VideoLeap, представила новую модель для генерации видео — LTXV-13B. Эта система, обладая 13 миллиардами параметров, создаёт контент в 30 раз быстрее сопоставимых решений, поддерживая работу на простом пользовательском оборудовании — включая ноутбуки с видеокартами серии RTX 3090, 4090 или 5090. Это стало возможным благодаря инновационной технологии «многомасштабного рендеринга», напоминающей процесс создания художником: модель генерирует видео поэтапно, от чернового варианта к мелким деталям, что уменьшает нагрузку на видеопамять.

«Это значительное технологическое достижение для локального ИИ», — отметил Зив Фарбман, один из основателей Lightricks. Новый подход избавляет от необходимости использовать корпоративные GPU с 80 ГБ видеопамяти, которые необходимы конкурентам, таким как Runway или Pika. К примеру, LTXV-13B способна обрабатывать части видео, а не целые кадры, что значительно снижает расход ресурсов. Дополнительно уменьшается объём памяти без потери качества.

Lightricks опубликовала исходный код модели на платформах Hugging Face и GitHub. «Мы стремимся ускорить развитие ИИ через совместные усилия», — пояснил Фарбман. Это не только уменьшает затраты на исследования и разработки, но и привлекает разработчиков для улучшения алгоритмов. Для коммерческого использования компания заключает соглашения с Getty Images и Shutterstock, лицензируя контент, что минимизирует юридические риски.

Бесплатный доступ к LTXV-13B получат стартапы с доходом до 10 миллионов долларов в год. Крупные компании смогут заключать лицензионные соглашения по аналогии с системами игрового движка. Несмотря на то, что модель пока не достигает уровня голливудской анимации, она уже автоматизирует сложные этапы работы, экономя время для студий. В планах Lightricks — создание мультимодальных систем, объединяющих видео, звук и музыку в единое латентное пространство.

Интеграция LTXV-13B в платформу LTX Studio началась сразу после её выхода, открывая новые возможности для создателей контента, которые теперь могут быстро создавать видео без использования облачных серверов.

 

Источник: iXBT