Google анонсировала Nested Learning — технологию, не дающую ИИ забывать знания
Иллюстрация: Google
В исследовательском подразделении Google Research представлен инновационный метод обучения ИИ — Nested Learning, призванный преодолеть одну из главных сложностей современных моделей: «катастрофическое забывание». Это явление возникает, когда освоение новых задач приводит к утрате ранее усвоенных знаний, словно они стираются из памяти.
В Google отмечают, что Nested Learning вдохновлён механизмами нейробиологии, отражающими процесс сохранения и обновления человеческих воспоминаний. Вместо полной перезаписи всей «памяти» при каждом обучении новая система позволяет выборочно корректировать знания на разных «скоростях» и уровнях, эмулируя нейропластичные процессы мозга.
Традиционно архитектуру модели и алгоритм её оптимизации рассматривают как самостоятельные компоненты. Nested Learning объединяет их в единую иерархию: ИИ видится как совокупность вложенных оптимизационных задач, каждая из которых обновляется на своей временной шкале — механизм, который в Google называют multi-time-scale updates. Это позволяет встроить новую информацию, не «затирая» ранее накопленные слои знаний.
Для демонстрации концепции Google создала экспериментальную модель Hope — рекуррентную самообучающуюся систему, умеющую оптимизировать собственную память. В её основе лежит концепция Continuum Memory Systems: память представлена не двумя статичными блоками («краткосрочная» и «долгосрочная»), а спектром слоёв с разной скоростью обновления.
Hope продемонстрировала выдающиеся результаты в задачах долговременного запоминания, особенно в испытаниях типа Needle-in-Haystack, где системе требуется находить крохотные фрагменты в обширных текстах. Модель также обошла существующие решения по точности и скорости генерации текстового контента.
В Google подчёркивают, что идеи Nested Learning могут лечь в основу будущих версий серии моделей Gemini, однако конкретные сроки внедрения пока не объявлены.
Источник: iXBT
Colorful представила белую материнскую плату iGame B850I MINI W OC V14 с Wi-Fi 7 и двумя слотами M.2 PCIe 5.0 x4
Vivo S60t поступил в продажу: не самый мощный чип, зато аккумулятор на 7200 мА·ч, зарядка 90 Вт, перископная камера и защита IP69
GPD запустит на Indiegogo Win Mini Ultra — гибрид ноутбука и консоли с Intel Arc G3 Extreme за 1700 долларов
Кредиторы SpaceX попытались помешать Илону Маску отправить в космос заложенные чипы Nvidia
GTA VI разошлась тиражом более 32 млн копий за первые сутки и заработала почти 3,8 млрд долларов, установив рекорд индустрии развлечений
Seagate представила гибридный накопитель FireCuda Forge на 8 и 20 ТБ с поддержкой NVMe SSD
Meizu MIFI N1 поступил в продажу за $6: Wi-Fi 6, LTE до 150 Мбит/с, подключение до 16 устройств и аккумулятор на 3000 мАч
Microsoft внедрила новый способ работы RDMA: несколько ПК можно объединять по USB4 для запуска больших ИИ-моделей