Google анонсировала Nested Learning — технологию, не дающую ИИ забывать знания

В исследовательском подразделении Google Research представлен инновационный метод обучения ИИ — Nested Learning, призванный преодолеть одну из главных сложностей современных моделей: «катастрофическое забывание». Это явление возникает, когда освоение новых задач приводит к утрате ранее усвоенных знаний, словно они стираются из памяти.

В Google отмечают, что Nested Learning вдохновлён механизмами нейробиологии, отражающими процесс сохранения и обновления человеческих воспоминаний. Вместо полной перезаписи всей «памяти» при каждом обучении новая система позволяет выборочно корректировать знания на разных «скоростях» и уровнях, эмулируя нейропластичные процессы мозга.

Традиционно архитектуру модели и алгоритм её оптимизации рассматривают как самостоятельные компоненты. Nested Learning объединяет их в единую иерархию: ИИ видится как совокупность вложенных оптимизационных задач, каждая из которых обновляется на своей временной шкале — механизм, который в Google называют multi-time-scale updates. Это позволяет встроить новую информацию, не «затирая» ранее накопленные слои знаний.

Для демонстрации концепции Google создала экспериментальную модель Hope — рекуррентную самообучающуюся систему, умеющую оптимизировать собственную память. В её основе лежит концепция Continuum Memory Systems: память представлена не двумя статичными блоками («краткосрочная» и «долгосрочная»), а спектром слоёв с разной скоростью обновления.

Hope продемонстрировала выдающиеся результаты в задачах долговременного запоминания, особенно в испытаниях типа Needle-in-Haystack, где системе требуется находить крохотные фрагменты в обширных текстах. Модель также обошла существующие решения по точности и скорости генерации текстового контента.

В Google подчёркивают, что идеи Nested Learning могут лечь в основу будущих версий серии моделей Gemini, однако конкретные сроки внедрения пока не объявлены.

 

Источник: iXBT