🔎 Google решил главную проблему нейросетей
Все LLM, построенные на архитектуре трансформера, обладают общим недостатком — статичной памятью. Нейросети похожи на людей с антероградной амнезией — они ограничены данными, на которых тренировались, и контекстным окном, но не могут ничего запомнить. Новый диалог — чистый лист.
Модели можно дообучить. Однако, осваивая новые тексты, модель нередко «забывает» часть того, что умела раньше.
Google предлагает новую парадигму вложенного обучения, которая позволяет создать ИИ, обучающийся непрерывно.
🧠 Как это работает?
Подход имитирует работу мозга человека — разделение на кратковременную и долговременную память.
Инженеры разбили нейросеть на уровни, каждый из которых обучается со своей скоростью. В первую очередь обновляются быстрые слои, а самые «глубокие» — остаются практически нетронутыми. В результате модель адаптируется постепенно, и новые знания не «вытесняют» уже усвоенные навыки.
На основе этой концепции исследователи создали архитектуру HOPE — вариант Titans. В тестах экспериментальная модель превзошла «Титанов» и традиционные LLM-трансформеры в точности при генерации текстов, а также при работе с большим контекстом — когда нужно найти крошечную деталь в огромном массиве информации.
В Google надеются, что вложенное обучение поможет преодолеть разрыв между существующими моделями и человеческим разумом — и поможет создать самосовершенствующийся ИИ.
👋 Подпишитесь на Hi, AI!
Комментарии