👨💻 GPT-6 Astra улучшила другую нейросеть, напрямую отредактировав ее веса
В эксперименте исследователей MIT GPT-6 Astra улучшила математические способности языковой модели Qwen3.5-0.8B, напрямую изменив ее параметры, без обучения на новых данных.
Результат маленькой модели в бенчмарке MATH-500 вырос с 7,9% до 48,1% — более чем в шесть раз.
🔍 Astra дали доступ непосредственно к весам Qwen и возможность проверять ее ответы. Она обнаружила, что Qwen часто зацикливается на собственных рассуждениях, повторяя одни и те же слова, вместо того, чтобы прийти к ответу.
Astra определила, какие компоненты нейросети отвечают за зацикливание, и с помощью Python изменила всего 0,016% ее весов — 131 072 параметра из 800 млн. После этого модель стала зацикливаться намного реже.
📌 На другом математическом тесте GSM8K точность выросла с 13,8% до 67,1%, а на IFEval, проверяющем способность выполнять инструкции, — с 21% до 62,3%. Доля математических ответов, в которых модель достигала лимита в 32 тыс. токенов, сократилась с 93% до 33%.
По сути, Astra устранила сбой, мешавший раскрыть уже имевшиеся у модели способности. Например, улучшить так Gemma 3 на 270 млн параметров не вышло — она упиралась не в цикл рассуждений, а в обычные ошибки в вычислениях.
🤖 Авторы называют этот подход Weight-Space Programming. В других экспериментах Astra смогла по одним только весам определить, для каких игр обучались небольшие нейросети, и даже сама сгенерировать модели, которые играли лучше традиционно обученных за 100 млн шагов — Astra просто написала числовые параметры, без тренировки.
Комментарии