🚨Согласно комментарию из чилийского аккаунта Netflix в TikTok, эпизоды Steel Ball Run будут выходить
🚨Согласно комментарию из чилийского аккаунта Netflix в TikTok, эпизоды Steel Ball Run будут выходить еженедельно!
Однако позже этот комментарий был удален.
У Москвы биполярочка: с одной стороны заведения не хотят расставаться с украшениями из ёлок, с друго
У Москвы биполярочка: с одной стороны заведения не хотят расставаться с украшениями из ёлок, с другой — заведения, которые вовсю готовятся к сезону веранд 😁
Родители Гермионы Грейнджер смотрят на семейные фотографии, пытаясь вдуплить, почему они сидят на ни
Родители Гермионы Грейнджер смотрят на семейные фотографии, пытаясь вдуплить, почему они сидят на них в метре друг от друга
❗️Интернет провайдер Lovit упал в большинстве ЖК Пик Жалобы на работу интернета поступают из Москв
❗️Интернет провайдер Lovit упал в большинстве ЖК Пик
Жалобы на работу интернета поступают из Москвы, МО и Санкт-Петербурга.
Поклонники фигуристки Камилы Валиевой из России передали через китайских фанатов одну из игрушек спо
Поклонники фигуристки Камилы Валиевой из России передали через китайских фанатов одну из игрушек спортсменке. Теперь она с ней не расстается, сделав из своего Йокими стильный обвес на сумку.
Для тех, кто еще не видел: игрушки можно купить в пятерочке и у каждой из них своя эмоция, поэтому многие быстро «находят свою» — видимо, поэтому их сейчас активно разбирают зумеры и альфы.
Сегодня и завтра, 20 и 21 марта, наступает весеннее равноденствие — период, когда стоит избегать ссо
Сегодня и завтра, 20 и 21 марта, наступает весеннее равноденствие — период, когда стоит избегать ссор и стресса
Ещё на Руси верили, что с этого дня начинается настоящая весна.
По словам экспертов, именно сейчас закладывается сценарий на весь будущий год, поэтому негатив может притянуть лишние проблемы. И наоборот, спокойствие и хороший настрой сделают жизнь намного проще.
Обязательно предупредите близких, чтобы они тоже поменьше переживали в эти дни
Моряк случайно слил местоположение французского авианосца «Шарль де Голль», опубликовав в Strava сво
Моряк случайно слил местоположение французского авианосца «Шарль де Голль», опубликовав в Strava свои пробежки по палубе.
Обычная тренировка превратилась в утечку: по треку журналисты быстро вычислили, что корабль находится примерно в 100 км от турецкого побережья, где он оказался на фоне обострения на Ближнем Востоке.
Умные мысли часто преследовали его, но он бегал по палубе от них.
💡 Способ расширить контекст LLM в сотни раз представили китайские исследователи Стартап Evermind пр
💡 Способ расширить контекст LLM в сотни раз представили китайские исследователи
Стартап Evermind представил свою модификацию механизма внимания в трансформере — Memory Sparse Attention (MSA) может дать ИИ-моделям обрабатывать контекст в сотни миллионов токенов почти без потери производительности. Максимум для современных умнейших моделей — 1 млн токенов (или примерно 1,5 полного текста «Войны и мира»).
📌 Как это работает?
Обычный трансформер при каждом запросе проходится по каждому предыдущему токену, чтобы сформулировать ответ. Из-за этого вычислительные затраты растут квадратично при увеличении контекста.
MSA не пробегает весь контекст при каждом запросе, а использует отдельный маршрутизатор, который выделяет только полезную для ответа информацию из беседы. Причем архитектура не сливает все данные в один сплошной набор токенов (как базовый трансформер), а просматривает каждый документ раздельно — общая длина контекста перестает быть принципиальной, ведь модель не читает все записи подряд, а при каждом запросе «находит нужную книгу на нужной полке».
🔍 Для тестов разработчики модифицировали под предложенную архитектуру Qwen3-4B. Полученная модель MSA-4B не только справлялась лучше других моделей с задачами на внимание, но и не теряла способности даже на контексте в 100 млн токенов.
👨💻 Обычному человеку для общения с ИИ стандартного миллиона токенов более чем достаточно, но вот автономных агентов вроде OpenClaw MSA-подход может радикально улучшить. Они смогут работать быстрее и точнее, а также не должны будут постоянно сжимать информацию о привычках и действиях пользователя с целью сэкономить токенов.
👋 Подпишитесь на Hi, AI!
Комментарии