🤖 Исследователи нашли способ сократить стоимость генерации ответов ИИ на корпоративных объемах
Крупные компании из-за требований безопасности не могут отправлять данные во внешние облака и вынуждены крутить десятки разных нейросетей на своих серверах, сжигая дефицитные мощности GPU. Исследователи Т-Банка нашли решение этой проблемы и представили два новых метода обучения моделей на ведущей мировой конференции уровня A* EMNLP 2026 в Будапеште.
🔍 Первая разработка позволяет объединить рой узких нейросетей на одной универсальной модели. Команда впервые описала воспроизводимую методику постобучения русскоязычных LLM с агентскими навыками. Модель на базе Qwen3-32B сначала дообучили на корпоративных и открытых данных, затем улучшили с помощью обучения с подкреплением по трем направлениям — следование инструкциям, вызов функций и корпоративные задачи, после чего объединили в одну универсальную методом SLERP.
👍 Результат: одна модель на 32 млрд параметров взяла на себя запросы более 200 внутренних сервисов банка и половину трафика его LLM-платформы. Обработка запросов стала в 2,8-3,9 раза дешевле (в отдельных сервисах — до 9 раз) по сравнению с семикратно более тяжелой Qwen3-235B. При этом на корпоративных тестах компактная версия обошла гиганта: 69,6 балла против 65,8. По инструкциям — 0,85 против 0,83, вызов функций — 0,79 против 0,77.
✈️ Второй метод решает проблему дорогой оцифровки бумаг. С помощью пайплайна отбора сложных PDF-примеров исследователи обучили визуально-языковую модель на базе Qwen3.5-35B-A3B-Base извлекать любые реквизиты и суммы по текстовому запросу. При общих 35 млрд параметров она задействует только 3 млрд на один запрос, для запуска понадобится один Nvidia H100.
💰 Разбор документов через такую модель обходится на 80% дешевле полностью ручной обработки и на 50% дешевле лучших открытых аналогов.
✅ Исследователи опубликовали методику создания внутренних тестов, описание пайплайна постобучения и саму языковую модель с открытыми весами (обученную на публичных данных).
👋 Подпишитесь на Hi, AI!
Комментарии