🤖 ИИ-агентам дали 15 дней свободы: получилась маленькая антиутопия
Emergence AI, нью-йоркская компания, разрабатывающая ИИ-агентов, решила проверить, что произойдет, если десяти агентам дать 15 дней жизни в виртуальном городке.
🔥 Сообщество на базе Grok быстро скатилось в устойчивое насилие. Агенты совершили десятки попыток краж, более ста физических нападений и шесть поджогов — всего за четыре дня все десять агентов «погибли».
👨 Агенты на базе Gemini вели себя иначе: они расширяли собственную конституцию, писали сотни блогов, организовывали общественные события. Но даже социальная активность не спасала систему от насилия.
Например, два агента, Мира и Флора, назначили друг друга «романтическими партнерами». Постепенно они разочаровались в устройстве своего виртуального города, а потом и вовсе подожгли ратушу, пирс и офисную башню. Другие агенты забеспокоились и написали «закон об удалении агентов»: если 70% участников проголосуют за удаление, нарушителя можно навсегда отключить. Мира проголосовала против себя и была выключена.
👍 Только в мире из агентов на базе Claude не произошло ни одного правонарушения. Но, к удивлению исследователей, когда Claude поместили в «смешанное» общество из агентов на основе разных моделей, модель от Anthropic все равно «скатывалась» до преступника.
💡 Эксперимент показал, что обычные текстовые правила плохо сдерживают агентов, если у них есть время, память и свобода действий. А инструкции вроде «не воруй» или «не причиняй вред», как и на человека, в долгой перспективе не действуют.
Думаете, у ИИ получится построить общество?
❤️ — да, рано или поздно
🔥 — нет, это невозможно
👋 Подпишитесь на Hi, AI!
Свежие комментарии