🎧 ИИ можно взломать звуком, который человек не слышит Исследователи из Китая и Сингапура показали н
🎧 ИИ можно взломать звуком, который человек не слышит
Исследователи из Китая и Сингапура показали новый вид атаки на голосовых ИИ-ассистентов: вредоносную команду можно спрятать прямо в аудио — например, в подкасте, видео, музыке или записи Zoom-звонка. Человек слышит обычный звук, максимум легкое искажение, а модель воспринимает скрытую инструкцию.
В тестах такие сигналы заставляли ИИ отказываться от нормального запроса, выдавать ложные ответы, вставлять вредоносные ссылки или даже «сливать» личные данные.
💡 Опасность даже не в том, что случайный ролик на YouTube сможет взломать любого ассистента. Пока это исследовательская демонстрация, и для подготовки атаки нужен глубокий доступ к модели. Но работа показывает, что современные голосовые ИИ плохо различают прямые инструкции и данные для анализа в аудио.
📱 В испытаниях атаки на 13 моделях процент успеха варьировался от 79% до 96%. Причем атаки, подготовленные на открытых моделях, легко переносились на коммерческих агентов. А обычные способы защиты помогали слабо: дообучение модели распознавать подозрительные команды снизило успешность атаки всего на несколько процентов.
А вы общаетесь с ИИ голосом?
❤️ — да, так удобнее
🔥 — нет, только текстом
👋 Подпишитесь на Hi, AI!
Комментарии