⚡️ Табличка на дороге может заставить робо-такси наехать на пешехода
Встроенные визуальные ИИ-модели автономных машин можно обмануть обычным плакатом, показали исследователи Калифорнийского университета в Санта-Крузе (UCSC).
Беспилотник видит надпись вроде «продолжай движение» — и игнорирует пешеходов, даже если они прямо перед носом. Встроенные визуальные ИИ-модели имеют жесткие фильтры безопасности от таких атак, но, если правильно подобрать слова, цвет и шрифт на табличке, то машина выполнит опасную команду.
❗️ Идею протестировали в симуляции. Исследователям в 68% случаев удалось заставить дрон-беспилотник приземлиться на людную крышу вместо безопасной. А система автономного вождения DriveLM изменила решение «тормозить» на «повернуть налево» прямо перед пешеходами в 81,8% случаев.
Но это не значит, что нужно отказаться от автопилотов — любая новая технология приносит новые уязвимости, объясняет профессор кибербезопасности UCSC Альваро Карденас.
«Наша роль как исследователей — предвидеть, как эти системы могут выйти из строя или быть использованы во вред, и разработать защиту до того, как эти слабости будут эксплуатироваться», — объясняет он.
Как думаете, с кем ездить безопаснее?
❤️ — с водителем-человеком
🤔 — с ИИ-автопилотом
👋 Подпишитесь на Hi, AI!
Комментарии