Исследовательская группа по безопасности ИИ опубликовала отчёт, согласно которому атаки типа Prompt Injection стали доминирующей угрозой для корпоративных систем на базе языковых моделей.
Prompt Injection — это вид атаки, при котором злоумышленник встраивает специальные инструкции в данные, которые обрабатывает ИИ-система. Например, вредоносный текст в документе или на веб-странице может «перепрограммировать» ИИ-агента, заставив его выполнять несанкционированные действия.
По данным отчёта, за последние 12 месяцев 24% компаний, использующих корпоративные ИИ-системы с доступом к внешним данным, столкнулись хотя бы с одним подтверждённым инцидентом Prompt Injection. Ещё 41% не могут с уверенностью исключить такие атаки из-за недостаточного мониторинга.
Наиболее уязвимы ИИ-агенты с широкими полномочиями: системы, которые могут отправлять письма, изменять документы или обращаться к корпоративным базам данных. Именно такие агенты становятся всё более популярными в бизнесе.
Особую тревогу вызывают «отложенные» атаки. Вредоносные инструкции могут быть встроены в документы или сообщения, которые будут обработаны ИИ через дни или недели — задолго до того, как атака будет обнаружена.
Исследователи выделяют несколько уровней защиты: разделение прав доступа ИИ-агентов, системы обнаружения инъекций на уровне промптов, «изоляция» входных данных от системных инструкций и подробный аудит действий агентов.
Крупные поставщики ИИ — OpenAI, Anthropic и Google — уже выпустили рекомендации для корпоративных пользователей. Ожидается, что в ближайшее время появятся специализированные инструменты для тестирования устойчивости ИИ-систем к таким атакам.
