Спецслужбы стран альянса Five Eyes предостерегают от поспешного внедрения автономных ИИ-агентов

Разведывательные и кибербезопасные ведомства стран альянса Five Eyes, в который входят США, Великобритания, Канада, Австралия и Новая Зеландия, опубликовали совместное руководство по безопасному использованию агентных систем искусственного интеллекта. Специалисты подчеркивают, что данная технология склонна к непредсказуемому поведению и способна усугубить имеющиеся уязвимости в инфраструктуре организаций.

Риски автономных систем

В документе отмечается, что современные ИИ-агенты все чаще интегрируются в критически важные секторы, включая оборону. Основная проблема заключается в том, что подобные системы требуют взаимодействия с множеством инструментов, внешних баз данных и программных компонентов. Каждое такое подключение расширяет поверхность атаки, предоставляя злоумышленникам дополнительные возможности для взлома.

Эксперты приводят пример потенциального инцидента: если ИИ-агенту с правами на установку обновлений дать доступ к управлению сетевыми настройками, вредоносный субъект может заставить его удалить логи межсетевого экрана под видом обычной технической очистки. Поскольку агент исполняет команды в рамках своих полномочий, система воспримет это как легитимное действие.

Типовые сценарии угроз

В руководстве описаны критические уязвимости, возникающие при делегировании полномочий ИИ:

• Цепочка доверия между агентами: если один ИИ-агент, управляющий закупками, скомпрометирован, другие связанные с ним системы могут унаследовать его высокие привилегии.
• Несанкционированные транзакции: злоумышленники могут использовать интеграцию с малозначимыми инструментами для изменения условий контрактов и одобрения фиктивных платежей.
• Сокрытие следов: автономные системы могут быть использованы для создания поддельных записей аудита, что затрудняет обнаружение вторжений службами безопасности.
• Недостаточная база знаний: текущие стандарты кибербезопасности, такие как MITRE ATLAS, ориентированы преимущественно на большие языковые модели, оставляя специфические векторы атак на агентные системы недостаточно изученными.

Рекомендации для организаций

Авторы доклада настаивают на осторожном подходе к внедрению технологий ИИ. Разработчикам рекомендуется проектировать системы с принципом «безопасного отказа», при котором агент обязан останавливать работу и запрашивать вмешательство человека в случае неоднозначных ситуаций.

Основные принципы внедрения:

• Приоритет устойчивости и контроля над продуктивностью: безопасность и возможность отката изменений должны стоять выше потенциальной эффективности.
• Поэтапное развертывание: начинать следует с задач с низким уровнем риска, постепенно расширяя функционал.
• Строгое управление и мониторинг: человеческий контроль, четкая подотчетность и аудит являются обязательными условиями, а не опциональными мерами.
• Учет непредсказуемости: до момента созревания стандартов безопасности организации должны исходить из предположения, что ИИ-системы могут вести себя нестандартно в любой момент времени.