Модель угроз
Первый уровень риска связан с данными, которые пользователь отправляет модели. Второй — с информацией, которую модель получает автоматически из внутренних систем. Третий — с действиями, которые AI способен выполнять самостоятельно.
Чем дальше организация переходит от обычного чата к AI-агентам, тем важнее контроль действий и полномочий.
Классификация информации
До масштабного внедрения GenAI полезно определить классы информации: публичная, внутренняя, конфиденциальная и критичная. Для каждого класса устанавливаются собственные правила обработки.
Формулировки должны быть понятны сотруднику: недостаточно сказать «не отправляйте чувствительные данные в AI», если организация не определила, какие именно данные считает чувствительными.
Разграничение доступа
AI не должен давать сотруднику больше информации, чем сотрудник мог получить без него. Это особенно важно для корпоративных баз знаний и RAG-систем.
Права доступа необходимо применять не только к интерфейсу, но и к контексту, который передаётся модели.
Защита от prompt injection
При подключении модели к внешним документам текст, который система воспринимает как данные, может содержать инструкции. Поэтому внешние данные нельзя автоматически считать доверенными инструкциями.
Архитектура должна различать системные правила, пользовательские запросы, корпоративный контекст и недоверенные внешние данные.
AI-агенты требуют отдельного контроля
Система, которая умеет только подготовить текст, и система, которая может отправить письмо, изменить CRM или выполнить запрос к базе данных, имеют принципиально разный профиль риска.
Полезный принцип: чем выше потенциальная стоимость ошибки, тем меньше автономности получает система. Критические операции должны требовать подтверждения человека.
Логирование
Для корпоративных AI-систем важна возможность восстановить цепочку событий: какой запрос поступил, какой контекст использовался, какая модель сформировала ответ, какое действие выполнила система и кто его подтвердил.
Журналирование необходимо не только для безопасности, но и для анализа ошибок и улучшения системы.
Обновление моделей
Используемая модель является изменяемым компонентом. Провайдер может выпустить новую версию, изменить поведение API или компания может перейти на другую модель.
Критичные AI-сценарии желательно тестировать повторно после существенного изменения технологического стека.
Человек остаётся частью системы безопасности
Даже технически защищённая инфраструктура не решает проблему полностью. Если сотрудники не понимают ограничений AI, они будут искать способы обойти неудобные правила.
Правила безопасной работы должны сопровождаться конкретным обучением: что разрешено, что запрещено, какие инструменты использовать, когда требуется подтверждение и куда сообщать об ошибке.
Вывод
Безопасность GenAI строится как совокупность классификации данных, контроля доступа, управления контекстом, разграничения полномочий агентов, журналирования и обучения пользователей.
Чем глубже AI интегрирован в компанию, тем важнее системность этих правил.