Мессенджеры начинают тестировать подключение сторонних ИИ-агентов к учетным записям пользователей. Руководитель продуктов в области безопасности ИИ AppSec Solutions Юрий Шабалин рассказал, какие риски несет новая функция и как защитить свои данные.
Пользователи смогут создавать отдельные диалоги с цифровыми помощниками, давать им задания и получать результаты прямо в интерфейсе переписки. Агенту доступны только сообщения и файлы, отправленные ему напрямую, однако на этапе тестирования такая переписка не защищена сквозным шифрованием.
Главная угроза — промпт-инъекции
По словам Юрия Шабалина, основной риск возникает, когда агент получает доступ к переписке и обрабатывает инструкции из недоверенных источников. Во входящем сообщении может оказаться текст, составленный так, чтобы модель проигнорировала исходную задачу — например, передала данные из переписки на сторонний адрес. Языковая модель не всегда надежно отличает содержимое для анализа от команд, которым нельзя подчиняться.
Эксперт также указывает на риск компрометации самого агента: получив контроль над сервисом или его учетными данными, злоумышленник может добраться до информации, доступной через подключенные интеграции.
Поэтому безопасность не должна зависеть только от качества модели. Нужны технические ограничения, которые не позволят ей без проверки выполнять опасные действия или передавать конфиденциальные данные.
Как защитить данные
— Изучите, кто разработал агента, где хранятся запросы и используются ли они для обучения моделей. — Передавайте только минимально необходимые данные — удаляйте пароли, реквизиты и номера документов. — Не выполняйте неожиданные действия, которые предлагает помощник, без самостоятельной проверки. — Для рабочих аккаунтов заранее определите, какую информацию можно передавать внешним сервисам.