«Если посмотреть в интернете предложения по созданию чат-бота или чат-ассистента, их очень много. Пользователь не будет задумываться, проверял ли кто-нибудь чат-бота на безопасность, что лежало в основе обучения нейронки, куда передаются и как хранятсяперсональные данные. Как при использовании любого другого приложения, он просто начнет с ним взаимодействовать. Не стоит забывать, что вся информация, которую вы «скармливаете» искусственному интеллекту, попадает в глобальную систему обучения. Категорически не рекомендуется указывать боту паспортные данные, реквизитыбанковских карт, номера телефонов родных и друзей и другую чувствительную информацию», — прокомментировала Мария Усачева, руководитель проектов AI Security, AppSec Solutions.
Важная проблема — галлюцинации. То, что языковые модели собирают информацию для ответа из большого массива данных, не означает, что решение задачи из домашнего задания будет верным. ИИ может придумать решение математической задачи, которого просто не существует, или подтасовывать факты в исторических событиях и добавлять в них ложные события, отметила Мария Усачева. Команда AI Security как раз занимается тестированием языковых моделей и определением их уязвимых сторон.