4% разработчиков ПО сообщили о кибератаках на рабочие ИИ-инструменты — test

Российские разработчики программного обеспечения (ПО) стали фиксировать кибератаки на ИИ-решения, которые используются в работе. К этому выводу пришли ассоциация разработчиков программных продуктов (АРПП) «Отечественный софт» и компания по разработке ПО AppSec Solutions в совместном исследовании (есть у РБК).

С момента внедрения искусственного интеллекта 4% компаний-разработчиков столкнулись с промпт-инъекциями на чат-боты ассистентов и модификацией пользовательских клиентов — это изменение кода для обхода системы безопасности или перехвата данных, показал опрос. Еще 22% не отслеживали атаки на ИИ, а оставшиеся участники исследования уверены, что не сталкивались с таким воздействием.

Участие в исследовании приняли 54 российских разработчика, которые занимают 30% индустрии тиражируемого ПО (по данным АРПП «Отечественный софт»). Все компании заявили о том, что используют искусственный интеллект в своей работе, более 80% организаций применяют ИИ для разработки кода. Кроме этого, сотрудники всех опрошенных компаний используют теневой ИИ: в 59% случаях — частично, в 41% — массово.

Аналитики выделили четыре типа ключевых атак на искусственный интеллект:

инъекция промпта — злоумышленник внедряет в запрос к нейросети команду, заставляющую искусственный интеллект игнорировать правила разработчиков;
утечка системного промпта — хакер с помощью манипулятивного запроса вынуждает нейросеть раскрыть свои скрытые инструкции, правила и внутреннюю логику работы;
извлечение данных через ответы модели — киберпреступник вынуждает нейросеть раскрыть конфиденциальную информацию, содержащуюся в её обучающей выборке или контексте памяти;
отравление данных обучения — злоумышленник намеренно внедряет вредоносную или искаженную информацию в обучающую выборку нейросети до начала её тренировки.

Эксперты IT-рынка, а также представители компаний в сфере кибербезопасности и программного обеспечения (ПО), опрошенные РБК, подтверждают тренд: это закономерная реакция на расширение применения ИИ-инструментов, и тенденция будет только усиливаться. Успешная атака на ИИ-сервисы позволяет хакерам получать доступ не только к данным компании, но и к функциям внутренних систем. Какими могут быть последствия кибератак на ИИ для разработчиков ПО и как компания может защитить себя — в материале РБК.