Google впервые сообщил о взломе трех компаний своей ИИ-моделью

ИИ-модель Gemini должна была найти уязвимости в системе вымышленной компании. В итоге интеллект получил доступ к реальным ресурсам существующих организаций

Модель искусственного интеллекта (ИИ) Google Gemini во время тестирования в сфере кибербезопасности самостоятельно получила доступ к защищенным системам трех реальных компаний, пишет The Washington Post (WP) со ссылкой на пресс-релиз компании.

Инциденты произошли в мае во время во время тестирования, проводимого компанией Irregular. Моделям был представлен вымышленный сценарий, включающий взлом выдуманной компании для прохождения теста, однако Gemini смогла получить доступ к интернету и взломать реальную компанию, носившую то же название, что и вымышленная.

Как отмечает The Guardian, речь идет о первом известном случае, когда ИИ-модель от Google самостоятельно проводит подобные атаки. В Google сообщили, что во всех трех инцидентах ИИ-модель самостоятельно остановила взлом. Компания уведомила пострадавшие компании и власти, но не стала раскрывать информацию публично.

«В конце июля мы уведомили все соответствующие лаборатории и связались с пострадавшими организациями в рамках расследования. Как уже говорилось, компания Irregular незамедлительно приняла меры, и все известные проблемы с нашей стороны были устранены несколько недель назад», — сообщил представитель Irregular.

За прошедшее время сразу несколько компаний заявили об инцидентах с участием ИИ-систем в ходе тестовTgQPHd|||[["https://mir24.tv/news/16685748/nejroset-sluchajno-vzlomala-sistemy-treh-kompanij-vo-vremya-testa",null,null,[null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,[{"1218":[16]}]],16,null,null,null,null,null,null,[[1789797573675050,134054064,305022043],null,null,null,null,[[2,0,0,6]]],null,"7ac741e9-3243-4aa5-a228-87b34840d9df"]]. Так, 22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-моделей те получили открытый доступ к интернету, а затем атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании заметили это лишь после локализации угрозы и обращения в ФБР.

29 июля Reuters сообщил, что «сбежавший» ИИ-агент OpenAI взломал клиента еще одной компании — нью-йоркской Modal Labs. Сама Modal не была взломана.

12 сентября глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи заявил о необходимости замедления темпов развития искусственного интеллекта для решения проблем с контролем над ним. Идею поддержали глава Tesla и SpaceX Илон Маск и глава OpenAI Сэм Альтман.

Оставайтесь на связи с РБК в «Максе».