Ваш ИИ запомнил лишнее. Что делать компании

Развитие генеративного ИИ заставляет бизнес пересматривать подходы к работе с данными. Компании все чаще вынуждены отвечать на вопрос, как выстроить процессы так, чтобы критически важные сведения вообще не попадали в обучение.

Право на удаление против архитектуры ИИ

Компании все чаще передают нейросетям то, что еще недавно считалось внутренней информацией: договоры, переписку, клиентские базы, программный код, медицинские документы. По данным исследования McKinsey, уже в прошлом году как минимум в одной бизнес-функции ИИ использовали 88% организаций.

При этом корпоративное использование нейросетей растет быстрее, чем формируются практики работы с ними и правовое поле. Если правила обращения с персональными данными, коммерческой тайной и внутренними документами складывались десятилетиями, то в отношении генеративного ИИ у бизнеса пока часто нет столь же понятных и устоявшихся подходов.

На практике это превращается во вполне прикладные вопросы. Что делать, если компания обнаружила, что ее модель обучалась на данных, которые не должна была использовать; как поступить, если клиент потребовал удалить персональную информацию либо если после сделки M&A выяснилось, что права на часть обучающих данных новому владельцу не принадлежат.

На первый взгляд ответ очевиден. Удалить информацию так же, как в любой корпоративной системе, — стереть запись и подтвердить соблюдение требований журналом операций. С генеративными моделями подход не работает. Информация, использованная при обучении, не хранится в одном конкретном месте, поэтому ее нельзя удалить привычным способом.

Это похоже на разницу между учебником в библиотеке и тем, который уже прочитал студент. Убрать книгу с полки легко. Гораздо труднее сделать так, чтобы человек забыл только ее содержание, сохранив все остальные знания и навыки. Именно такую задачу сегодня пытаются решить разработчики ИИ в рамках дисциплины machine unlearning, или «машинного разобучения», — сделать так, будто модель никогда не обучалась на определенных данных.

Сложность задачи хорошо иллюстрирует судебное разбирательство между Anthropic и группой авторов, обвинивших компанию в использовании пиратских копий книг для обучения модели Claude. Несмотря на то что Anthropic — один из мировых лидеров в области разработки больших языковых моделей, итоговое мировое соглашение показало границы возможностей команды в части machine unlearning. Компания согласилась удалить датасеты, собранные с нарушением авторских прав, однако уже обученные на этих данных модели сохранила. Полностью устранить их влияние на обученную нейросеть оказалось невозможно.

Как нейросети учат забывать

За последние несколько лет исследователи предложили несколько подходов к машинному забыванию. Самый очевидный способ здесь — полностью переобучить модель с нуля, исключив нежелательные данные из обучающей выборки. Такой метод обеспечивает наиболее корректный результат, но для современных языковых моделей почти неприменим, ведь обучение занимает месяцы и обходится очень дорого. Поэтому на практике исследователи ищут способы приблизиться к такому результату без повторения всего цикла.

Одна из основных групп решений — градиентные методы. Идея состоит в том, чтобы частично обратить процесс обучения. Вместо того чтобы закреплять знания, модель заставляют постепенно их «разучивать», увеличивая вероятность ошибки именно на тех данных, которые необходимо удалить. Это процесс называют градиентным подъемом. Такой обратный курс может затронуть и другие знания модели, поэтому современные алгоритмы стараются одновременно ослабить нежелательную информацию и сохранить качество ответов во всех остальных задачах. Один из таких подходов — оптимизация негативных предпочтений (NPO).

Другой подход работает с тем, как модель хранит и связывает знания. Исследователи стараются нарушить внутренние связи, отвечающие за определенную тему. Вместо полезного сигнала модель получает набор случайных внутренних сигналов («шум»), из-за чего ей становится сложнее восстановить нужные знания и путь к ним. Такие методы сравнительно быстрые и умеренно влияют на общее качество, но остаются уязвимыми, так как часть «забытых» знаний может вернуться после квантования (сжатие модели) или дополнительного обучения.

Еще одно направление — точечное редактирование весов. Исследователи пытаются определить, какие параметры сильнее всего связаны с конкретным фактом или навыком, а затем изменить только их. Но на практике это сложно. В отличие от базы данных, где каждая запись хранится отдельно, в нейросети знания распределены. Поэтому изменение небольшой части не гарантирует, что информация исчезнет полностью.

Также важно отличать machine unlearning от ограничения доступа к информации. На практике компании часто используют простые механизмы, системные инструкции или фильтры, блокирующие нежелательные ответы. При этом сами знания остаются внутри модели.

Почему ИИ до сих пор плохо забывает

Несмотря на десятки методов, гарантированно удалить знания из современной языковой модели пока не удается. Главная проблема в том, что исследователи не могут проверить забывание так же однозначно, как удаление файла из базы данных. Даже если модель перестала отвечать на вопрос, зачастую ее удается восстановить с помощью другой формулировки или цепочки уточняющих запросов.

Одновременно с machine unlearning развиваются методы оценки забывания и атаки на такие модели. Исследователи специально пытаются обойти механизмы удаления знаний: меняют формулировки запросов, используют многошаговые диалоги, заставляют модель рассуждать по цепочке или восстанавливать ответ через связанные факты. Например, модель перестала воспроизводить информацию напрямую, но способна вывести ее косвенно; если дообучить нейросеть смежным знаниям, то она сама придет к тому же выводу, который содержался в удаленных материалах.

Что делать руководителям

Пока machine unlearning не гарантирует полного удаления информации, компаниям не стоит рассчитывать на него как на аварийную кнопку. Управление данными нужно выстраивать заранее — еще до обучения собственной модели или подключения внешнего ИИ-сервиса.

• Во-первых, заранее организовать данные для обучения. Компания должна понимать, из каких источников собран датасет, какие документы вошли, на каком основании используются и в каких версиях модели могли оставить след. При этом еще до начала обучения данные лучше разбивать на независимые блоки (шарды). Если потом будет требование удалить часть информации по запросу правообладателя — переобучать придется только часть модели, которая работала с соответствующим блоком данных, а не всю целиком. Это проще и дешевле.
• Во-вторых, хранить изменяемые корпоративные данные вне модели. Если инструкции, внутренние документы или клиентская информация подключаются через RAG или другую внешнюю базу знаний, к которой модель обращается каждый раз, их можно обновить или удалить без переобучения. Это упрощает соблюдение требований законодательства и внутренних политик безопасности в части хранения персональных данных и позволяет избежать сложных процедур machine unlearning, когда информация уже встроена в веса модели.
• В-третьих, определить, когда действительно нужно machine unlearning. Если задача в том, чтобы модель перестала выдавать информацию, часто хватает системных инструкций и фильтрации ответов. Это не machine unlearning, но может оказаться дешевле, быстрее и полностью закрыть бизнес-задачу. Полноценное вмешательство в модель стоит рассматривать, только когда необходимо удалить сами знания.
• В-четвертых, разработать регламенты. Еще до запуска модели определить, кто принимает обращения на удаление информации, кто проверяет, использовались ли данные при обучении, в каких случаях достаточно убрать документ из базы знаний, а когда потребуется переобучение или применение методов machine unlearning, когда и как часто проверять результаты такой работы и эффективность удаления. Это позволит сократить время реакции и избежать ошибок в кризисной ситуации.

Вступайте в сообщество Школы управления РБК в Telegram или «Максе», чтобы общаться с руководителями из разных сфер, выстраивать нетворкинг и получать советы экспертов.

Однако для большинства компаний вопрос сегодня состоит не в том, как потом заставить модель что-то забыть, а как не допустить, чтобы чувствительные данные попали в обучение. Поэтому первое решение — архитектурное. Если сотрудники регулярно работают с коммерческой тайной или персональными данными, безопаснее использовать модель, развернутую во внутреннем контуре компании. Если это невозможно, стоит выбирать сервисы, где обучение на данных клиентов отключено по умолчанию или доступен режим Zero Data Retention (ZDR), при котором запросы не сохраняются.

Следующий уровень — настройки самого сервиса. Перед началом работы проверить, используется ли переписка сотрудников для обучения модели, можно ли отключить эту функцию и доступны ли временные чаты. Эти настройки менее надежны, чем архитектурные ограничения или договор с поставщиком, поскольку их можно случайно изменить, но они все равно снижают риск попадания информации в будущие версии модели.

А вот формулировки в самом промпте практически ничего не меняют. Просьбы вроде «не запоминай этот запрос» влияют только на ход текущего диалога, но не на инфраструктуру хранения данных или процесс обучения модели. Поэтому главный вывод для бизнеса таков: самый надежный способ заставить ИИ что-то забыть — не допустить, чтобы информация стала частью модели. Поэтому внимание разработчиков и компаний постепенно смещается от machine unlearning к архитектуре хранения данных и правилам использования генеративного ИИ. Лучшее machine unlearning — то, которое не понадобилось.