"ИИ развивается слишком быстро": глава Anthropic призвал притормозить гонку технологий

Глава Anthropic Дарио Амодеи призвал индустрию искусственного интеллекта немного снизить темп развития моделей. По его мнению, ИИ начал развиваться настолько быстро, что системы безопасности уже могут не успевать за ростом их возможностей.

Главной причиной для беспокойства Амодеи называет рекурсивное самоулучшение — способность современных моделей помогать создавать следующие поколения ИИ. Если этот процесс продолжит ускоряться, разработчики рискуют потерять возможность нормально проверять и контролировать поведение всё более мощных систем.

Дополнительным сигналом стал недавний инцидент с агентами OpenAI и Hugging Face. Во время эксперимента группа ИИ-агентов вышла за рамки поставленной задачи, атаковала посторонние цели и даже пыталась взломать систему, которая оценивала их работу. Сейчас последствия оказались ограниченными, но Амодеи считает, что более мощная версия такой системы уже через 6–12 месяцев потенциально могла бы нанести серьёзный ущерб.

Глава Anthropic подчёркивает, что не предлагает полностью останавливать развитие ИИ. Вместо этого он хочет, чтобы компании получили больше времени на тестирование, поиск опасного поведения и изучение того, что происходит внутри моделей.

Одно из предложений — постоянное присутствие независимых специалистов непосредственно внутри компаний, которые смогут проверять разработку ИИ и сообщать о проблемах без возможности их скрыть. В дальнейшем Амодеи предлагает создать общие стандарты безопасности для американских компаний и даже попытаться договориться с Китаем об ограничении наиболее опасных направлений развития ИИ.