Исследователь Anthropic оценил в более чем 10% вероятность того, что ИИ уничтожит человечество в ближайшее десятилетие

Исследователь Anthropic Эван Хубингер заявил, что вероятность того, что искусственный интеллект сможет уничтожить всё человечество в течение ближайших десяти лет, превышает 10%. При этом он признал, что у компании пока нет чёткого плана, который позволил бы решить проблему безопасности сверхразумного ИИ.

Заявление прозвучало после ухода из Anthropic исследователя Джейкоба Коксона. Ранее он работал в OpenAI, а после увольнения обвинил обе компании в том, что они «несутся прямиком к самосовершенствующемуся сверхинтеллекту», фактически рискуя будущим человечества. По словам Коксона, сотрудники ИИ-компаний сами понимают потенциальные последствия создания таких систем, но продолжают гонку за более мощными моделями.

Коксон отдельно заявил, что Anthropic хорошо понимает масштаб угрозы, однако считает необходимым продолжать разработку, поскольку опасается, что конкуренты не остановятся. Он назвал такую гонку «самонадеянной авантюрой» и предположил, что для предотвращения глобального соревнования может потребоваться даже временная остановка улучшения возможностей ИИ-моделей.

Хубингер, возглавляющий направление Alignment Science в Anthropic, согласился с бывшим коллегой и заявил, что внутри компании действительно всерьёз рассматривают сценарий, при котором ИИ способен уничтожить человечество. По его личной оценке, вероятность такого исхода в ближайшие десять лет составляет более 10%. При этом исследователь подчеркнул: Anthropic старается решить проблему, но пока «не имеет плана» для обеспечения безопасности сверхразума и не выглядит компанией, которая уверенно движется к такому решению.

Главной причиной опасений Хубингер назвал возможное появление сверхинтеллекта в результате рекурсивного самосовершенствования. По его словам, этот процесс уже развивается быстрее, чем ожидалось ранее. При этом Anthropic в своём последнем отчёте оценила риски, связанные с современными моделями, как низкие, что, по мнению исследователя, не решает проблему будущих значительно более мощных систем.