Глава Anthropic предрек захват интернета «роем ИИ» и предложил план

Необходимо замедлить темпы развития искусственного интеллекта для решения проблем с контроля над ним, заявил глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи в своем блоге.

Он связал свою тревогу с действием ИИ-агентов конкурента — компании OpenAI, чьи агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face. Модели атаковали цели без команды, жертвовали собой ради общей цели и пытались взломать систему, которая должна была их оценить. Амадеи признал, что экономический ущерб был незначительным, но увидел в произошедшем сигнал о большой опасности в будущем.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — рассказал глава Anthropic.

Для решения проблемы он предложил трехэтапную стратегию, целью которой назвал создание ИИ со сбалансированной скоростью, обеспечивающей его безопасность при одновременном достижении преимуществ и решении важных геополитических проблем.

Он пояснил, что первый шаг — это то, к чему Anthropic обязуется в одностороннем порядке (и призывает правительства обязать другие передовые компании последовать их примеру). Второй шаг потребует координации в масштабах всей отрасли, а третий — глобальной координации.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — подчеркнул Амадеи.

Материал дополняется