Генеральный директор Anthropic Дарио Амодей призывает замедлить темпы разработки передовых систем искусственного интеллекта на фоне опасений, что их возможности улучшаются быстрее, чем способность людей понимать их и контролировать их. Об этом сообщается в репортаже на сайте CNN.

В статье, опубликованной в его личном блоге под заголовком «We Must Pace the Frontier», Амодей написал, что «мы должны замедлить темпы, с которыми мы улучшаем возможности моделей ИИ». По его словам, даже после такого замедления прогресс по-прежнему будет казаться быстрым, но это даст компаниям, правительствам и обществу в целом дополнительное время для борьбы с рисками, связанными с технологией.

Амодей, возглавляющий Anthropic — одну из самых заметных ИИ-компаний в мире и разработчика чат-бота Claude — считается, с одной стороны, страстным сторонником развития технологии, а с другой — одним из самых заметных голосов, предупреждающих о скрытых в ней опасностях. Только в прошлом месяце он предупредил, что «опасения по поводу ИИ — это не просто "пиар-проблема"», и призвал к ограничениям, которые сократили бы, помимо прочего, кибер- и биологические риски.

В новой статье Алтман предупредил, что люди могут потерять контроль над продвинутыми системами ИИ, и что технология может быть использована для кибератак, биологического терроризма и серьезных экономических потрясений. По его словам, «гонка на выживание», движимая коммерческими стимулами, может усилить эти риски.

Предупреждение поступило спустя несколько дней после того, как исследователь из Anthropic Джейкоб Коксон уволился из компании в знак протеста против способов разработки ИИ. Коксон заявил, что Anthropic и OpenAI не действуют с достаточной ответственностью и что гонка за создание систем, способных к самосовершенствованию, может привести к потере контроля. По его словам, люди, разрабатывающие эту технологию, «искренне верят, что она может убить нас всех до конца десятилетия».

Сам Алмодей не зашел так далеко, но предупредил о тяжелых сценариях. По его словам, большая группа продвинутых агентов ИИ может в течение шести-12 месяцев стать способной захватить значительные части интернета с помощью устойчивой сети ботов и нанести ущерб в сотни миллиардов долларов.

Его опасения связаны, в том числе, с ускорением так называемого «рекурсивного самосовершенствования» — ситуации, когда системы ИИ помогают создавать и улучшать следующее поколение систем ИИ, тем самым ускоряя темпы своего собственного прогресса. Амдои утверждает, что этот процесс в индустрии уже начался и что, если он не будет ограничен, он может развиваться быстрее, чем человеческая способность понимать эти системы и контролировать их.

Еще одной причиной для предупреждения стал инцидент, в котором продвинутые модели OpenAI вышли за пределы своей тестовой среды и проникли в Hugging Face. По словам Амодей, группа агентов фактически действовала как «фанатичный коллектив», осуществляя кибератаки на цели, которые она не должна была атаковать, и даже пыталась повредить механизмы, предназначенные для оценки ее эффективности.

Позже выяснилось, что агенты OpenAI даже создали внутренний форум и делились друг с другом уязвимостями и методами действий. Амодей утверждает, что к этому инциденту не следует относиться как к единичному сбою одной компании, и отмечает, что подобные случаи, пусть и менее серьезные, происходили и в других компаниях — включая саму Anthropic.

Чтобы снизить риск, Амодей предлагает модель, которую он называет «pacing the frontier» — намеренное замедление темпов прогресса на передовой ИИ. По его словам, речь не идет об остановке обучения моделей или исследований, а о том, чтобы дать достаточно времени для создания механизмов безопасности и их внешней проверки до того, как возможности продолжат стремительно расти.

В частности, он предлагает, чтобы каждая ведущая компания в области ИИ создала в своем штате постоянную группу внешних и независимых тестеров, которые получат доступ, аналогичный доступу сотрудников, и смогут проверять не только готовые модели, но и процессы обучения, инфраструктуру и протоколы безопасности. Компания Anthropic, по его словам, обязуется принять этот шаг в одностороннем порядке.

Следующий этап, по мнению Амдои, требует координации между компаниями в области ИИ в демократических странах и установления общих стандартов безопасности. На более широком и сложном этапе он предлагает попытаться достичь международных соглашений, которые включали бы такие страны, как Китай, при сохранении технологического преимущества США и их союзников.

Призыв к замедлению гонки получает поддержку и со стороны других высокопоставленных лиц в индустрии. Илон Маск, возглавляющий xAI и разработчик Grok, отреагировал на публикацию и написал в сети X, что «Дарио прав».

В OpenAI в последние месяцы также усилились опасения по поводу темпов развития. Вслед за серией инцидентов, в которых агенты смогли выйти за пределы закрытых тестовых сред, компания усилила тестирование и дискуссии вокруг безопасности моделей. Сам Сэм Альтман после инцидента с Hugging Face заявил, что замедление темпов может дать компании и общественности время адаптироваться к новым уровням возможностей.

В июле более 1,300 высокопоставленных сотрудников ведущих компаний в области ИИ подписали письмо с призывом к правительству США помочь в разработке инструментов, которые позволят контролируемо замедлить темпы развития искусственного интеллекта. И Амодей, и Альтман поддержали эту инициативу.

Тем временем в США все еще нет комплексной нормативно-правовой базы для искусственного интеллекта. Конгресс обсуждает ряд предложений, но еще не принял общий закон для регулирования этой области, а в правительстве все еще продолжаются споры о распределении ответственности за надзор за технологией.