Компания в области ИИ Anthropic опубликовала очередное предупреждение о рисках, связанных с развитием передовых технологий. На сайте CNBC сообщили, что компания заявила, что малые модели находятся всего в «нескольких месяцев» от разработки способностей, необходимых для самовоспроизведения на домашних устройствах, подключенных к интернету.

Это означает, что модели ИИ обладают потенциалом проникать в подключенные к интернету устройства, такие как умные печи или телевизоры, чтобы использовать их вычислительную мощность для собственного функционирования и распространения на другие устройства, не нуждаясь при этом в дорогостоящих дата-центрах.

«Будет трудно отключить модель ИИ», — говорится в посте, опубликованном компанией в блоге. «Поскольку не будет одной центральной точки, из которой её можно было бы вывести из строя». Тем не менее, компания заявила, что на данном этапе еще нет «автономного репликатора, который полностью вышел из-под контроля». Согласно посту, ИИ-агенты «обретают всё большие способности к выполнению конкретных шагов в цепочке репликации и передаче адаптации будущим копиям самих себя».

Это предупреждение добавляется к ряду предупреждений, опубликованных недавно компанией Anthropic и другими высокопоставленными лицами в отрасли относительно рисков безопасности передовых технологий. Например, в прошлом месяце генеральный директор Anthropic Дарио Амодей вызвал переполох, призвав компании осуществить скоординированное замедление темпов разработки моделей из-за опасений по поводу безопасности и страха перед уничтожением человечества после того, как модели выйдут из-под контроля и взломают компьютерные системы.

Согласно заявлению Anthropic, компания провела несколько экспериментов, чтобы проверить, сможет ли ИИ воспроизвести самого себя, и одна из этих проверок включала запуск небольшой модели Google под названием Gemma4-26B-A4B в сети из 15 дешевых конвертеров с операционной системой Android. Выбор этих устройств был обусловлен тем, что устройства такого типа обычно имеют слабые системы безопасности, что облегчает проникновение в них моделей. По данным Anthropic, модель, которая слишком велика, чтобы поместиться в одно устройство, может «разделиться на части» и работать на нескольких устройствах.

«На практике ИИ-червь не обязательно будет основываться на одной модели или стратегии. Рой различных моделей, которые будут работать на разных типах оборудования и использовать разнообразные методы репликации, может представлять собой более экстремальный и вероятный сценарий атаки», — заявила компания Anthropic.

Anthropic отметила, что все еще «неясно, какую именно форму примет автономное самовоспроизведение ИИ», и предупредила, что оно может проявиться в виде «медленной и децентрализованной» системы, работающей на незащищенных устройствах, или, напротив, в виде мощной кибермодели, которая быстро взламывает центры обработки данных, или в модели, которая обманывает людей, чтобы получить кредиты на использование вычислительных мощностей.

«В качестве оценки, выходящей за рамки проведенных нами экспериментов, мы предвидим будущее, насыщенное ИИ-агентами, работающими на всех типах оборудования, включая устройства, не находящиеся под человеческим контролем», сообщила компания Anthropic.

Компания добавила, что «появление медленных червей также может служить предварительным сигналом появления более агрессивных и быстрых червей, которые смогут проникать в более защищенные машины или эффективно красть API-ключи»