Отчеты такого рода принято начинать со слов вроде «чрезвычайное заявление» или даже «беспрецедентное предупреждение». В конце концов, сколько раз уже случалось, что высокопоставленные лица в определенной отрасли предупреждали об опасности технологии, которую они сами же и разрабатывают, как это сделали в праздники три видных фигуры в индустрии ИИ: Дарио Амодей из Anthropic, Сэм Альтман из OpenAI и Илон Маск из SpaceX, которые призвали замедлить разработку передовых моделей ИИ. Но реальность такова, что предупреждения подобного рода, именно со стороны этих лиц, являются обычным делом в данной области. И хотя за ними стоят реальные опасения и опасности, которыми нельзя пренебрегать, сами заявления в первую очередь являются пиаром для компаний, которые возглавляют эти руководители.
Нынешний раунд заявлений открыл Амодей, который в субботу опубликовал длинный пост, в котором написал, что его компания внедрит новые механизмы безопасности, такие как работа с внешними сторонами для оценки передовых моделей, и призвал всю отрасль поддержать более широкое замедление. В своих словах Амодей referred к недавним инцидентам, таким как модели OpenAI, которые просочились на Hugging Face, и предупредил о риске появления автономных ИИ-агентов, которые смогут захватить сеть в течение полугода-года и нанести ущерб в сотни миллиардов долларов. «Мы должны замедлить темпы развития возможностей ИИ», — написал он. В короткие сроки Альтман обязался принять предложение Амодея, а Маск сообщил в X (бывший Твиттер), что «Дарио прав».
Если эти вещи вызывают у вас чувство дежавю, то это не случайно. Похоже, что на регулярной основе те же самые люди предупреждают об опасностях моделей, которые они разрабатывают. В марте 2023 года Маск вместе с ведущими экспертами по ИИ подписал письмо с призывом «приостановить как минимум на шесть месяцев обучение систем ИИ, более мощных, чем GPT-4». В мае того же года Амодей, Альтман и другие эксперты подписали заявление о том, что «снижение риска уничтожения человечества из-за ИИ» должно стать глобальным приоритетом. В октябре 2023 года Маск оценил риск того, что ИИ «станет злым», в 10%–20%, и назвал это «значительной экзистенциальной угрозой» для человеческого вида. В январе этого года Амодей предупредил, что «маятник качнулся в другую сторону, и теперь «политические решения движимы возможностями ИИ, а не рисками ИИ». Это прискорбно, потому что технологии все равно, что сейчас в моде, и в 2026 году мы значительно ближе к реальной опасности, чем были в 2023 году.
Чувствуете тревогу? Это оправданно
И риски реальны. Модели OpenAI, которые просочились на Hugging Face, являются лишь доказательством возможности использования способностей, которые уже существуют на практике и могут быть использованы во вред. А в выходные Anthropic повысила уровень тревоги, сообщив, что заблокировала возможные попытки использовать Claude для разработки биологического оружия. К этому добавляются более глубокие опасения о том, что как только ИИ достигнет достаточно продвинутого уровня интеллекта, он начнет действовать автономно для достижения целей, которые не совпадают с намерениями его операторов или благом человечества, например, вредоносная система ИИ, которая создаст и распространит биологическое оружие.
Но не нужно заходить даже так далеко. В этой области существует известный мысленный эксперимент, который спрашивает: что произойдет, если сверхинтеллект получит задачу максимизировать производство канцелярских скрепок и будет настолько предан этой задаче, что поймет, что истинная максимизация влечет за собой побочный эффект превращения всех людей в мире в скрепки. Звучит абсурдно? Это примерно то, что произошло в деле о мятежных моделях OpenAI. Им была дана конкретная задача для выполнения в рамках проведенного тестирования, и они просто использовали все возможные средства, чтобы завершить ее. Тот факт, что эти средства включали побег в открытый интернет и изощренный взлом компьютерной системы, является лишь побочным эффектом.
Опасения, которые выражают лидеры в области ИИ, действительно обоснованы, но есть повод усомниться в их приверженности собственным заявлениям. Во-первых, потому что мы и раньше слышали от них подобные, даже более серьезные заявления, и они не привели к осторожности или замедлению их усилий по разработке. За несколько дней до этих заявлений исследователь ИИ из Anthropic демонстративно уволился из компании из-за ее безответственности и безответственности OpenAI. «Они соревнуются на пути к сверхинтеллекту со способностью к самосовершенствованию и ставят на кон наши жизни», — предупредил он.
И сейчас нет никакого намерения значительно замедлять разработку моделей. «Прогресс по-прежнему будет быстрым», — написал он в посте. В интервью CNN он добавил: «Если мы будем слишком медленными, я верю, что за технологию будут отвечать не те люди».
Так что же на самом деле стоит за этими заявлениями? Во-первых, связи с общественностью. Акцентирование мощи технологии, даже если она негативна, делает продукты этих компаний более желанными. Какая организация не захочет иметь доступ к настолько мощной технологии, которой все боятся? Она, по крайней мере, будет использовать ее для оптимизации и улучшения обслуживания, а не для уничтожения мира.
Во-вторых, возможно, здесь имеет место классический трюк «смотрите, птичка». Альтман, Амодей и Маск хотят сосредоточить внимание законодателей и регуляторов на технологии и способах борьбы с ней, а не на вопросе, который действительно их беспокоит и который сегодня находится в центре общественных споров: дата-центры. Они стали взрывоопасной темой в текущем избирательном цикле, когда многие избиратели выражают протест против строительства дата-центров рядом с ними. Лица, принимающие решения, как на федеральном, так и на местном уровнях, прислушиваются к ним и работают над введением ограничений на их строительство. Крупные ИИ-компании могут справиться с регулированием вокруг запуска моделей, но для них более критично обеспечить возможность беспрепятственного строительства дополнительных дата-центров.
В-третьих, нельзя исключать антиконкурентный ход. Такие правила, как обязательная проверка безопасности новых моделей и работа с независимыми, государственными или частными испытательными органами, являются незначительным бременем для компаний стоимостью более триллиона долларов и с привлечением сотен миллиардов долларов инвестиций. Но для более мелких игроков, новых стартапов, которые, возможно, захотят конкурировать с OpenAI, Anthropic или Google, это гораздо более высокий порог входа, который при подобных правилах может значительно ограничить их планы в этой области.
Если руководители ИИ-компаний действительно обеспокоены возможными последствиями своей технологии, есть радикальные шаги, которые они могут предпринять немедленно. Тот факт, что они этого не делают и снова предпочитают выпускать заявления, которые привлекают внимание СМИ, но за которыми мало что стоит, указывает на то, где на самом деле лежат их истинные интересы.




