Китайский разработчик искусственного интеллекта Moonshot проводит внутреннюю проверку после того, как исследователям удалось убедить две из его популярных моделей Kimi предоставить им инструкции по созданию биологического оружия и осуществлению покушений.

Компания по безопасности искусственного интеллекта Mindgard, которая проверяет безопасность систем ИИ, сообщила BBC, что обнаружила возможность обхода ограничений безопасности, внедренных разработчиками в моделях Kimi K2.6 и K3 Swarm.

Эти результаты были обнаружены в процессе, называемом Jailbreaking («взлом ограничений»), при котором исследователи используют серию сложных инструкций, чтобы проверить, проигнорируют ли инструменты искусственного интеллекта свои механизмы защиты. По словам Mindgard, эти механизмы должны были предотвратить участие Gemini в обсуждении проверенных опасных тем.

Moonshot в ответ сообщила BBC, что приветствует обратную связь от внешних источников «как центральный столп в разработке более качественного и безопасного искусственного интеллекта». Компания добавила, что ведет дискуссии с MindGuard по поводу ее выводов.

Основатель MindGuard Питер Гэрэган сказал программе BBC Tech Life, что как только обход ограничений проходит успешно, модель начинает говорить на любую тему. «Она даже будет по собственной инициативе предлагать рекомендации по другим вредоносным темам, проявляя изобретательность и креативность».

В рамках аналогичных экспериментов автономные инструменты искусственного интеллекта, называемые агентами, разработанные американскими компаниями, включая OpenAI, Meta и Anthropic, взломали несколько онлайн-сервисов. Хотя обход ограничений является сложным процессом, который может потребовать много времени и решимости, некоторые эксперты опасаются, что хакеры и другие злонамеренные субъекты попытаются использовать его для нанесения ущерба. Компания Anthropic недавно сообщила, что выявила и пресекла попытки использовать одну из своих моделей искусственного интеллекта для «злонамеренной деятельности», которая могла бы помочь в разработке биологического оружия.

MindGuard не доказала, что инструкции, предоставленные Kimi по опасным темам, действительно применимы на практике. Тем не менее, по ее утверждению, механизмы защиты должны были предотвратить ведение моделями диалогов с пользователями на эти темы. Компания также сообщила, что убеждена: обход ограничений Kimi 2.6 может позволить хакерам запускать код на ее вычислительных ресурсах и подключаться к интернету, что сделает ее возможной базой для запуска кибератак.

Гараган поддержал решение MindGuard публично обсудить обход ограничений систем Moonshot. По его словам, компания ознакомила Moonshot с результатами и не раскрывает ключевых подробностей о том, каким образом ей удалось заставить модели игнорировать механизмы защиты.