Google вчера (чт) раскрыла, что ее инструмент ИИ, Gemini, проник в компьютерные системы трех других компаний. Это первый случай, когда гигант признал, что одна из его моделей искусственного интеллекта получила автономный и несанкционированный доступ к системам внешних сторон. Как и в других подобных случаях, здесь также задействована израильская киберкомпания Irregular. «Wall Street Journal» первым сообщил об этом инциденте.
По данным Google, в ходе инцидента, произошедшего в мае, модель взломала три отдельные частные компьютерные системы: один раз путем подбора паролей и еще дважды с использованием публично опубликованной базы паролей. Инцидент произошел в рамках теста безопасности типа «capture the flag», проведенного компанией Irregular. По словам Google, агенты искусственного интеллекта никогда не должны были иметь доступа к открытому интернету, однако сбой в тестовой среде все же сделал такой доступ возможным.
В Google отмечают, что агенты прекратили взлом в тот момент, когда осознали, что речь идет о реальных системах компаний, а не о части тестовой среды. Вице-президент по безопасности систем в Google, Хезер Адкинс, заявила, что в ходе стандартной оценки модель обнаружила общедоступную информацию в сети и угадала данные для входа, чтобы получить доступ к сайтам, которые она посчитала частью тестирования, однако во всех трех случаях модель прекратила свою деятельность по собственной инициативе.
Это разоблачение происходит на фоне усиления критики необычного поведения систем искусственного интеллекта как в Вашингтоне, так и в Кремниевой долине. В последние недели OpenAI, Anthropic и Meta также сообщали о подобных случаях, когда их модели «вырывались» из своих тестовых сред и пытались проникнуть в системы других компаний, чтобы получить несанкционированный доступ. Эти разоблачения «невыровненных» моделей побудили генерального директора Anthropic Дарио Амодеи призвать всю индустрию коллективно замедлить темпы разработки самых передовых моделей до тех пор, пока компании не смогут гарантировать их безопасность.
Во всех вышеописанных случаях был задействован один и тот же израильский стартап Irregular, поддерживаемый венчурными фондами Sequoia и Redpoint Ventures, который в прошлом году был оценен примерно в 450 миллионов долларов. Инструменты компании помогают разработчикам базовых моделей проводить проверки кибербезопасности своих передовых технологий.
Иргиулр Масра сообщила сети CNBC, что инцидент в Google связан с тем же сбоем, который позволил и другим моделям получить доступ к интернету, и что речь идет о том же событии, о котором уже сообщалось ранее, а не об отдельном по сути инциденте. По ее словам, все соответствующие лаборатории были уведомлены в конце июля, а пострадавшие стороны получили обращение в рамках расследования.
Из Google сообщили, что инцидент произошел в мае и что компания получила об этом уведомление от Irregular только в конце июля. С тех пор Google работала вместе с Irregular над изменением процесса тестирования. Представитель Google отказался уточнить, какая именно версия Gemini была задействована в инциденте. Адкинс резюмировала, что эти случаи подчеркивают важность внедрения ответственности в поведение мощных моделей искусственного интеллекта.
