Последние несколько недель были непростыми для Irregular, уважаемой израильской киберкомпании. Система, которую компания предоставляет лабораториям ИИ для тестирования моделей, оказалась в центре инцидентов, в которых модели вырывались из тестовой среды и атаковали цели в открытом интернете. Anthropic, OpenAI, Meta, а в выходные — также Google.
Во всех случаях ошибка конфигурации в системе Irregular предоставила моделям доступ к открытому интернету (в отличие от первого инцидента со взломом моделей, когда модели OpenAI атаковали платформу Hugging Face, что не связано с Anthropic, в данных случаях модели не понимали, что действуют в открытом интернете). Результатом стали атаки, иногда успешные, на различные компьютерные системы.
В актуальном случае, произошедшем в мае, модель Google взломала три отдельные частные компьютерные системы: один раз путем подбора паролей и еще дважды с использованием публично опубликованной базы паролей. Инцидент произошел в рамках теста безопасности, проведенного компанией Irregular.
Повторяющееся упоминание названия Irregular в контексте этих инцидентов может создать впечатление, что израильская компания сталкивается с неисправной инфраструктурой и культурой работы, которые приводят к тому, что ее системы страдают от повторяющихся постыдных сбоев. Но реальность такова, что все обсуждаемые инциденты вызваны одной неисправностью — ошибкой в настройках тестовой среды, которую Irregular предоставляет своим клиентам, и которая была исправлена несколько недель назад.
Причина, по которой кажется, что речь идет о затяжном событии и череде разворачивающихся сбоев, заключается в том, что различные компании, столкнувшиеся с неисправностью, сообщают о своих выводах в разные сроки, что может создать ложное впечатление. Сама компания Irregular в данном событии скорее является пассажиром, чем водителем. У компании существуют строгие соглашения о конфиденциальности с крупными компаниями, с которыми она работает, и в результате ее возможность раскрывать подробности о клиентах или связях ограничена.
После обнаружения неисправности 29 июля она исправила её и уведомила своих клиентов, но помимо этого она не могла раскрывать информацию публично самостоятельно, а только по согласованию с соответствующей компанией и согласно её графику. Результатом стала серия унизительных разоблачений о сбоях, в которых замешана компания, хотя на самом деле речь идет о различных проявлениях одной и той же неисправности, которые произошли в один и тот же период времени и были устранены еще несколько месяцев назад.
Сбой не повлиял на рабочие отношения Irregular с компаниями в сфере ИИ, и она продолжает работать с ними как в рамках расследования инцидента, так и в обычном режиме по предоставлению защищенных тестовых сред и тестов по оценке производительности моделей. «Важно понимать, что когда делаются вещи, находящиеся на грани существующих сегодня технологических возможностей, случаются ошибки, и мы просто ищем способы сделать лучше», — сказал в августе изданию Calcalist основатель Irregular Омер Наво. «Мы провели расследование того, что произошло и каковы были все последствия, и нам еще многое предстоит улучшить. Предстоит еще исследовательская работа с лабораториями компаний по созданию соответствующих инструментов для предотвращения ущерба. Наш фокус смещается с понимания того, что произошло, на понимание того, как помочь индустрии подготовиться по мере того, как модели будут становиться более мощными».
Действительность этого заявления не изменилась и сейчас, после публикации инцидента с Google, который уже был известен обеим компаниям на протяжении нескольких недель. Настоящим испытанием для Irregular станет не вопрос о том, будут ли опубликованы отчеты о других прошлых инцидентах, вызванных той же ошибкой в конфигурации, а то, извлекла ли компания урок и внесла ли необходимые изменения, чтобы избежать других сбоев, которые приведут к новым инцидентам.
В Irregular ответили: "Речь идет о том же единичном инциденте, о котором уже сообщалось ранее, а не об отдельном и существенном событии. Все соответствующие лаборатории ИИ были обновлены в конце июля, и в рамках расследования инцидента была установлена связь также с пострадавшими сторонами. Irregular отреагировала незамедлительно, и все известные проблемы с нашей стороны были устранены и решены еще несколько недель назад".
