OpenAI будет добавлять невидимые водяные знаки в тексты, которые ее модели генерируют для пользователей в Европейском союзе, — сообщила компания вчера (в понедельник). Этот шаг может быть расширен в дальнейшем на другие страны, но на данный момент никаких указаний на это нет.
Компания в области ИИ предпринимает этот шаг в соответствии с требованиями Закона об ИИ Европейского союза, который обязывает четко идентифицировать контент, созданный моделями. Водяные знаки будут добавляться к текстам ChatGPT и Codex (инструмента программирования компании) в Европейском союзе в ближайшие недели по умолчанию. Клиенты API по всему миру смогут выбрать, активировать ли эту функцию.
По словам OpenAI, их технология маркировки, называемая textGrain, работает путем добавления невидимого статистического сигнала к выбору слов модели. «Наш инструмент обнаружения ищет этот сигнал, чтобы оценить, содержит ли абзац водяной знак OpenAI», — пояснила компания в опубликованном сообщении. «В наших тестах textGrain продемонстрировала результаты, идентичные или лучшие, чем у других изученных нами подходов».
Тем не менее, в компании оговаривают различные сценарии на практике, которые могут повлиять на эффективность модели и привести к ложному определению человеческого текста как текста ИИ (ложноположительный результат) или к пропуску определения текста как созданного ИИ (ложноотрицательный результат). Во-первых, короткий текст сложнее идентифицировать. «При целевом показателе ложноотрицательных результатов в 1% наши детекторы обнаружили водяной знак в 80% абзацев из 200 токенов (единица измерения вывода модели ИИ, соответственно), по сравнению с 95% абзацев из 400 токенов в таком контенте, как психология. Показатели обнаружения были значительно ниже в таком контенте, как математика, где выбор слов менее гибкий».
Во-вторых, редактирование текста может ослабить водяной знак. «При оценке абзаца из 400 токенов замена 10% слов синонимами снизила уровень обнаружения с 92% до 66%. Замена 25% слов снизила его до 17%», — пояснила компания. «Эти ограничения повлияли на наше решение предоставить первоначальный доступ к инструменту обнаружения только исследователям и одобренным организациям, которые могут помочь нам оценить надежность и ответственное использование. Технологии маркировки и обнаружения текстов ИИ все еще находятся на ранних стадиях, и мнения об их преимуществах и ответственности развиваются».
Шаг OpenAI предпринимается примерно через два месяца после аналогичного шага Anthropic, который также был сделан в ответ на закон ЕС об ИИ (хотя в данном случае запуск был глобальным). Ее маркировка работает аналогично маркировке OpenAI, путем статистического выбора слов, который позволяет идентифицировать последовательность слов как таковую, которая была выбрана Claude для водяного знака.
