Маленькое расследование про AI-детекторы.

Алоха, леди и джентельмены. На днях наткнулась на пост одного автора, где знатно рвало пятые точки по поводу использования Al авторами. Под этим постом увидела, как книги авторов проверяют AI-детекторами и по одному скриншоту делают вывод: "написано нейросетью". Мне стало интересно, насколько эти проверки вообще совпадают между собой.

Чтобы не проверять только свои книги, я решила сравнить:

• свою автобиографию; 
• произведения признанных авторов; 
• текст, специально написанный ChatGPT; 
• несколько разных AI-детекторов. 

Доставайте попкорн, будет интересно  

Первой я конечно проверила свою автобиографию, потому что она не может быть написана Al, и вот что мы имеем: 

Один и тот же текст, но абсолютно разные результаты в разных детекторах. На этом этапе я уже перестала понимать, что именно считается "нейросетевым текстом".

Я решила проверить классиков, взяла текст Паустовского и Камю "Посторонний" вот что получилось:

Следующим подопытным стал сам ChatGPT.

В этот момент у меня уже окончательно сломалась логика происходящего.

Мою книгу разные сервисы называли то человеческими, то нейросетевыми. Автобиография в одном детекторе оказывалась написанной человеком, в другом — почти полностью ИИ. Потом выяснилось, что некоторые сервисы готовы с подозрением смотреть даже на Камю и Паустовского.

И тут мне стало интересно.

А что будет, если попросить ChatGPT специально написать небольшой рассказ? Не переписывать существующий текст, не редактировать мой, а просто с нуля придумать историю на произвольную тему.

Я попросила написать короткий литературный текст.

Никаких специальных промптов вроде «обмани детектор», «очеловечь текст» или «напиши как человек». Просто обычная просьба: придумать небольшой рассказ.

После этого один и тот же текст отправился в несколько разных AI-детекторов.

И вот здесь эксперимент окончательно перестал быть предсказуемым.

Интересно девки пляшут) То есть моя автобиография по версии Яндекс детектора -это ИИ, а текст полностью сгенерированный ИИ -это 50 человек и 50 ИИ... забавненько получается 

Что получилось

Один и тот же текст разные сервисы могут одновременно назвать:

• полностью человеческим;
• подозрительным;
• почти полностью написанным ИИ.

Классическая литература (Паустовский, Камю) тоже не проходит некоторые AI-детекторы.

Художественные тексты автора могут получать диаметрально противоположные оценки в зависимости от выбранного сервиса.

Даже текст, написанный ChatGPT специально для эксперимента, часть детекторов уверенно определила как человеческий.

На самом деле этот блог не о том, какой AI-детектор лучше, а какой хуже.

Я не ставила перед собой цель кого-то разоблачить, доказать, что все сервисы ошибаются, или, наоборот, убедить, что им можно безоговорочно доверять.

Мне просто стало интересно.

Я увидела, как под одной публикацией люди всерьез делают выводы о происхождении текста, опираясь на результаты одного детектора. И решила проверить, насколько совпадут выводы разных сервисов, если дать им одни и те же произведения.

Результаты вы видели сами.

Я не призываю перестать пользоваться AI-детекторами. Возможно, у каждого из них есть свои задачи, свои алгоритмы и свои сильные стороны. Но после этого небольшого эксперимента лично у меня возникло ощущение, что воспринимать их вердикт как окончательный ответ на вопрос «кто написал текст» все же не стоит.

Возможно, это хороший инструмент для дополнительного анализа. Но, как показало мое маленькое расследование, далеко не всегда — для вынесения приговора.

Если после прочтения этого блога у вас появилось желание провести такой же эксперимент со своими текстами или любимыми авторами адреса детекторов есть на скринах. 

P.S. Ну что ж... Адская дверь  торжественно открыта. Комментарии — ниже. Только чур без файерболов.

Демоны, эксперты, свидетели ChatGPT и охотники на нейросети — добро пожаловать.