Можно ли доверять «нейродетектору» от Яндекса?

В виду тотального увлечения этим инструментом и нарастающей паранойей некоторых пользователей Интернета, расскажу о собственном исследовании его работы.

Я ещё с месяц назад его довольно детально оттестировал, и разочарованным не остался — в том смысле, что как и почти любой инструмент от Яндекса, он сырой и выдаёт пусть не произвольные, но подчас шокирующие результаты.

Экспериментировал я несколько часов, давая ему самые разные тексты — от заведомо сгенерированных нейросетями до произведений классиков.

Вывод первый: тексты от нейросетей он определяет в девяти случаях из десяти верно. Точнее определяет тексты нехудожественные, с художественными случаются накладки. К сожалению, не сделал скрин, как он фрагменту из «Первой любви» Тургенева определил вероятность ИИ-шности в районе 30%, а потом не смог найти тот фрагмент, так как выдёргивал цитаты наугад.

Вывод второй: человеческие тексты определяет с частыми ошибками. Запросто может нормальный человеческий текст отнести к нейросетевым. Какие он там связки слов детектирует, какую предсказуемость — мне так и осталось непонятным. Явно одно — чем текст грамотнее написан, тем больше подозрений он вызывает у Яндекса. Особенно это касается пунктуации и типографики (об этом ниже).

Вывод третий: ввести его в заблуждение можно даже не касаясь собственно текста. Далее пример такой манипуляции.

Взял текст, сгенерированный нейросетью. Я исследовал возможность ввести нейродетектор Яндекса в заблуждение, поэтому текст именно об этом и я, насколько мог, добивался от нейросети человеческой интонации (результат на скрине), и сделал в нём несколько незначащих исправлений. Изначальная вероятность «нейросетевитости» оценивалась нейродетектором Яндекса в 62,29%. Далее я совершил несколько действий.

1. Заменил «ни рядился в рванину» на «не рядился в рванину». 62,29% → 53,98%

2. Убрал пробел после точки во втором абзаце. 53,98% → 30,25%

3. Убрал запятую после слова «Друг». 30,25% → 23,31%

4. Убрал запятую после слова «стараясь». 23,31% → 7,71%

5. Заменил тире (—) на дефис (-). 7,71% → 4,64%

Итого: За 5 исправлений, которые собственно текста не коснулись, вероятность генерации ИИ снизилась с 62,29% до 4,54%. Что я делал? Я добавлял ошибки.

Думаю, иллюстрация к моим выводам более, чем убедительная.

Единственное, что я могу зачесть Яндексу в «оправдание» — это то, что инструмент разрабатывался для оценки студенческих работ, то есть, текстов более или менее выдержанных в академической стилистике, к которой предложенный мной для анализа текст очевидно не относится. Так же, кстати, как и художественные тексты.

Алексей Черкасов