Я прогнал один текст через несколько AI-детекторов. Потом переписал его три раза

Время от времени вижу, как авторы спорят об AI-детекторах.

Кто-то относится к процентам спокойно, а кто-то начинает переписывать целые абзацы и даже главы только потому, что какой-то сервис решил: «слишком похоже на ИИ».

И вот это мне стало особенно интересно.

Насколько вообще стабилен такой результат?

Что будет, если взять один и тот же текст, не менять события и смысл, а просто по-разному его отредактировать?

Может ли обычная вычитка сделать текст «более человеческим»?

Может ли слишком гладкий стиль, наоборот, поднять AI-процент?

И может ли один детектор назвать текст человеческим, а другой — практически полностью сгенерированным?

Чтобы проверить это, я взял небольшой фрагмент из своего рассказа «До города было двадцать минут».

Это обычная сцена: герой идёт по старой дороге возле Белого Леса, замечает повторяющийся фонарь, смотрит на навигатор и понимает, что расстояние до дома почему-то не уменьшается.

Для проверки я использовал три сервиса:

GPTZero, Originality.ai и Яндекс Детектор.

После этого сделал четыре версии одного и того же фрагмента.

№1 — оригинал.
Текст в том виде, в котором он был написан.

№2 — обычная авторская вычитка.
Убрал несколько повторов, немного поправил ритм и пару шероховатостей. Никакой серьёзной переработки.

№3 — максимально гладкая версия.
Предложения стали ровнее, переходы мягче, формулировки аккуратнее.

№4 — разговорная и намеренно менее ровная версия.
Больше коротких фраз, сбивок, повторов и внутренней речи героя.

После этого все четыре варианта я прогнал через те же самые детекторы.

Что получилось

Версия	GPTZero	Originality.ai	Яндекс Детектор
№1 — оригинал Артём прошёл ещё несколько минут.   Столба всё ещё не было.   Артём не обратил на это внимания. Снег усилился.   Может, прошёл мимо него и не заметил или шёл слишком медленно, наслаждаясь лесной тишиной.   Вдалеке показался тусклый жёлтый свет.   — Фонарь. Ну вот.   Артём и сам не понял, зачем сказал это вслух.   Подойдя ближе, он замедлил шаг.   Старый фонарь. Тусклая лампа.   И та же длинная трещина на стекле.   Артём остановился и просто смотрел на него.   Потом обернулся.   Позади были только дорога, лес и непроглядная тьма. Первый фонарь уже скрылся за белой пеленой.   Он снова посмотрел на фонарь и трещину.   Наверное, просто похожий.   Эти фонари вообще все одинаковые.   А почему светит? Может, кто-то из города заменил лампу, чтобы ночью было сподручнее ходить.   Артём достал телефон.   1,8 километра до дома.   Двадцать минут.   Он нахмурился и проверил время.   20:33.   Почти двадцать минут он шёл.   А до дома всё ещё двадцать минут.   Несколько секунд он смотрел на экран, потом просто погасил его и сунул телефон в куртку.   — Офигенно.   GPS опять чудит.   Время от времени такое случалось около Белого Леса.   Артём просто пошёл дальше по дороге.   Через несколько шагов он понял, что что-то не так.   Он больше не слышал трассу.   Артём остановился и прислушался.   Ничего.   За лесом, в нескольких сотнях метрах, шла объездная. Даже ночью там ездили фуры. Обычно их было слышно даже отсюда — глухой ровный шум, к которому быстро перестаёшь прислушиваться и который становится просто незаметным фоном.   А сейчас его не было совсем.	Human 81%, Mixed 17%, AI 2%	Likely Original 99%, AI ≤15%	HUMAN 100%
№2 — обычная вычитка Артём прошёл ещё несколько минут.   Столба всё ещё не было.   Артём не обратил на это внимания. Снег усилился.   Может, он прошёл мимо и не заметил. Или шёл слишком медленно, наслаждаясь лесной тишиной.   Вдалеке показался тусклый жёлтый свет.   — Фонарь. Ну вот.   Артём и сам не понял, зачем сказал это вслух.   Подойдя ближе, он замедлил шаг.   Старый фонарь. Тусклая лампа.   И та же длинная трещина на стекле.   Артём остановился и несколько секунд смотрел на неё.   Потом обернулся.   Позади были только дорога, лес и непроглядная тьма. Первый фонарь уже скрылся за белой пеленой.   Он снова посмотрел на трещину.   Наверное, просто похожий.   Эти фонари вообще все одинаковые.   А почему светит? Может, кто-то из города заменил лампу, чтобы ночью было сподручнее ходить.   Артём достал телефон.   1,8 километра до дома.   Двадцать минут.   Он нахмурился и проверил время.   20:33.   Почти двадцать минут он шёл.   А до дома всё ещё двадцать минут.   Несколько секунд он смотрел на экран, потом погасил его и сунул телефон в куртку.   — Офигенно.   GPS опять чудит.   Время от времени такое случалось около Белого Леса.   Артём пошёл дальше по дороге.   Через несколько шагов он понял, что что-то не так.   Он больше не слышал трассу.   Артём остановился и прислушался.   Ничего.   За лесом, в нескольких сотнях метрах, шла объездная. Даже ночью там ездили фуры. Обычно их было слышно и отсюда — глухой ровный шум, к которому быстро перестаёшь прислушиваться и который становится просто незаметным фоном.   А сейчас его не было совсем.	Human 94%, Mixed 5%, AI 1%	Likely Original 93%, AI ≤15%	HUMAN 100%
№3 — максимально гладкая Артём прошёл ещё несколько минут.   Столба по-прежнему не было.   Сначала он не придал этому значения. Снег усиливался, видимость становилась хуже.   Возможно, Артём просто прошёл мимо и не заметил его. Или двигался медленнее обычного, слишком увлёкшись редкой для этих мест тишиной.   Вдалеке появился тусклый жёлтый свет.   — Фонарь. Ну вот.   Артём сам не понял, зачем произнёс это вслух.   Подойдя ближе, он невольно замедлил шаг.   Старый фонарь. Мутная жёлтая лампа.   По стеклу тянулась длинная трещина. Та самая.   Артём остановился. Несколько секунд он просто смотрел на неё, затем обернулся.   Позади оставались только дорога, лес и непроглядная темнота. Первый фонарь уже исчез за плотной белой пеленой.   Артём снова перевёл взгляд на треснувшее стекло.   Наверное, фонарь просто похож.   В конце концов, почти все они здесь одинаковые.   Но почему этот всё ещё работает? Возможно, кто-то заменил лампу, чтобы по старой дороге было удобнее ходить ночью.   Артём достал телефон.   До дома — 1,8 километра.   Двадцать минут.   Он нахмурился и посмотрел на часы.   20:33.   Почти двадцать минут он уже был в пути.   А приложение по-прежнему показывало те же двадцать минут до дома.   Несколько секунд Артём смотрел на экран, затем погасил его и убрал телефон в карман.   — Офигенно.   Наверное, GPS снова чудит.   Такое иногда случалось возле Белого Леса.   Артём продолжил путь.   Через несколько шагов он почувствовал, что что-то изменилось.   Он больше не слышал трассу.   Артём остановился и прислушался.   Тишина.   За лесом, всего в нескольких сотнях метров, проходила объездная дорога. Даже глубокой ночью по ней шли фуры. Обычно их было слышно и отсюда — ровный далёкий гул, настолько привычный, что через несколько минут перестаёшь его замечать.   Сейчас этого гула не было.	Human 85%, Mixed 2%, AI 13%	Likely Original 97%, AI ≤15%	HUMAN 100%
№4 — разговорная Артём прошёл ещё немного.   Столба не было.   Он сначала даже не задумался. Ну нет и нет. Снег усилился, видно стало хуже.   Может, просто прошёл мимо. Или шёл слишком медленно.   Впереди показался жёлтый свет.   — Фонарь. Ну вот.   Сам не понял, зачем сказал это вслух.   Подошёл ближе и замедлился.   Старый фонарь. Та же мутная лампа.   И трещина. Длинная, через всё стекло.   Артём остановился.   Посмотрел на фонарь. Потом назад.   Там только дорога, лес и темнота. Первый фонарь уже не видно — снег всё закрыл.   Артём снова посмотрел на трещину.   Может, просто похожий.   Они тут вообще почти все одинаковые.   Только почему этот работает? Может, лампу поменяли. Кто его знает.   Артём достал телефон.   1,8 километра.   Двадцать минут.   — Чего?   Он посмотрел на время.   20:33.   Почти двадцать минут уже идёт.   А до дома всё равно двадцать минут.   Артём ещё пару секунд смотрел на экран, потом выключил его и убрал телефон.   — Офигенно.   Наверное, GPS опять глючит.   Тут, возле Белого Леса, такое бывало.   Он пошёл дальше.   Через несколько шагов что-то стало не так.   Не сразу понял что.   Потом понял.   Трассу не слышно.   Вообще.   Артём остановился.   Прислушался.   Ничего.   За лесом была объездная. Совсем недалеко. Там даже ночью фуры ходили постоянно. Обычно стоишь здесь и всё равно слышишь этот ровный гул. Через пару минут перестаёшь замечать, но он есть.   А сейчас — нет.	Human 89%, Mixed 1%, AI 10%	Likely Original 99%, AI ≤15%	AI 100%

Небольшое уточнение по Originality.ai: показатель AI Allowance я не воспринимаю как буквальный процент текста, написанного ИИ. Поэтому в таблице оставляю формулировку сервиса максимально близко к тому, как она была показана на сайте.

GPTZero

Оригинальный текст он оценил как 81% Human.

После обычной вычитки показатель вырос до 94% Human.

То есть минимальная редактура сделала текст для этого детектора ещё более «человеческим».

Потом я взял максимально гладкую версию.

И тут AI-показатель вырос до 13%.

Итоговый вердикт при этом всё равно остался человеческим, но внутренние цифры заметно изменились.

Разговорная версия получила 89% Human и 10% AI.

То есть даже внутри одного сервиса обычная редактура, сглаживание текста и намеренная «неровность» дали разные результаты.

Originality.ai

Этот сервис оказался самым стабильным из трёх.

Все четыре версии он отнёс к Likely Original с уверенностью от 93 до 99%.

Оригинал — 99%.

После обычной вычитки — 93%.

Максимально гладкая версия — 97%.

Разговорная — 99%.

То есть заметная стилистическая переработка почти не изменила итоговый вердикт.

А потом пришёл Яндекс

Первые три версии он определил одинаково:

текст скорее всего написан человеком.

Оригинал — HUMAN 100%.

После обычной вычитки — HUMAN 100%.

Максимально гладкая версия — HUMAN 100%.

А потом я вставил разговорную версию.

И получил:

«Большая часть текста вероятно сгенерирована ИИ».

AI — 100%.

Это тот же эпизод.

Те же события.

Тот же герой.

Я просто сделал текст более разговорным: добавил короткие фразы, повторения, неровный ритм и внутренние сбивки.

В этот же момент GPTZero дал этой версии 89% Human.

Originality.ai — Likely Original, 99% confidence.

Яндекс — AI 100%.

Вот этот результат мне показался самым интересным во всём эксперименте.

И что из этого следует

Четырёх текстов и трёх сервисов, конечно, недостаточно, чтобы делать вывод вообще обо всех существующих AI-детекторах.

Но одна вещь из этого маленького опыта видна довольно хорошо.

Детектор не знает, кто написал текст.

Он анализирует признаки самого текста и на их основании выдаёт вероятность или категорию.

А значит, изменение ритма, длины предложений, количества повторов и общей манеры письма может заметно изменить результат.

Причём разные детекторы могут реагировать на одну и ту же правку совершенно по-разному.

В моём случае обычная редактура сделала текст для GPTZero более человеческим.

Более гладкая версия подняла у него AI-показатель.

А разговорная версия заставила Яндекс полностью перевернуть результат с HUMAN 100% на AI 100%, пока два других сервиса продолжали считать текст человеческим или оригинальным.

И вот после этого идея полностью переписывать главу только потому, что один детектор показал высокий AI-процент, кажется мне ещё более сомнительной.

Особенно когда другой сервис на тот же самый текст может сказать прямо противоположное.

AI-детектор может быть дополнительным сигналом.

Может быть интересным инструментом для эксперимента.

Но использовать один такой результат как доказательство происхождения текста я бы точно не стал.

Особенно если из-за него автор начинает ломать уже работающий текст и переписывать целые главы только ради того, чтобы понравиться очередному проценту на экране.

А вы когда-нибудь проверяли свои тексты через AI-детекторы? И получали результаты, которым сами не поверили?