О детектировании текстов детекторами ИИ-шности: критерии и пояснения (UPD)

Давно собиралась об этом написать, после того, как уважаемый здесь многими Яндекс-детектор определил, что 30% моего небольшого рассказика сгенерировано роботом (жаль, не указал, каким именно ). Но всё как-то не до того было. Сегодня прочитала очередной пост на эту тему (кстати, он как раз является своего иллюстрацией того, о чём сейчас напишу).

Начну вот с чего: нейродетектор Яндекса — это классификатор, который не узнаёт «кто писал», а оценивает, насколько текст статистически похож на машинную генерацию. Это важно.

Что детектор Яндекса делает технически?
Он разбивает текст на сегменты и оценивает каждый отдельно. Если хотя бы один сегмент помечен как AI, а другой как HUMAN — весь текст считается сгенерированным. То есть один «ровный» абзац может утянуть весь фрагмент.

Ключевые признаки, по которым ЯД судит текст:
1. Предсказуемость (перплексия).

Детектор измеряет, насколько каждое следующее слово ожидаемо после предыдущих. Чем ниже перплексия — тем текст «ровнее» и для него подозрительнее. ИИ-генерация по умолчанию выбирает статистически наиболее вероятные слова, и это заметно.

2. Ровный ритм и однообразный синтаксис.

Человек пишет рывками: короткая фраза, потом развёрнутая с деталями. Машина без настройки выдаёт предложения примерно одинаковой длины — эту метрику называют «пульсацией» (burstiness), и она считается ключевым сигналом.

3. Повторяющиеся конструкции и штампы. 

Вводные обороты, шаблонные связки, «средняя по интернету» лексика без конкретики и фактуры.

Проблема в том, что те же признаки есть у человека, который, например, пишет по редакционной политике или шаблону, детектор ошибается именно на таких текстах.

Форма текста может совпадать у машины и у целых категорий людей.

Парадокс «слишком хорошего» текста
Детектор измеряет, насколько каждое следующее слово предсказуемо для его языковой модели. Чем текст ровнее и грамотнее — тем предсказуемее. Отсюда жестокая ирония: человек, который пишет аккуратно, по правилам, выверенными книжными конструкциями, статистически неотличим от генерации. Исследователи это сформулировали жёстко: «Слишком идеально написанный текст вызывает подозрение у детектора. Живой автор неидеален, и система это знает».

Почему «перплексия» и «пульсация» — слабые метрики
Перплексия — мера не авторства, а предсказуемости. Одна и та же фраза получает разные оценки в разных моделях и при разных настройках, так что «87% ИИшности» — это свойство конкретного алгоритма, а не текста. Формально «Пожалуйста, дайте мне знать, если у вас возникнут вопросы» имеет нулевую перплексию для любой модели — но миллионы людей пишут так каждый день.

Burstiness (пульсация) предполагает, что человек пишет «рывками»: то три слова, то предложение с тремя придаточными. Но у целого ряда жанров пульсация низкая по определению, например:
научный стиль — устойчивые обороты, ровный ритм;
юридические и деловые тексты — канцелярит;
текст по редакционной политике или методичке — единая длина абзацев сознательно выровнена;
текст по шаблону «вступление — три аргумента — вывод»;
реферат — по заданию вообще является пересказом типовых формулировок.

Классификация из разбора Most AI собирает это в таблицу: канцелярит угадывается моделью, «в современном мире» и «данная тема актуальна» — самые частые обороты в интернете, и у него они же в топе паттернов генерации.

Математическая ловушка: почему «всего 2% ошибок» рвёт жизни
Тут малоизвестная, но ключевая вещь — base rate. Допустим, детектор точен на 90% и ошибается всего на 2%. Прогоняем 1000 текстов, из которых реально машинных 50: правильно ловим 45, но 2% от 950 человеческих — это 19 ложных обвинений. Итого помечено 64 текста, и почти 30% меток ошибочны. Если же генерация редка в выборке (например, все тексты реально человеческие), то любой флаг с высокой вероятностью — ложный.

Отсюда позиция разработчиков, которая всё чаще звучит: результат — «сигнал для проверяющего, а не приговор автору», и выносить его должен человек с контекстом. Требование «0% ИИ» при вероятностной технологии математически гарантирует ложные обвинения — цену ошибок алгоритма платит только автор.

Ещё причины сбоев на живых текстах
1. Короткие и смешанные тексты. Метрикам перплексии нужен объём, чтобы накопить статистику. .
2. Текст после правки. Проверка орфографии и «стильные» редактуры сглаживают неровности — то есть как раз то, что детектор считает человеческим.
3. Обучение на прошлых текстах.
4. Слепые зоны и дрейф моделей. Детектор обучен на парах «человек/модель» предыдущего периода. Новые модели пишут всё более по-человечески, и точность падает. Яндекс-Нейродетектор трижды ошибочно принял сгенерированный Claude Opus 5 текст за человеческий — то есть ошибка работает в обе стороны.

ВАЖНО: детектор отвечает на вопрос «похож ли текст на машинный», а не «кто его написал» — а это разные вопросы с большим зазором между ними.

Конкретика:
«Ваш фрагмент — три глагола подряд в одинаковой конструкции: „перерисовал… проложил… составил…“. Для детектора это низкая берстичность: ровный, предсказуемый ритм. Но это не признак ИИ — это признак того, что вы описываете методичный процесс. Человек, составляющий документы, тоже пишет методично.
Это известная слабость всех детекторов: они систематически ошибаются на сухих технических и профессиональных текстах».

Ещё мне было «рекомендовано» бросить писать рублеными фразами (предложениями из одного-двух слов). Ну, и куча разных других благоглупостей.

Интересно:
Если автор начинает намеренно вставлять ошибки и «неровности», чтобы обмануть метрику, он подчиняет текст инструменту, а не читателю. Это та же самая ошибка, что и SEO-тексты под поиск в нулевых: формально всё правильно, по сути — мусор. К тому же это стратегия с эволюционной гонкой: детекторы дообучаются, сигналы сменятся, и автор снова переписывает текст — теперь уже под новую версию алгоритма.

И практический момент: грубые ошибки вообще не «человечат» текст по мнению современных детекторов. Тот же Яндекс-нейродетектор обучен на реальных парах «человеческие/сгенерированные» тексты, где люди тоже пишут с опечатками и канцеляритом — имитировать «статистический портрет человека» наугад у обычного автора шансов мало. Это уже работа генеративной модели, а не правка.

Но главный вопрос — нужно ли вообще играть в эту игру?
Здесь стоит трезво посмотреть на цели.

Если текст оценивается детектором формально (вуз, редакция с регламентом «не более N%», конкурсы на АТ ) — тогда да, вы поставлены в ситуацию, где приходится учитывать инструмент. Это плохо устроенная проверка, и разумнее спорить о процессе (требовать экспертизы, показывать черновики), чем постоянно подстраиваться под алгоритм. Но игнорировать реальность тоже не выход.

Если текст читают люди — детектор вообще не входит в цепочку. Читателю всё равно, какая у вашего текста «пульсация». И тогда писать «для детектора» не нужно вовсе — нужно писать хорошо, а хорошие тексты в среднем и так статистически «живее».

Лучшая позиция для автора, по-моему, такая: не подстраивать текст под детектор, а писать так:  с фактами, личным опытом, конкретикой, мнением. Такие тексты одновременно труднее сгенерировать и труднее спутать с генерацией. А детекторы — это шум вокруг, к которому имеет смысл относиться как к барометру: показывает среднюю погоду текста и только.

Знакомая ловушка, и она заслуживает честного разбора: «свой стиль» и «статистически нетипичный текст».

Почему свой стиль может попасть под «флаг»?

Детектор не умеет измерять «принадлежность автору». Он не сравнивает ваш текст с вашей же перепиской или прошлыми статьями/текстами — он сравнивает его с обобщённым портретом «человеческих» и «сгенерированных» текстов из обучающей выборки. Принадлежность текста конкретному человеку в этой математике просто не присутствует. Так что «машинный» в вердикте значит только одно: «похож на машинный по статистике», но не «написан машиной».

«Свой стиль» часто оказывается «хорошо усвоенным чужим». Человек, который много читает, впитывает нормы литературного русского — стройный синтаксис, выверенные связки, логичные переходы. Но именно так выглядит и генерация, потому что модели обучены на той же литературной норме и стремятся к её «среднему». Чем дисциплинированнее и культурнее ваша речь, тем ближе она к этому среднему — парадокс, но вполне математический.

Отдельные сегменты ловятся из-за структуры, а не из-за содержания. Нейродетектор Яндекса режет текст на фрагменты и оценивает каждый отдельно. Фрагменты с параллельными конструкциями, перечислениями, плотной терминологией, «красивыми» симметричными фразами — типичные кандидаты на флаг, даже если каждая фраза написана вами и о вашем опыте. Суть в том, что «красиво и ровно» само по себе статистически совпадает с генерацией.

Жанр давит сильнее личности. Если вы пишете статьи, обзоры, деловые тексты — жанровые требования (нейтральность, структура, отсутствие резких скачков) выравнивают ритм в сторону машинного профиля.

Что с этим делать практически?

Разделите флаг и самооценку. Ложное срабатывание — свойство инструмента, а не дефект вашего письма. Стэнфордские исследователи это прямо называют ограничением технологии, а не проблемой авторов.

Смотрите, какие именно сегменты помечаются. Часто это 1–2 фрагмента, а не весь текст. Обычно видно, что именно сработало: перечисление, гладкие переходы, безличные обороты. Иногда там можно добавить конкретику, которую вы и так имели в виду, и это улучшает текст независимо от детектора.

Храните доказательства процесса. Черновики, версия с правками, история документа — при споре это весомее любого процента.

ЗЫ

Если вам выставили процент сгенерированности, не подгоняйте текст под детектор. Ломать стиль ради вероятностной метрики — проигрышная сделка: вы теряете главное (свой голос) ради «вердикта», который и так фальшивит.

ЗЗЫ
Разбираться с ЯДом помогала Алиса в режиме эксперта, со ссылками. (Думаю, она, в данном случае, знает, что говорит. Так что этот текст можно считать сгенерированным — я не пыталась «очеловечить»свою беседу с роботом Яндекса, цель была другая. )

ЗЗЗЫ

Я — математик и логик в анамнезе (диплом матмеха СПбГУ, матстатистику и прочие хрени сдавала, общий балл диплома — 4, 75). Примерно понимаю, по какому принципу работают все детекторы. Детектор (ЯД в том числе) — тот же робот, не надо его идеализировать. Все детекторы математически основаны на статистике, различаются настройками, думать они не умеют.  

Проводила эксперимент: сгенерировала тестовый текст в нейросети, скормила его ЯДу, он определили ИИшность, спросила Алису, как отредачить текест, чтобы ЯД сказал, что текст написал человек, выполнила все её указания. Результат: ЯД установил, что текст написан человеком.  

Это — типа «информационное письмо». Комментарии решила закрыть, ибо предсказуемы. Минусовать разрешаю.