Где у авторов кончаются руки и начинается нейросеть - 2

После объявления администрации Author.Today о маркировке текстов, созданных с помощью искусственного интеллекта, некоторые писатели начали ставить такую пометку в карточках своих произведений.

Пользователь Author.Today UnikeRoiOne опубликовал два проекта, позволяющих проверять тексты через публичный API Яндекс Нейродетектора:

• LeDXIII/author-today-neurodetector — отдельный инструмент для проверки;
• LeDXIII/author-today-neurodetector-extension — расширение для Chrome.

После появления доступных средств проверки закономерно возник следующий вопрос: можно ли изменить сгенерированный текст так, чтобы детектор перестал распознавать в нём ИИ? Для авторов, использующих нейросеть как литературного негра, это означает попытку «гуманизировать» результат — снизить оценку детектора, сохранив основу сгенерированного текста.

Мы — я и нейросети, решили проверить, что получается после такой обработки.

Что показал Яндекс Нейродетектор

Мы проверили 96 произведений 41 автора из верхней части «Абсолютного рейтинга» Author.Today. Для каждой книги анализировались 6–10 глав.

На текстах, где автор поставил пометку об использовании нейросети, Яндекс Нейродетектор часто показывает высокую долю ИИ. Например:

Таким образом, инструмент распознаёт по крайней мере часть текстов с открыто указанным использованием ИИ.

Но примерно две трети проверенных произведений получили оценку, близкую к нулю. Сам по себе такой результат не позволяет сделать вывод, что текст написал человек. Возможны как минимум два объяснения:

1. Текст действительно написан человеком.
2. Сгенерированный текст был отредактирован или обработан так, что детектор перестал выявлять прежние признаки.

Чтобы сравнить эти варианты, мы дополнительно исследовали стиль.

Что проверял второй метод

Мы собрали простой стилометрический анализатор. Он не пытается повторить Нейродетектор, а считает частоту нескольких групп оборотов, регулярно встречающихся в современной сгенерированной русскоязычной прозе:

• переводных конструкций и устойчивых калек;
• прямого называния ощущений: «почувствовал, как…», «ощутил, как…»;
• последовательностей телесных микродействий: «выдохнул», «сглотнул», «стиснул зубы»;
• шаблонных описаний тишины;
• конструкций вида «не просто X, а Y».

Ни один такой оборот сам по себе ничего не доказывает. Их используют и обычные авторы. Значение имеют частота и сочетание нескольких разных групп в одном тексте.

Поэтому мы оценивали не отдельные фразы, а ширину стилевого профиля: сколько групп маркеров одновременно встречается с высокой частотой.

Расхождение результатов

Показания двух методов разделили произведения на четыре группы:

Последняя группа представляет основной интерес. В этих 17 произведениях Яндекс почти не выявил признаки ИИ, но стилевой анализ показал сочетание нескольких характерных групп оборотов.

Средняя ширина стилевого профиля:

По стилевому профилю тексты с низкой оценкой Яндекса, но высоким вторым показателем оказались ближе к текстам с выраженными признаками ИИ, чем к группе с низкими показателями обоих методов.

Это согласуется с гипотезой о редактировании или «гуманизации»: статистические признаки, на которые реагирует один детектор, могли измениться, тогда как повторяющиеся стилистические конструкции сохранились. Однако такое расхождение не доказывает способ создания отдельной книги.

Квадрант «стиль × Яндекс». Каждая точка — книга: по горизонтали процент ИИ от Яндекса, по вертикали стилевой показатель. 17 книг с расхождением (янтарные, вверху слева) сидят высоко по стилю при чистом Яндексе — рядом с группой выраженного ИИ справа. Контрольный корпус живого до-ИИ ЛитРПГ (зелёные треугольники в отдельной полосе слева, Яндекс по ним не запускался) лежит низко — см. следующий раздел.

Проверка на человеческих текстах

Главное альтернативное объяснение состояло в том, что анализатор определяет не ИИ, а особенности ЛитРПГ и близких жанров.

Для проверки мы собрали контрольный корпус: 40 произведений 24 авторов ЛитРПГ, впервые опубликованных в 2017–2019 годах. Эти тексты появились до массового распространения современных генеративных моделей и были обработаны тем же способом.

Результаты:

Правило, выделившее 17 произведений с расхождением показателей, не сработало ни на одной из 40 контрольных книг.

Это снижает вероятность того, что результат объясняется только особенностями ЛитРПГ. При этом контроль не закрывает все вопросы: стиль жанра мог измениться со временем, а для более молодых направлений, включая бояръ-аниме, сопоставимый корпус текстов до эпохи генеративного ИИ собрать трудно.

Что из этого следует

Оценка «0% ИИ» означает только то, что конкретный инструмент не выявил известных ему признаков в проверенном фрагменте. Она не подтверждает человеческое авторство.

Более полезна совокупность независимых признаков:

• авторская маркировка;
• темп публикации новых текстов;
• результат Нейродетектора;
• повторяющиеся стилевые конструкции;
• ручная проверка текста.

В исследованной выборке обнаружились произведения, в которых низкая оценка Яндекса сочетается со стилевым профилем, близким к текстам с выраженными признаками ИИ. Это может быть результатом глубокой ручной редактуры, автоматической «гуманизации» или других особенностей работы автора.

По корпусу такое расхождение представляет заметный сигнал. Для обвинения конкретного писателя его недостаточно: оба метода вероятностные, а способ создания текста без исходников и истории редактирования установить нельзя.

Методика

Инструменты. Оценку Яндекс Нейродетектора даёт клиент на одном urllib, дергая API. Стилевой показатель считает отдельный скрипт без использования llm на регулярных выражениях — считает ширину профиля — сколько групп маркеров из пяти превышают медиану корпуса. Сводная таблица обоих детекторов выгружается в файл. Квадрант рисует отдельный скрипт, опять же без участия llm.

Корпус. 96 произведений 41 автора из верхней части «Абсолютного рейтинга», по 6–10 глав на работу; тексты получены через API Author.Today.

Контроль. 40 произведений 24 авторов ЛитРПГ, впервые опубликованных в 2017–2019 годах с авторской пометкой «без нейросети», прогнаны через тот же конвейер. Правило, выделившее группу с расхождением показателей, дало на них 0 из 40 ложных срабатываний.

Устойчивость. Скрипт falsify_humanization.py пытается опровергнуть методику целиком: перевзвешивает маркеры (в том числе случайным образом и на ±50%), перебирает пороги, поочерёдно исключает авторов, сверяется с контролем и проверяет, не держится ли вывод на нескольких плодовитых авторах. Все цифры устойчивости получены из этого скрипта.

Вывод

Сразу же после объявления войны нейрослопу, портал АТ войну выиграл и боевые действия прекратил. Но партизаны остались и применили необходимые методы для противодействия Яндекс Нейродетектору. Так как ЯН использует дешевые алгоритмы для массового применения, считать Яндекс Нейродетектор необходимым и достаточным для выявления нейрослопа на просторах портала author.today нельзя.

Всячески жму руку товарищу UnikeRoiOne - но ваш проект нуждается в апгрейде, ибо Яндекс не вывозит.

Над статьей работали: ваш tchr, Claude Opus, ChatGPT