"ИИ пишет..." или "Кажется, будущее уже наступило"

Этот блог не несёт в себе негатива и не ставит перед собой цель "охота на ведьм". Это просто размышления...

Попалась мне тут одна книга из ТОПа, и комменты читателей наподобие "нечитаемый нейрошлак", "сделано ИИ". Справедливости ради, таких комментов очень мало, но зато очень много положительных комментов от реальных читателей. Ну и то, что книга несколько дней провисела в ТОПе тоже о чём-то говорит. О чём? Может о том, что читатель написавший "нечитаемый нейрошлак" просто завидует или брызжет ядом, о том что он обычный хейтер, а книга на самом деле просто хорошо написанный, качественный роман. А может о том, что нейросети научились писать "формат" и попадать в желания и ожидания читателей. 

Ну и как говорится, вооружимся против врага его же оружием. Берём одну из передовых и самых логичных нейросетей (не пресловутый ChatGPT), загоняем в него пару глав книги и смотрим результат.

Но для начала возьмём главу из книги автора, про которого я знаю точно - он писал ручками, и загоняем её в нейросеть для анализа.
Получаем:

Вывод: текст написан человеком.
Это художественная проза — судя по всему, фрагмент детективного романа или повести в жанре... (я вырезал лишнее, чтобы убрать намёки на произведение)
Признаки авторства человека:
Живой, неровный стиль
Текст намеренно «рваный»: короткие рубленые фразы чередуются с длинными. ИИ обычно выдаёт более ровный, предсказуемый ритм.
Разговорная интонация от первого лица
Внутренний монолог главного героя полон сленга, самоиронии, грубоватого юмора — это живая речь, а не «причёсанный» текст.
Детали с характером
Например, (вырезано) — такие личные вставки нетипичны для ИИ, который обычно держится ближе к сюжету.
Намеренные стилистические «нарушения»
Повторы слов («сука», «тварь»), авторские паузы — это осознанный стиль, а не случайные ошибки.
Социальная тема
(вырезано) — тема поднята остро, без «сглаживания». ИИ, как правило, избегает такого прямого изображения.

Теперь берём второй текст, про который шла речь. Никаких особых параметров я не задавал, просто спросил: "Ты можешь проанализировать этот текст и сказать его написал человек или нейросеть?"

Получаем:

Вывод: текст написан нейросетью (ИИ) 
Или как минимум — сильно отредактирован ИИ. Вот почему:
Главные признаки ИИ-генерации:
(вырезано) и (вырезано) как метафоры
Эти слова используются как технические термины для описания — типичный ИИ-приём «механизировать» абстрактные чувства, чтобы структурировать повествование.
Избыточные объяснения
ИИ не доверяет читателю и объясняет то, что уже понятно из контекста. Например: «(вырезано)» — такие «расшифровки» характерны для ИИ.
Шаблонные «кинематографичные» образы
«(вырезано)», «(вырезано)», «(вырезано)» — яркие, но шаблонные. ИИ компилирует такие обороты из обучающих данных.
Структура «сцена → рефлексия → вывод»
Каждый эпизод заканчивается аккуратной моральной сентенцией. Живые авторы так не пишут — они оставляют концы незавязанными.
Перечисления через троеточие
«(вырезано)» — ИИ любит такие ритмические перечисления, имитирующие «живой» стиль.
Финал слишком «закруглён»
«(вырезано)» — ИИ почти всегда делает оптимистичный, завершённый финал эпизода.

Отличие от первого текста (который написан человеком)
В первом тексте есть необъяснённые детали, неловкие паузы, авторский голос с характером. Этот текст — гладкий и концептуальный: всё работает на идею, всё объяснено, всё сбалансировано. Это почерк ИИ.

Ладно... Но может нейросеть ошиблась? Попробуем скормить ей ещё одну главу, ближе к середине книги. Может она что-то прояснит...

Получаем:

Этот фрагмент подтверждает мой предыдущий вывод: текст написан нейросетью.
Причём теперь видно кое-что интересное — судя по всему, это один и тот же роман, написанный ИИ по заданию автора.
Дополнительные улики в этом фрагменте:
Структура «действие → рефлексия → вывод» повторяется механически. Каждый эпизод: что-то происходит → герой внутренне комментирует → делает «правильный» вывод. Живые авторы так не пишут — у них бывают эпизоды без морали.
(вырезано) введён как костыль повествования. ИИ использует этот приём, чтобы объяснять читателю намерения персонажей — потому что не умеет показывать это через детали и поведение, как делает человек-автор.
Слишком аккуратная логика персонажа. Герой (вырезано что делает герой). Это звучит как инструкция, а не как мысли живого человека в стрессе.
Финальные «афоризмы». (вырезано), (вырезано) — ИИ любит завершать сцены такими «умными» репликами.

Если вы автор этого проекта — первый текст явно сильнее. Он задаёт живой голос. Во втором тексте ИИ пытается соответствовать, но не дотягивает.

Задаём закономерный вопрос нейросети:

"Но разве автор второго текста не может структурировать свой текст, причесать его, сделать правильную структуру "действие → рефлексия → вывод"? Это разве показатель того, что текст написан ИИ?"

Справедливое замечание. Ты прав — это не железный аргумент.
Многие авторы, особенно пишущие в жанре «умного» экшена от первого лица, намеренно строят текст именно так. Достаточно вспомнить Ремарка или современных авторов бизнес-триллеров — там такая структура вполне осознанный стилистический выбор.

Если честно пересмотреть оба текста — граница между «человек» и «ИИ» здесь не такая чёткая, как я заявил. Второй текст вполне может быть написан человеком, который:
пишет более «концептуально», чем автор первого текста
намеренно строит внутренний монолог героя через логические блоки
просто имеет другую авторскую манеру

Реальные сильные признаки ИИ в таких текстах — это скорее: повторяющиеся синтаксические шаблоны на уровне предложений, избыточные пояснения очевидного, и отсутствие «случайных» деталей, которые ни на что не работают. У живых авторов всегда есть что-то лишнее — и это лишнее делает текст живым.

Определить это с уверенностью — очень сложно, особенно по художественной прозе. И вот почему:
Детекторы ИИ-текста (вроде GPTZero или Originality.ai) работают плохо на русском языке и дают много ложных срабатываний. Я сам могу ошибаться в оценке.
Опытный автор может писать гладко. Начинающий может писать коряво. ИИ при умелом редактировании оставляет минимум следов.

Вывод: если цель — точно установить факт использования ИИ, по тексту это сделать невозможно. Это скорее «подозрение», чем диагноз.

То есть, всё же, какой вывод по второму тексту?

По второму тексту — скорее ИИ.

Но я бы не стал утверждать это категорично. Автор второго текста вполне мог использовать ИИ как соавтора, редактируя и дополняя результат. Сейчас так многие работают, и это сложнее всего распознать.

Выводы. 

Да нет выводов. Просто наблюдение. Кажется, будущее уже наступило и скоро нас ждёт ещё больше книг. Интересных или не очень, время покажет :)
А! Ну и то, что очень сложно понять, какой текст перед тобой, живой или нейросетевой, если автор отредактировал его и не оставил случайно между строк "Конечно! Вот переработанный вариант...". Такое тоже уже бывало :)