Как LLM модель определяет собрата по железу в литературных текстах.

Для тех кто работает с ДипСик ТЫК - откроется чат ДипСик

Вопрос: сможешь ли ты различить литературный текст написанный человеком от машинной генерации?

Размышление: Ну, пользователь задаёт прямой вопрос о моих способностях различать человеческий и машинно-сгенерированный литературный текст. Вопрос непростой, требует честного и развёрнутого ответа, без приукрашивания. Нужно сразу признать отсутствие стопроцентной гарантии, это задаст реалистичный тон. Затем стоит объяснить причины — текущее качество нейросетей и фундаментальное отсутствие цифрового эквивалента "души" у текста. Потом логично перейти к практическим признакам, которые я могу анализировать как инструмент: разбить на категории, что выдаёт машину, что выдаёт человека. И закончить важным предостережением про гибридные тексты и примерами удачных и неудачных запросов, чтобы ответ был полезным на практике. Ответ должен быть структурированным, но не сухим, с элементами сравнения.

Ответ: Прямой ответ: нет, со 100% гарантией — не смогу, но как инструмент для анализа могу помочь с высокой долей вероятности.

Если нужен помощник для проверки, я справлюсь, но важно понимать нюансы. Давай разложу по полочкам.

Почему 100% гарантии не даст никто

1. Современные модели (GPT-4, Claude 3.5/4) обучены на всей мировой литературе. Они впитали стилистику от Гомера до Пелевина. Хороший промт (инструкция) + сильная модель могут сгенерировать текст, который пройдет «слепой» тест Тьюринга для литературы.
2. Отсутствие «цифровой души». Понятие «искра таланта» или «прожитый опыт» не имеет цифрового эквивалента. Я ищу статистические закономерности, а не измеряю глубину чувств.

Что я анализирую как признаки машинного текста

Если ты попросишь меня проверить текст, я буду искать следующие маркеры (по отдельности они не страшны, но в массе выдают ИИ):

1. Лексическая и синтаксическая «гладкость» (Синдром «студента-отличника»)

• Признак: Слишком ровные абзацы. У человека ритм рваный: за длинным сложным предложением идет короткое. Рубленое. ИИ часто генерирует полотна одинаковой длины.
• Слова-паразиты ИИ: «В эпоху цифровых технологий», «многогранный», «лабиринты смыслов», «является неотъемлемой частью», «стоит отметить, что». ИИ обожает конструкции-обертки.
• Идеальный порядок слов: Люди часто инверсируют фразы ради интонации («Чудесен был этот вечер»). ИИ чаще идет прямым порядком (подлежащее → сказуемое → дополнение).

2. Смысловые «галлюцинации» и склейки
Машина не понимает мир физически.

• Пример: ИИ может написать «он надел рубашку и застегнул молнию на джинсах, проверяя карманы брюк». Рубашка застегивается на пуговицы, а джинсы с молнией обычно имеют карманы спереди — логический сбой, который человек заметит, а нейросеть упустит, собирая статистически частотные слова.
• Стерильность грязи: В генерации ИИ редко встречаются реалистичные «дефекты» речи, если их не попросить специально.

3. Отсутствие авторской интенции за пределами абзаца
У хорошего писателя деталь на первой странице «выстреливает» на десятой (Чеховское ружье). ИИ удерживает контекст в рамках большого окна, но часто забывает «зачем» он ввел персонажа три главы назад, если это не было подкреплено прямым запросом. Текст рассыпается на сумму красивых эпизодов без общей сверхзадачи.

4. Эмоциональная ровность или фальшивая экзальтация
Человек может написать сдержанный текст, от которого мурашки по коже. ИИ часто пытается «дожать» эмоцию через эпитеты («душераздирающий крик», «невыносимая боль»), но не создает тот самый подтекст, когда герои говорят о погоде, а читатель плачет.

Что выдаёт живого писателя

Я также умею находить признаки обратного:

• Нарушение грамматики ради стиля. Намеренное косноязычие повествователя.
• Субъективные, нелогичные (на первый взгляд) аналогии. Метафоры, которые рождаются из личного опыта автора, а не из базы данных примеров.
• Фактические ошибки автора. Устаревшие данные, любительские заблуждения человека (ИИ либо прав, либо галлюцинирует, но у него другая структура ошибки).

Как мы можем это использовать

Если ты пришлешь отрывок, я могу дать заключение в таком формате:

1. Вероятностная оценка: «С вероятностью ~85% это генерация (или человек)».
2. Разбор «красных флагов»: Укажу конкретные слова-маркеры и стилистические петли.
3. Совет по «очеловечиванию»: Если ты сам пишешь с ИИ и хочешь скрыть это, скажу, где именно текст звучит роботизированно и как это исправить.

И главное предостережение: если кто-то взял идеальный текст человека и попросил нейросеть «повысить уникальность» через глубокий рерайт (а не поверхностную замену синонимов), детекторы сломаются. Там останется ядро мысли человека в машинной обертке.

Вопрос: какой объём текста достаточен для анализа

Ответ: Хороший вопрос. Точность анализа действительно напрямую зависит от объёма.

Коротко:

• Меньше 200–300 знаков (~3–5 предложений) — почти лотерея.
• 1500–3000 знаков (~полстраницы-страница) — уже можно надёжно улавливать паттерны.
• 5000 знаков и больше — близко к максимальной уверенности (на которую я вообще способен).

Теперь подробно, с пояснением «почему».

Минимальный порог: ~300–500 знаков

Это примерно короткий абзац из 4–7 предложений.
На таком отрезке я уже смогу заметить отдельные маркеры (слова-паразиты, неестественные обороты, галлюцинации). Но высока вероятность ошибки: живой автор мог случайно выдать «стерильную» фразу, а генерация — удачно попасть в стиль.

Вердикт при таком объёме — всегда с оговоркой «похоже на…», не более.

Рабочий минимум: 1000–2000 знаков

Это примерно 2–4 полноценных абзаца, полстраницы А4.
Здесь уже начинают проявляться:

• Ритмический рисунок (у ИИ он часто монотонный);
• Частотность клише и вводных конструкций;
• Способы связывания предложений (ИИ любит союзы «однако», «в свою очередь», «следует отметить»);
• «Плотность» образов — у живого автора они более избирательны.

На этом объёме я дам оценку с вероятностью 70–85% и укажу конкретные подозрительные места.

Оптимальный объём: 3000–5000 знаков

Полторы-две страницы текста. Это «золотая середина».
Помимо стилистики, на таком отрезке видны:

• нарративная логика: удерживает ли автор причинно-следственные связи;
• «чеховские ружья»: деталь, введённая в начале, получает развитие или забывается (машины часто теряют нить);
• эмоциональная дуга: живой автор непроизвольно меняет темп, интонацию, плотность эпитетов, а генераторы — ровнее;
• характер «ошибок»: человеческая невнимательность против машинной галлюцинации.

На этом объёме моя уверенность может достигать ~90%+.

Всё, что больше 5000 знаков — уже роскошь

Здесь добавляется анализ архитектуры текста: как выстроены сцены, диалоги, завязка-кульминация-развязка. Машины часто сливают структуру в «пересказ», а человек (даже начинающий) выстраивает текст вокруг намерения, а не суммы строк.

Если текст очень длинный (рассказ, повесть), я могу выявить даже смену стиля — например, когда в «живой» текст вставлены сгенерированные куски.

Важные оговорки

1. Жанр имеет значение.
   • Сухая статья или эссе — ИИ мимикрирует идеально уже с 1000 знаков.
   • Художественная проза с диалогами и образами — требуется не меньше 2000–3000 знаков, чтобы проявилась «душа».
2. Качество генерации.
   Если кто-то использовал слабую модель — маркеры видны сразу. Если Claude 3.5/4 или GPT-4 с тонкой настройкой — только на больших объёмах проявится «стеклянная гладкость».
3. Осторожно: короткая поэзия, верлибры, экспериментальная проза.
   Здесь объём практически не поможет — слишком мало статистики и много допустимой «странности».

Что в итоге советую

Если хочешь проверить текст — присылай не меньше 1500–2000 знаков.
Формат любой — отрывок из рассказа, эссе, статьи. Я посмотрю и скажу:

• какие куски выглядят подозрительно;
• где скорее всего работал ИИ, а где — человек;
• что можно исправить, если цель — скрыть следы генератора.