Почему не все могут читать ИИ тексты

Статья изысканий причины взята с разрешения участника чата профсоюза.

Простыня будет дли-и-нная, предупреждаю.Предположение о коварности сгенерированного текста. Того, который более или менее, не «максимум всратости» с порога.

Личный опыт + отзывы других людей + делать нехуй и размышления.

Сначала общие впечатления и догадки, собранные в кучу:

Текст сгенерированный нейросетью на уровне предложения очень похож на человеческий. Иногда даже: "Ух, как здорово".

Но при прочтении позже, когда первоначальное впечатление утихнет, замечаешь, что:

это не совсем про то, что нужно;

общий смысл ускользает или неясный;

вообще по сути не про то;

"подождите, но это же бред" и т.п.

А при первом прочтении, всё было более, чем отлично.

Так бывает далеко не всегда, но достаточно часто, чтобы заметить такую особенность.

Предположим, что пары и тройки (может и больше) слов подобраны так, что слова в них очень часто попадаются рядом, и поэтому сочетания выглядят естественно. Такие блоки могут пересекаться и входить друг в друга.

•  Конечно нейросети не работают так. Там используются не n-граммы (последовательность слов), а attention-механизм (всё связано со всем с разной силой влияния). И не слова, а токены (части слов, пробелы, цифры, знаки препинания итд). Сути это не меняет — результат такой же: генерируются сочетания слов, которые часто встречаются в текстах, и мозг воспринимает их как привычные и правильные.

Читаешь, и всё выглядит естественно и хорошо, и читается легко. Если рассмотреть предложение целиком, то тоже вроде всё хорошо.

Но если отдохнуть, то при последующем прочтении ты как будто считываешь смысл глубже, а он там не ясен или другой, или его нет. Конечно, можно и сразу тщательно проанализировать, но будет весьма и весьма непросто отвлечься от "поверхности" и рассмотреть "глубину".

И речь тут не про когнитивную сложность слов, множество смыслов, подтекст и т.п. Нет, это можно сравнить с очень хорошей мимикрией, которую мозг всё же различает на бессознательном уровне.

Например, некоторые люди жалуются, что при чтении нейросгенерированных книг у них начинает болеть голова, появляется какая-то тупость и туман.

Похоже на то, что мозг (на бессознательном уровне) пытается считать этот "глубинный" смысл, но не находит его или не понимает, и ищет и анализирует постоянно, а от этого устаёт. Симптомы такие же, как у перегрузки рабочей памяти.

Возникает вопрос: «Эт чё за хуйня?». Как текст может быть лёгким и тяжёлым одновременно?

Я вышел в интернет с таким вопросом.

Выяснилось, что нейросетевая генерация эксплуатирует одну особенность работы мозга при чтении любого текста — то, как мозг воспринимает лёгкость чтения.

Есть понятие Processing fluency — обозначает субъективную лёгкость восприятия и обработки чего угодно, не только текста: лёгкость восприятия изображения, узнавание мелодии, понимание речи итд.

При чтении можно выделить два разных процесса: восторженные отзывы и угрюмая аналитика

1. Perceptual fluency — уровень лёгкости чтения, лёгкость восприятия формы текста — всё то, что мозг делает до поиска смысла. Он распознаёт слова, оценивает привычность их сочетаний, гладкость синтаксиса — в общем, «течёт» ли текст.

Штука эвристическая, быстрая и энергии почти не расходует.

Оценивает только «гладко ли идёт» и если гладко — выдаёт сигнал «всё в порядке». В построении смысловой модели не участвует.

Для упрощения буду называть лёгкостью чтения именно этот уровень — то, как воспринимается форма текста.

2. Conceptual fluency — лёгкость построения смысла, смысловой уровень. На нём мозг строит смысловую модель текста. Чем ниже Conceptual fluency, тем больше усилий нужно для построения смысловой модели.

Это уже нихуя не автоматическая эвристика, тут требуются ресурсы рабочей памяти. Объём усилий, который требуется для понимания текста, называется семантической нагрузкой.

Есть рабочая версия (не научный консенсус), что эти два процесса обрабатываются разными системами мозга, то есть работают параллельно и не компенсируют друг друга. Поэтому лёгкость чтения не снижает семантическую нагрузку.

Но хотя процессы независимы, они конкурируют за ресурс внимания, и эта конкуренция участвует в создании одного, не сразу заметного эффекта.

Лёгкость чтения создаёт эффект правдоподобности: гладкость подменяет достоверность — нихуёвый такой трюк, да?

Важно: «легко» не значит «плохо», в норме лёгкость коррелирует с качеством — это признак хорошо написанного текста.

Из-за сигнала «всё в порядке», текст, который легко читается, воспринимается как более достоверный и качественный — независимо от содержания.

Создаётся не только ощущение качества, но и иллюзия понятности смысла текста. Текст «зашёл» = «мне тут всё понятно». А нейросетевой текст так и читается — гладко и легко.

Мозг при этом может не понимать смысла (и искать его), но ощущение, что что-то не так не всплывает на поверхность, потому что «всё в порядке» же, «погнали дальше».

Сигнала «тут трудно» нет, поэтому мозг не переключается в другой режим — не мобилизуется или не отступает. И если модель смысла не складывается — молотит без перерыва и заёбывается. Постоянный «всё в порядке» не даёт ему хоть как-то выйти из режима поиска.

При этом семантическая нагрузка вообще не осознаётся, когда читаешь, и только через некоторое время проявляется как туман или усталость непонятно из-за чего, ведь всё шло так легко.

Правдоподобность особенно сильна во время первого прочтения: у мозга ещё нет модели смысла текста (он как раз её строит), и он доверяется сигналу «всё в порядке». Внимание сосредоточено на внешнем «пыщ-пыщ».

При повторном прочтении (лучше через некоторое время) эффект ослабевает, что позволяет сосредоточиться уже на смысле.

Короче, один раз — не пидарас первое чтение — проверка на правдоподобие, со второго появляется проверка на структуру / смысл.

Заметьте, сила эффекта зависит от знакомства читателя с темой. Если у тебя уже есть смысловые модели того, что описывается в тексте, то сигнал «всё в порядке» будет опровергнут быстрее.

По этой причине одни читатели сразу обнаруживают проблемы в ии-тексте, а другие только со второго раза или вовсе не замечают.

Для технических текстов «рентген эксперта» — это знание предмета, для художественных — знание формы (начитанность хорошей прозой).

Заметность ошибок при этом разная в техническом и художественном тексте.

В техническом тексте ошибка на уровне смысла заметнее — шаг влево, шаг вправо, и всё — хуяк, и видно. Такой текст легко проверяется реальностью.

В художественном читатель дольше терпит неопределённость, принимая её за «глубину», интригу или «стиль».

Ещё можно определять ии-текст не через знания, а по штампам — но это другой механизм. Тут тоже работает поверхностная эвристика, она не оценивает гладкость, а узнаёт образцы (pattern matching).

Каждое узнавание вызывает всё большую настороженность, вплоть до вывода «это ии написал». Вспомните что люди обычно говорят: «сразу видно, что ии». Именно «видно», а не «ну это хуйня какая-то бессмысленная». Ничего не анализируется, только узнаётся.

Возвращаясь к смыслу: смысл в ии-тексте есть, просто он ненадёжен — с непредсказуемыми дырами из-за того, как работает генерация.

Его хватает, чтобы читать не замечая проблем, но часто с ним не всё в порядке, и смысловая модель не складывается.

Так что опасность ИИ-текста не в явной корявости, а в скрытой проблеме — высокая гладкость формы маскирует нестабильное  качество, создавая иллюзию понимания и скрытую когнитивную перегрузку.

ИИ-текст кажется понятным, но не является понятным.

Отдельная история — редактирование таких текстов:

Глаз норовит проскользнуть мимо из-за гладкости текста — проблему трудно заметить, а когда заметил, то оказывается точечные исправления или плохо работают или никак. Часто исправление нужно «размазать» по тексту, проблема-то тоже «размазана».

А «размазана» потому, что у нейросетей есть системная слабость сразу на нескольких уровнях:

•  в локальной семантической точности — «подождите, но это же бред» — уровень отдельных утверждений

•  в референциальной точности — «это не совсем про то, что нужно» и «вообще по сути не про то» — уровень соответствия запросу или общей идее

•  в глобальной связности — «общий смысл ускользает или неясный» — уровень смысловой архитектуры текста

Все три уровня независимы. Отдельная проблема может сидеть в разных уровнях одновременно и в разных пропорциях. Исправление на одном не закрывает «дыры» на других.

Решаема ли проблема связности ии-текста?

Вероятно, да. А решена ли уже, я не знаю.

Технически понятно, что нужно: нейросеть должна строить текст не только локально гладким, но и точным везде — от отдельного утверждения до общей смысловой архитектуры.

Но это дороже, сложнее измерить, и большинству достаточно правдоподобности — массового запроса на действительно понятный текст нет.

В общем, пацаны, заметные штампы быстро попрячут, и кипятить нам голову будут «смыслом», а его не видно.

Хорошо, что есть детектор, да?

Лёгкость чтения на самом деле — Perceptual fluency + Conceptual fluency + индивидуальная подготовка читателя по теме, его состояние и интерес.