дИИявол кроется в деталях

По горячим следам голосования в текущем сезоне конкурса «Произведение по заявке», и именно по одной занимательной записи самого объективного участника захотелось сказать пару слов. Да так захотелось, что мыслей накапало на полноценную статью. Но, как может показаться некоторым, цель моей статьи — не побомбить из-за того, что кто-то посмел оценить мой текст на единицу. В этом плане я сохраняю абсолютный нейтралитет — каждый имеет право оценивать прочитанное по своему вкусу. Моя цель — исследование вопросов «Почему?» и «Каким образом?». А именно: почему человек решил, что его обман не заметят, и каким образом он провернул то, что провернул?

Человек под ником John Doe(Джон Доу — прим. автора: в англоязычной традиции таким именем называют человека, личность которого невозможно установить) изначально не был в моём поле зрения. Ни до конкурса, ни во время первых поползновений от другого участника с попытками исключить некоторые работы из голосования после прогонки через нейродетектор. О работе нейродетектора повторяться совсем не хочется, коротко скажу лишь — работает он паршиво, на его результат может повлиять даже удаление переноса строки и замена кавычек-ёлочек на кавычки-запятые. Более того, я лично оценила рассказ (фанфик) Джона Доу со всеми остальными на единых правах — прочитала, подумала, нравится мне его текст или нет, расписала оценки. И всё. Забыла. Даже забыла тот момент, что, впервые наткнувшись на его развёрнутую рецензию под одним из рассказов, а потом заметив похожие полотна в комментариях под другими, я мельком подумала: а не генерит ли уважаемый Джон Доу свои комментарии через нейросеть? Усмехнувшись про себя, я решила, что в целом мне всё равно, и больше его комментарии к работам конкурсантов не читала.

Но уважаемый Джон Доу удивил, выкатив обоснование оценок (ссылка была выше), где не постеснялся высказать своё мнение по поводу тех рассказов, прогонка через нейродетектор которых выдала высокий процент вероятности присутствия ИИ.

Если вы дочитали до этого момента, хочу, чтобы вы запомнили: нейродетектор выдаёт именно процент вероятности, а не процент соотношения человеко-текста к ИИ-тексту. Джон Доу преподносит свой вывод, опуская значение слова «вероятность», и манипулирует восприятием читателей, говоря о том, что текст «махинаторов» именно что лениво сгенерирован, то есть человек к буквам не прикасался, рассказы написаны за полминуты и являются великим обманом по отношению к читателю. В данном случае к нему самому. Ведь он (если ознакомиться с его обоснованием) не поленился и проверил текст одного из участников прошлого сезона конкурса. И по его же словам очень сожалеет о потраченном времени, потому что тогда он написал к тому рассказу подробный комментарий… И… в насмешку сгенерировал новый (по промту, который он знает, но об этом ниже)…

Так вот, я задумалась об этих его мини-рецензиях и о том, почему я усомнилась в природе их происхождения. Если бы Джон Доу не привлёк к себе внимание своей попыткой в войну против «мыслящих машин» (Джон, оценишь отсылку?), то и этой статьи бы не было. Но что сделано, то сделано.

На этом вступление всё.

А теперь следите за руками словами.

На первый взгляд рецензии Джона Доу (я буду называть их так, потому что это далеко не рядовые комментарии) уникальны в своём роде. Это те самые подробные и развёрнутые отзывы от читателя, на которые рассчитывает маленький автор сетературы вроде всех нас, собравшихся скромно поучаствовать в ППЗ. Рецензии кажутся конструктивными, глубокими, написанными понимающим и знающим человеком. Человек пишет их, внимательно прочитав рассказ, выписав в заметки цитаты из текста, очень ловко и остро прибегая к сравнениям из жизни и отсылкам к другим произведениям (известным либо в массовой культуре, либо в очень узких кругах). В этих рецензиях есть структура, ничего не упущено. Каждый автор получит кусочек от сладкого пирога под названием «внимание к моему произведению».

Но есть несколько «но» — тех самых косточек, которые встают поперёк горла, когда начинаешь смотреть чуть шире, чем написано.

Первая косточка, которая зародила сомнение: масштабность и потоковость.

О чём это я? В основе моих подозрений кроется обычная математика, если хотите — теория вероятностей.

Задумайтесь: с какой вероятностью среднестатистический человек примерно за чуть больше, чем за месяц, напишет 20–25 обширных рецензий с глубочайшим анализом текста, цитированием, сравнениями с другими источниками? Учитывая, что эти произведения надо для начала прочитать (а ещё и дождаться, когда некоторые дотянут до дедлайна). А судя по душе, вложенной в каждую рецензию, автор прямо-таки вчитывается в каждый рассказ (а они там все разного объёма и качества, у каждого свой стиль и по-своему интересны).

Возможно, кто-то скажет: «Да ты параноик».

Отвечу сразу: «Паранойя — это когда видишь то, чего нет. А я смотрю на то, что есть. На напечатанные слова».

Достаточно лишь прикинуть, сколько надо на чтение (30 минут, а где и час), сколько надо времени, чтобы выписать цитаты, скомпоновать всё, написать и отредактировать рецензию. А потом ещё представить, что человек не только обитает на АТ, но ещё и живёт реальную жизнь… Я не говорю, что это невозможно, я говорю о том, что это великий объём работы (к которому ещё хочется подойти с вопросом: «А зачем это вообще делать в таком виде?», но тут хозяин — барин). Поэтому либо Джон Доу — профессиональный критик на полной ставке на АТ, либо… у него есть маленький секрет, который он тщательно маскирует.

Вторая косточка — идеальная повторяемость структуры.

Откройте любую его рецензию. Обязательные пункты, которые мы видим:

— «Заметки по ходу чтения»

— цитаты с комментариями

— подзаголовки: «Сюжет», «Персонажи», «Соответствие заявке», «Общее впечатление», удобно взятые из предложенной структуры оценки в самом конкурсе.

И ни разу (по крайней мере, из того, что я рандомно прочитала) Джон Доу не отошёл от этой схемы. Ни одной рецензии, которая начиналась бы с «А вот это мне не понравилось» или «Давайте сразу к делу», или вообще с какой-то отвлечённой темы. Я как живой человек устаю от шаблонов — их хватает в официальщине, на работе и пр. Я читала чужие «обоснуи» — в них видно, где человек писал на бодряке (выдал поток мыслей — положительных или не очень, не важно), где чуть подустал и отделался парой фраз. А у Джона чёткость, как у солдата на плацу. Почему? Потому что так удобнее промпту. И автору не нужно каждый раз придумывать структуру заново.

Косточка третья иронично перекликается с доводом самого же Джона Доу — грамматическая стерильность.

Я специально прогнала несколько его рецензий через глаза и через несколько текстовых редакторов. Там нет ни одной грамматической ошибки. Ни одного пропущенного пробела, ни одной лишней запятой. При этом стиль нарочито небрежный: «гы», «кхе-кхе», «жизненно, жизненно», короткие рубленые фразы (да те самые, за которые «махинаторов» ругает сам Доу).

Всё это неестественно, особенно в рамках комментария (полировать художественный текст — это как минимум проявление уважения к читателю, но рецензия — не рассказ, можно и расслабиться). Живой человек, который пишет много и быстро, обязательно где-то споткнётся. Пропустит букву. Повторит слово через два предложения. А здесь — ни-че-го.

Почему? Потому что нейросеть даёт идеальный черновик по грамматике. А автор потом вручную добавляет «живых» паразитов. Но база всегда остаётся безупречной.

Четвёртая косточка: имитация включённости в социум.

В одной из рецензий есть это: «Соглашусь с некоторыми другими людьми, которые оставили здесь комменты». Подобный оборот не раз повторяется как в рецензиях, так и в итоговом посте с обоснованиями. Т.е. Джон Доу ОЧЕНЬ ВНИМАТЕЛЬНО читает наши комментарии под чужими работами, чтобы… Зачем? Да и зачем об этом упоминать в своей рецензии, в своих оценках? Спросите себя: вы будете так делать? А зачем это делает Доу? Он доказывает, что читал чужие отзывы? (Получается, он и на это время тратил — чудесный человек с кучей свободного времени!)

Но нашем случае он просто имитирует социальное чтение. Это такая уловка: показать, что я не в вакууме, я часть сообщества, я вижу других. Для нейросети, которая не умеет по-настоящему читать чужие комментарии, это идеальная маскировка. А для человека — лишние слова. Если я реально согласна с кем-то, я просто напишу «да, и ещё добавлю...». Или вообще не буду ссылаться, потому что автор рассказа ждёт МОЮ оценку, а не подтверждение чужих. Итог: если такая фраза всплывает в нескольких рецензиях из всех — это уже не случайность. Это элемент системы.

Пятая косточка: фактчекинг, или по-народному «гуглёж».

Смотрите. Почти в каждой рецензии Джона есть проверка чего-либо: географии, исторического факта, определение термина и т.п. По отдельности это мило. Живой человек иногда гуглит, что уж тут такого?! Но когда это повторяется из рецензии в рецензию — это уже ритуал, зашитый в промпт: «обязательно добавь что-то, что покажет: я проверял факты».

Проблема в том, что настоящий читатель проверяет только то, что его зацепило или показалось сомнительным. А не всё подряд, как Джон. Он делает это для галочки.

Шестая (при первом взгляде незаметная) косточка: глубина анализа.

Рецензии Джона Доу выглядят глубокими. Но приглядитесь. Он замечает, что сцена ссоры описана в два жирных абзаца, а примирение — в четыре раза короче. И на этом всё. Он не спрашивает, как сделал бы настоящий критик (или хотя бы заинтересованный читатель): «Почему автор так сделал?». Не предлагает интерпретацию. Просто констатирует дисбаланс. Это уровень нейросети — описать фактуру. Глубина рецензий Джона ограничивается вопросом «что?» и никогда не заходит на территорию «почему?».

Ну и самая главная здоровенная кость: гипокризия. Джон, гугли!

В своём обосновании Доу объясняет, почему он так оценивал, и как он проверял рассказы на ИИ. Вопрос: «Зачем?» Если ты просто читатель, который оставляет комментарии, — зачем тебе публично отчитываться столь развёрнуто и подробно? Тем более ты уже написал достаточно развернутые обоснования под каждый текстом?

Ответ: пускание еще одной порции пыли в глаза читателя из-за страха, что уличат в лицемерии, чтобы создать образ «честного эксперта». Чтобы любые подозрения в его сторону разбивались об этот пост. Ирония в том, что именно в этом посте он обвиняет других в использовании ИИ. Он буквально говорит: «этот текст сгенерирован, автор обманывает». А сам пишет рецензии с помощью нейросети (пусть и с ручной правкой). Это как охотник на ведьм, который сам колдует по ночам.

Мне не жалко, что он использует ИИ. Жалко, что он врёт об этом. И требует честности от других, когда сам нечестен.

Джон Доу не дурак. Он умный, начитанный, у него живая ирония. Он делает ручные правки, добавляет уникальные факты, едкие сравнения, политические шпильки. Поэтому его рецензии и кажутся живыми. Но без нейросети базово они были бы другими. Почему я так думаю? Всё просто — пусть Джон Доу любезно закрыл доступ к ленте его комментариев, я всё же нашла его прошлогоднюю рецензию из предыдущего сезона ППЗ, ту самую, на которую он теперь жалеет потраченного времени. Рассказ был другой, но почерк рецензента всё же узнаваем. Однако есть важные отличия. Нет жёсткой структуры, текст течёт свободно, как живая речь. Нет цитат из рассказа, он пересказывает и комментирует общими фразами. Есть личные, почти интимные наблюдения. Есть самоирония. Есть обращение к сообществу. Итог короткий, почти дружеский. Получается, что год назад Джон Доу был живым человеком. Он писал рецензии от души, без ИИ, и они выглядели как разговоры у костра. А теперь он научился промптам, нашёл идеальный шаблон и схему «обхода» нейродетектора и просто наштамповал рецензий.

Что изменилось? По сути, ничего. Я не могу сказать, что голос живого человека был продан машине. Изменился подход Джона. Он решил, что пачка развёрнутых рецензий за месяц, да ещё и попытка уличить кого-то в использовании ИИ, пока на него самого никто не подумал, — это гениально. И пошёл на сделку с дИИяволом.

Он использует ИИ и скрывает это. А когда другие делают то же самое (возможно, даже честнее, потому что не прячутся), он их клеймит.

Вот за это его и ловлю.

Паранойя? Нет. Просто внимательность.

Попросила нейросеть состряпать промт, на основе нескольких рецензий Джона, который поможет сымитировать его заметки. Любезно оставлю промт здесь для желающих поиграться. Если соберетесь публиковать результаты, предлагаю хэштег #рецензияДжонаДоу:

P.S. Для Джона, видимо, знающего лор «Дюны»:

Тот, кто борется с мыслящими машинами, должен следить, чтобы самому не стать машиной. Джон, ты хотел начать джихад против нейросетей, но сам скрываешь, что слился с нейросетью. «Дюна» учит: абсолютная власть развращает. Даже если эта власть — всего лишь умение писать.