98% ИИ → 4% ИИ. Один и тот же текст: Детектор нейросетей от Яндекс против рыжего кота (эксперимент)

Убрала из текста несколько местоимений — и внезапно снова стала «человеком». Это спойлер, а дальше - длиннопост.

И снова здрасьте! Заметила, что в блогах топовых авторов большое внимание уделяют вопросу использования нейросетей.

Я не писатель и таковым себя не позиционирую. Автор — это точнее.

Писатель — это призвание и ремесло всей жизни. Автором же можно стать случайно и ненадолго. Это как раз моя ситуация.

Под впечатлением от постов на эту тему я прогнала несколько своих глав через Яндекс-детектор, который здесь уважают. Результат — от 70% до 100% ИИ.

Дорогой дневник, мне не передать всю боль и унижение…

У меня нет намерений монетизировать свою историю, но мысль о том, чтобы поставить плашку «Сгенерировано нейросетью», задела меня за живое. Потому что звучит это так, будто история и вовсе не моя.

Я не скрываю, что люблю юзать ИИ: слушать интересные рассказы, узнавать новое, особенно об эпохе, в которой никогда не жила. И да, я пользуюсь им для финальной редактуры. Повторюсь: я не профессиональный писатель и не всегда могу обличить сцену, пришедшую в голову, в красивые слова. А рассказать всё равно хочется.

По профессии я бухгалтер, люблю работать с цифрами. Люблю, когда всё чётко. Именно поэтому пришла идея провести эксперимент — на собственном тексте. Результаты уже были в первом абзаце, а ниже — вся кухня.

Итак, мой отрывок. Героиня собирается в долгий и опасный путь — в одиночное путешествие по тайге, чтобы проверить одну странную теорию. И тут к ней заходит соседский кот — попрощаться.

Вот мой самый стартовый черновик, чисто надиктовка в заметки:

- Так ты, быть может, хочешь со мной? -я протянула руку, чтоб погладить пушистое рыжее пузо, но кот ловко увернулся. 

«Вот ещё! Делать мне больше нечего. Сама ввязалась – сама и разгребай – Барсик снова зевнул, и принялся лениво наводить марафет, давая понять, что разговор окончен.

Заключительный отрывок: она допила кофе и пошла собираться на выход - поезд уже через пару часов. она уже одета и с огромным рюкзаком, Барсик лениво её провожает до двери. Смотрит (и тут надо что-то полумистическое прописать его эмоциям и взгляду, типа он прощается (она не вернется из этой поездки) и типа кот неожиданно проявил ласку. 

Она: "Пока, бандит! Если ичто - не поминай лихом" Кивнула на открытое балконное окно: "Выход сам найдёшь"

Она уже потянулась к ручке, как вдруг почувствовала (что-то мягкое? что чувствует люди, когда котик трётся. Она присела и погладила его.

Он не ушел, а сидел и смотрел, пока не закрылась дверь.

Даже тут уже вылазит:

Ну да ладно. 

1. Это итоговый отрывок после приведения черновика в порядок и редактуры - то, что вошло в чистовик. С пропусками между абзацами – адаптировано для известной фанфик-платформы. Жирным выделю те фразы, которые мне подкинул ИИ-редактор, и решила их оставить. Остальные - мои.

Я протянула руку, чтоб погладить пушистое рыжее пузо, хотя и так знала, что номер не удастся. Кот ловко увернулся, изогнувшись в немыслимый крендель. Он не любил ласку – как и я. И в этом был наш странный симбиоз.

 

— Так ты, может, со мной хочешь? – предложила я скорее из вежливости.

 

«Вот ещё. Делать мне больше нечего».

 

Он снова зевнул, давая понять, что разговор окончен. Лениво отвернулся и принялся неспешно вылизываться.

 

Спустя 20 минут я уже стояла в прихожей — в тяжёлых ботинках, походной куртке и с огромным рюкзаком за спиной, который тянул вниз, как совесть. До поезда оставалась пара часов.

 

Барсик появился бесшумно, как всегда. Сел у порога и поднял на меня жёлтые глаза. Очень странно - сейчас в них не было обычной наглости. Только что-то глубокое и внимательное, совсем новое.

 

— Пока, бандит! Если что — не поминай лихом. 

Кивнула на распахнутое балконное окно: 

— Выход сам найдёшь.

 

Он подошёл ближе. Я присела, без особой надежды протянула руку.

— Эй, может, поделишься парой жизней? Дорога-то непростая предстоит.

Кот секунду подумал, потом сделал пару шагов и уткнулся головой в мою ладонь.  И сразу отступил, как будто сам от себя не ожидал.

 

— Ого, вот это поворот.

 

Он ничего не ответил, и не ушёл. Сидел посреди коридора и смотрел, пока за мной не закрылась дверь.

Отправляю его в детектор и ожидаемо получаю: 98,89%

Кстати, после этого анализа я вижу, что добавления ИИ - всратые, и наверно я их уберу  

2. Меняю вручную длинные тире на короткие, убираю пустую строку между абзацами.

Я протянула руку, чтоб погладить пушистое рыжее пузо, хотя и так знала, что номер не удастся. Кот ловко увернулся, изогнувшись в немыслимый крендель. Он не любил ласку, как и я, и в этом был наш странный симбиоз.

 - Так ты, может быть, со мной хочешь? - предложила я скорее из вежливости.

«Вот ещё. Делать мне больше нечего».

Он снова зевнул, давая понять, что разговор окончен, лениво отвернулся и принялся неспешно вылизываться.

Через 20 минут я уже стояла в прихожей, в тяжёлых ботинках, походной куртке и с огромным рюкзаком за спиной, который тянул вниз, как совесть. До поезда оставалась всего лишь пара часов.

Внезапно появился Барсик, поднял на меня жёлтые глаза. Очень странно - сейчас в них не было обычной наглости.

- Пока, бандит! Если что - не поминай лихом. 

Кивнула на распахнутое балконное окно: 

- Выход сам найдёшь.

Кот подошёл ближе. Я присела, без особой надежды протянула руку.

- Эй, может, поделишься парой жизней? Дорога-то непростая предстоит.

Кот секунду подумал, потом сделал пару шагов, уткнулся пушистой головой в мою ладонь, и сразу отступил.

- Ого! Вот это поворот!

Он не ушёл - так и остался сидеть посреди коридора и смотреть, пока за мной не закрылась дверь.

Получаю: 93,61 %. Мелочь, пока всё выглядит вполне правдоподобно. Может, я и правда ИИ?

98% => 93 % (заменила длинные тире на короткие, убрала пустую строку между абзацами)

3. Убираю местоимения. Смысл остаётся понятен – здесь только героиня и кот, но текст становится чуть более топорным.

Так же убираю кавычки, объединяю короткие предложения в длинные, кое-где заменяю тире на запятую. Убрала пару рандомных конструкций, написанных для эмоциональной окраски.

Протянула руку погладить пушистое рыжее пузо, хотя и так знала, что номер не удастся. Кот ловко увернулся, изогнувшись в немыслимый крендель. Он не любил ласку, как и я, и в этом был наш странный симбиоз.

 - Так ты, может быть, со мной хочешь?

Вот ещё. Делать мне больше нечего.

 зевнул, давая понять, что разговор окончен, отвернулся и принялся вылизываться.

Через 20 минут я уже стояла в прихожей, в тяжёлых ботинках, куртке и с огромным рюкзаком за спиной, который тянул вниз. До поезда оставалась всего лишь пара часов.

Барсик появился внезапно, поднял на меня жёлтые глаза. Очень странно - сейчас в них не было привычной наглости и снобизма.

- Пока, бандит! Если что - не поминай лихом. - кивнула на открытую балконную дверь   - Выход сам найдёшь.

Кот подошёл ближе. Без особой надежды я присела ему навстречу и протянула руку.

- Эй, может, поделишься парой жизней? Дорога-то непростая предстоит.

Кот сделал пару шагов, уткнулся пушистой головой в мою ладонь, и сразу отступил.

- Ого! Вот это поворот!

Он не ушёл - так и остался сидеть посреди коридора и смотреть, пока за мной не закрылась дверь.

Иииии...

93% => 28,30 % (убрала местоимения, несколько слов)

Уже почти человек!

Этот же текст скопировала и вставила снова в другую вкладку браузера – получила 4,35 %.

Повторить данный трюк мне не удалось – возможно, это был приятный глюк. И последний шаг:

4. В таком сыром виде не хочу отправлять текст в чистовик – нужно вернуть котику местоимения. Заодно добавляю кое-где несколько слов под настроение – вместо тех, что мы убрали вначале. Добавленное выделю жирным:

Я протянула руку погладить пушистое рыжее пузо, хотя и так знала, что номер не удастся - кот ловко увернулся, изогнувшись в немыслимый крендель. Он не любил ласку, как и я, и в этом был наш странный симбиоз.

- Так ты, может быть, со мной хочешь?

"Вот ещё. Делать мне больше нечего" - он зевнул, давая понять, что разговор окончен, отвернулся и принялся вылизываться.

Через 20 минут я уже стояла в прихожей, в тяжёлых ботинках, куртке и с огромным рюкзаком за спиной, который тянул вниз, как совесть. До поезда оставалась всего лишь пара часов.

Барсик появился так же внезапно, как и всегда, поднял на меня жёлтые глаза. Очень странно - сейчас в них не было привычной наглости и вечного кошачьего снобизма.

- Пока, бандит! Если что - не поминай лихом. - кивнула на открытую балконную дверь

 - Выход сам найдёшь.

Кот подошёл ближе. Без особой надежды я присела ему навстречу и протянула руку.

- Эй, может, поделишься парой жизней? Дорога-то непростая предстоит.

Кот сделал пару шагов, уткнулся пушистой головой в мою ладонь, и сразу отступил.

- Ого! Вот это поворот!

Он не ушёл - так и остался сидеть посреди коридора и смотреть, пока за мной не закрылась дверь.

И получаю… вуаля! Вожделенные 8,41 %.

Ура, я снова человек!  

Хорошо? Хорошо! 

Но погодите… 🧐

Как я уже говорила – я бухгалтер, и люблю работать с цифрами. Давайте же посчитаем, насколько сильно получившийся «8,41%» - текст отличается от исходного, где было аж 98,89%.

Пишу сразу результаты. Вы можете меня перепроверить:

• В исходном тексте — 205 слов.
• Удаленно/заменено — 15 слов.
• Это примерно 7,3% текста.

Но никак не (98,89% - 8,41%) = 90,48 % разницы, которую видит детектор.

Выводы делайте сами.

Судя по эксперименту, чтобы снова стать человеком, мне достаточно убрать из текста несколько местоимений. Правда, читать его станет чуть менее приятно.

Как по-вашему: что важнее — читабельный текст или правильный процент в детекторе?

Мне понятна позиция авторов, которые выступают за обязательную маркировку использования ИИ. Честность важна, а сама по себе плашка ничего не говорит о качестве текста.

Но после этого эксперимента я ещё сильнее убедилась: нынешняя система маркировки слишком обобщённая и совсем не отражает реальный процесс работы над текстом.

И в заключение:

Поставлю ли я ИИ-плашку, потому что этого требуют правила сайта? Скорее всего, да.
Хочу ли я её ставить? Нет. На мой взгляд, здесь нужна более строгая градация.

За помощью к ИИ можно обращаться в совершенно разном объёме и с разными запросами. И разница между этими процессами слишком велика, чтобы описывать их одинаково.