Работают ли нейродетекторы? Тесты, мои мысли, разбор конкретных примеров
Автор: Ульяна МуратоваЗначит, так, провела эксперимент с тремя нейроанализаторами: Горынычем, Яндексом и Гигачеком. Все скрины делались в разное время, так как я долго собиралась с мыслями и решалась накинуть на вентилятор, писать этот блог или нет.
Взяла свой текст, размер 2к знаков примерно, у меня есть Ё и типографское тире:
Начнём с того, что это просто несправедливо!
Вообще-то мы в один день родились.
Так почему сестра всегда ведёт себя так, будто она старшая и умудрённая опытом дама, а я — трёхлетка несмышлёная?
Я такой же взрослый и ответственный человек, как она!
Ладно, не такой же. Но только потому, что быть настолько взрослым и ответственным человеком в восемнадцать лет — это преступление против природы. А я — достаточно взрослый и ответственный человек. И целительских способностей, между прочим, у меня не меньше, чем у Уны, поэтому с работой я вполне в состоянии управиться.
Но… разумеется, сестра отказывалась в это верить и уже в который раз спросила:
— Ты точно справишься одна?
— Да точно! — в который раз заверила я, с нетерпением ожидая её отъезда.
— Я могу отменить поездку на симпозиум и остаться дежурить вместе с тобой, — предложила Уна, пытливо глядя на меня. — А конспекты потом у Брена возьмём.
«Не надо со мной оставаться!» — мысленно взмолилась я, но вслух сказала лишь:
— Уна, дорогая, тебе не о чем беспокоиться. С наступлением холодов твари затихли, никаких прорывов не ожидается, тем более в полнолунную неделю. Все служащие наконец разъехались по долгожданным увольнительным, так что даже если после твоего отъезда в части внезапно вспыхнет внезапная эпидемия внезапной холеры, то мне и лечить-то особо некого, — насмешливо ответила я, а потом пообещала уже серьёзнее: — Но если вдруг что-то случится, то я приложу все усилия, чтобы наилучшим образом справиться с работой. Слово Боллар.
Я заморгала, показывая преданность целительскому делу и максимально возможную ответственность. Сестра смотрела скептически. Кажется, ответственность не морганием показывают.
Ну да ладно.
Главное — глаза не закатывать. Её это особенно сильно бесит.
Пока сестра на меня смотрела, я изо всех сил сдерживалась, чтобы не подпрыгивать на месте. Внутри словно салюты взрывались в честь её отъезда, но внешне я старалась оставаться максимально спокойной.
Загрузила в анализатор нейро. Получила результаты:
Далее, задала ИИшнице (чатуЖПТ) ситуацию. Имена двух сестёр, обстоятельства, промт базовый. Ну, какой смогла. Она выдала текст:
Я до сих пор не понимаю — почему ты решила, что я пропаду без тебя, Уна. Серьёзно — вот так просто взять и уехать, но при этом стоять на пороге с этим своим взглядом, будто я уже через час сожгу дом, потеряю ключи и забуду собственное имя. Ты всегда так смотришь — строго, чуть прищурившись, как учительница, которой не повезло с классом. И я, конечно, снова в этом классе — самая шумная, самая неправильная.
— Я не оставлю тебя одну, — говоришь ты.
— Ты уже оставляешь, — отвечаю я. — Просто не можешь это принять.
И ты вздыхаешь — тяжело, как будто я не сестра тебе, а вечная ошибка, которую надо контролировать.
Да, я забываю. Да, я могу поставить чайник и уйти читать, а потом вспомнить, когда уже пахнет гарью. Да, я теряю вещи — вчера вот не могла найти шарф, который был у меня на шее. Но это не значит, что я беспомощная. Это не значит, что без тебя я — ноль.
Мне восемнадцать, Уна — столько же, сколько и тебе. Только ты у нас «правильная», а я — «та самая Лира». Та, за которой надо присматривать. Та, которую нельзя оставить. Та, о которой ты говоришь с этим своим тихим «она же…» — и дальше уже не надо слов.
Мне обидно — слышишь? Не смешно, не «ой, опять Лира раздувает», а по-настоящему обидно. Потому что ты даже не пробуешь поверить, что я справлюсь. Ты уже решила — за меня, за нас обеих.
Я подхожу ближе — почти вплотную, чтобы ты не могла отвернуться в свои мысли.
— Я не сломаюсь, — говорю я тихо. — И не потеряюсь. И дом не сожгу. Ну… постараюсь не сжечь.
Ты фыркаешь — едва заметно, но я вижу. И это хуже всего — ты не веришь. Не до конца.
— Ты боишься не за меня, — вдруг понимаю я. — Ты боишься отпустить.
И вот это уже больнее. Потому что если дело не во мне — значит, я вообще ни при чём. Просто повод. Просто причина остаться рядом, держаться, не отпускать.
— Уезжай, — говорю я уже тише. — Правда. Но не делай вид, что я без тебя исчезну.
Ты молчишь. И это молчание — как стена.
А я стою — живая, настоящая, с растрёпанными мыслями и вечно потерянными вещами — и жду, что ты хотя бы раз посмотришь на меня не как на проблему, а как на сестру.
Обтекла от пафоса, скопировала и засунула в анализатор.
Убрала длинные тире и Ё, потому что говорят, будто на них агрятся нейродетекторы. На мой взгляд, это бред, ведь в оригинале у меня как раз-таки длинные тирехи, Ё, кавычки-ёлочки, и анализ всё равно говорит о человечности текста.
Всё ещё обтекаю от количества пафоса в тексте и кринжую с настоящего времени. Надо было задать прошедшее, но в целом пофиг, для эксперимента годится.
Я до сих пор не понимаю - почему ты решила, что я пропаду без тебя, Уна. Серьезно - вот так просто взять и уехать, но при этом стоять на пороге с этим своим взглядом, будто я уже через час сожгу дом, потеряю ключи и забуду собственное имя. Ты всегда так смотришь - строго, чуть прищурившись, как учительница, которой не повезло с классом. И я, конечно, снова в этом классе - самая шумная, самая неправильная.
- Я не оставлю тебя одну, - говоришь ты.
- Ты уже оставляешь, - отвечаю я. - Просто не можешь это принять.
И ты вздыхаешь - тяжело, как будто я не сестра тебе, а вечная ошибка, которую надо контролировать.
Да, я забываю. Да, я могу поставить чайник и уйти читать, а потом вспомнить, когда уже пахнет гарью. Да, я теряю вещи - вчера вот не могла найти шарф, который был у меня на шее. Но это не значит, что я беспомощная. Это не значит, что без тебя я - ноль.
Мне восемнадцать, Уна - столько же, сколько и тебе. Только ты у нас "правильная", а я - "та самая Лира". Та, за которой надо присматривать. Та, которую нельзя оставить. Та, о которой ты говоришь с этим своим тихим "она же..." - и дальше уже не надо слов.
Мне обидно - слышишь? Не смешно, не "ой, опять Лира раздувает", а по-настоящему обидно. Потому что ты даже не пробуешь поверить, что я справлюсь. Ты уже решила - за меня, за нас обеих.
Я подхожу ближе - почти вплотную, чтобы ты не могла отвернуться в свои мысли.
- Я не сломаюсь, - говорю я тихо. - И не потеряюсь. И дом не сожгу. Ну... постараюсь не сжечь.
Ты фыркаешь - едва заметно, но я вижу. И это хуже всего - ты не веришь. Не до конца.
- Ты боишься не за меня, - вдруг понимаю я. - Ты боишься отпустить.
И вот это уже больнее. Потому что если дело не во мне - значит, я вообще ни при чем. Просто повод. Просто причина остаться рядом, держаться, не отпускать.
- Уезжай, - говорю я уже тише. - Правда. Но не делай вид, что я без тебя исчезну.
Ты молчишь. И это молчание - как стена.
А я стою - живая, настоящая, с растрепанными мыслями и вечно потерянными вещами - и жду, что ты хотя бы раз посмотришь на меня не как на проблему, а как на сестру.
Я решила, что я не учла паттерны. Ручками редактировать не стала, но попросила учесть признаки нейро из знаменитого поста Когана (https://author.today/post/770604).
Я до сих пор не понимаю, почему ты решила, что я пропаду без тебя, Уна. Серьезно. Ты стоишь на пороге с сумкой, уже почти ушла, а смотришь на меня так, будто сейчас начнется катастрофа и ты единственная, кто может ее остановить.
— Я не оставлю тебя одну, — говоришь ты.
— Ты уже оставляешь, — отвечаю я. — Просто делаешь вид, что нет.
Ты морщишься, как будто я сказала что-то глупое. У тебя это выражение всегда одинаковое — когда я не вписываюсь в твой план.
Да, я могу забыть про чайник. Да, могу положить ключи в холодильник и потом искать их полдня. Но я не разваливаюсь на части без тебя. Я живу так каждый день, если ты не заметила.
Мне восемнадцать, Уна. Мы ровесницы. Просто тебе удобнее считать, что ты старше — хотя бы на пару лет, хотя бы в голове.
Ты опять начинаешь говорить, что я не слежу за собой, что мне надо напоминать про счета, про еду, про все подряд. Я уже слышала это сто раз. И каждый раз у меня внутри сжимается что-то неприятное, будто меня аккуратно ставят на полку с надписью "не справится".
Я подхожу ближе, чтобы ты не отворачивалась.
— Я не ребенок, — говорю я. — Ты можешь просто уехать и не переживать каждую минуту.
Ты молчишь. Смотришь мимо меня, в коридор, на дверь, на что угодно, только не прямо.
И вот это бесит больше всего. Не твои слова, а это молчание, в котором уже все решено.
— Ты не за меня боишься, — говорю я. — Тебе просто страшно отпустить.
Я сама не сразу понимаю, что сказала. Но, кажется, попадаю. Ты чуть дергаешься, и этого достаточно.
Я вздыхаю и отвожу взгляд. Злость быстро сменяется усталостью.
— Уезжай уже, — говорю тише. — Правда. Я справлюсь.
Ты стоишь еще секунду, потом берешь сумку поудобнее. Все-таки уходишь.
Дверь закрывается, и в квартире становится непривычно тихо.
Я остаюсь одна. И ничего не происходит. Дом не рушится, свет не гаснет, я не теряюсь.
Только внутри неприятный осадок — как будто мне снова не дали шанса доказать, что я могу сама.
Думала, что тест выдаст меньше процент, ведь текст стал более человечным, но на удивление нет:
Тогда я снова залила в нейроанализатор свой текст и просила отредактировать, сохраняя авторский стиль. Нейронка выдала результат, без слёз не взглянешь. Например, было вот такое:
Было:
Пока сестра на меня смотрела, я изо всех сил сдерживалась, чтобы не подпрыгивать на месте. Внутри словно салюты взрывались в честь её отъезда, но внешне я старалась оставаться максимально спокойной.
Редактура нейро:
Пока сестра на меня смотрела, я изо всех сил сдерживалась, чтобы не подпрыгивать на месте. Внутри всё звенело от нетерпения, но снаружи я стояла спокойно, как могла.
Спасибо за такую редактуру, в очередной раз убедилась, что живого редактора нейро не заменит. Не буду мучить вас повтором куска, там почти мой текст, только криво переиначенный местами.
Какие я могу сделать выводы на основе своего маленького эксперимента?
1) Анализатор каким-то образом работает. По крайней мере, на моих текстах он показал правдивый результат в пределах погрешности.
2) На малом куске текста, написанного ручками, процент может быть высоковат, но чем больше объём, тем ниже процент. По крайней мере, на Горыныче у меня процент с 6.5 упал до 2.4, когда я загрузила главу целиком, и не изменился, когда я добавила ещё несколько глав. Ну ладно, я могу согласиться с 2.4%. На Яндексе после загрузки главы целиком процент стал 0.14%.
Это результаты по моему текущему впроцесснику, вы можете прочитать главу целиком здесь, чтобы убедиться, что это она. https://author.today/work/566842
3) Анализатор показывает и редактуру тоже, но в случае Яндекса ловит её хуже. Не знаю, какой был бы процент, если бы я отредактировала большой кусок текста. Возможно, дело в том, что я запретила сильно переиначивать свой текст, ХЗ. В общем, вопрос редактуры для меня остаётся открытым, однако я вижу, что никакие 70-80% из-за редактуры детектор не показывает, так что не надо звездить!
4) Редактура от ИИшницы ужасна и требует отдельной вычитки. Я до этого как-то даже не пробовала, потому что искренне люблю своего редактора и наши с ней разговоры в т.ч. о сюжете, но вот сейчас оскоромилась и убедилась, насколько убогие правки были предложены. Нет, я не настаиваю на том, что текст идеален, однако редактура должна делать его лучше, а не хуже.
В общем, кому ещё интересно поиграться с текстами и проверить себя, то ссылки на использованные ресурсы вот:
https://beta.detector.gorynych.ai (к сожалению, больше не работает)
https://yandex.ru/lab/neurodetector
https://developers.sber.ru/portal/products/gigacheck (к сожалению, кушает только кусочки до 10к знаков)
Напоминаю на всякий случай, что без согласия автора скармливать его тексты нейронке неэтично. Это, конечно, мало кого волнует, но моя совесть требует об этом сказать.
В общем, я пока отказываюсь верить в то, что на каких-то текстах детектор показывает 50+% из-за РЕДАКТУРЫ.
Если у кого-то есть конкретные примеры и доказательства, буду признательна за ссылку. После ряда экспериментов лично моё доверие к нейродетектору скорее укрепилось, по крайней мере, чисто ИИ-шные тексты он отлично выкупает.
Такие вот дела.