Добрыня Никитич VS "Горыныч" или "сказ о том, как чёрный ящик вместо экспертизы подсунули"
Автор: Сергей ТвардовскийСтатья создана с помощью ИИ, но не является произведением. Благодарю администрацию за понимание.
Статья будет продублирована на сторонних ресурсах.
PS.
Если меня забанят на АТ — я ни о чём не жалею, знайте. 
Данная статья, в большинстве, писалась нейросетью, (чат ГПТ мой любимый), но душа за ней человеческая, как и пытливый ум, которому было просто не всё равно на происходящее. И да, статья дважды вычитана, потому там всё соответствует реальности. Нейросеть использовалась просто из экономии времени (и нейтрализации тона, ведь происходящее вызвало у меня бурю эмоций и негодования), ведь расследовать механизмы организованной травли и написать полноценный разбор ситуации: сами понимаете... в перерывах между основной работой и работой над текстами... ну, месяц заняло бы. А душа требовала хоть как-то вмешаться, ведь просто смотреть на это со стороны, как по мне, равно тому, чтобы в этом участвовать. Потому и дал всё это запечатлеть ИИ, чтобы пост не превратился в 50к текста чистой истерики и эмоционирований.
Непрозрачные «детекторы нейросети» обычно обсуждают в двух одинаково бесполезных крайностях. В одной крайности любой высокий процент объявляют почти готовым доказательством нейросетевого авторства. В другой крайности саму идею анализа нейросетевых штампов высмеивают целиком, как будто она по определению бессмысленна. Обе позиции слишком грубы.
Надо сразу развести две разные вещи. Одно дело — добросовестная попытка искать в тексте устойчивые нейросетевые штампы: ритмическую дробность, повторяемые синтаксические ходы, переизбыток однотипных усилений, псевдоафористичность, механически воспроизводимую гладкость и другие признаки, которые действительно могут накапливаться в нейрогенерации. Совсем другое дело — мутный чёрный ящик, который выдаёт процент без прозрачной методики, без внятной калибровки и без объяснения того, что именно он измеряет.
Сам по себе факт, что детектор находит какой-то процент у ручного текста, ещё не доказывает, что детектор плохой. Более того, это не доказывает даже наличия ошибки. Так называемые нейросетевые штампы не существуют в безвоздушном пространстве. Они собраны из обычных элементов человеческого языка: из риторических дроблений, триад, усилений, удобных сравнений, эмоциональных склеек, поясняющих формул. Поэтому отдельные такие маркеры могут встречаться где угодно — в современной прозе, в публицистике, в жанровой литературе и даже у классиков. И если анализатор находит у Льва Толстого или Чехова ненулевой процент, это само по себе не повод немедленно объявлять его клоунадой. Это может означать лишь то, что часть признаков, на которые он настроен, вообще не уникальна для нейросети.
Именно поэтому спорить нужно не с самим фактом нахождения отдельных маркеров в ручных текстах, а с другим. Что именно делает система с этими маркерами дальше. Понимает ли она разницу между единичным совпадением и системным переизбытком. Учитывает ли уместность приёма в конкретной сцене. Отличает ли живую авторскую манеру от механической паттернности. Или же просто выдаёт внушительный процент, не показывая, как он получен. Настоящая проблема начинается не там, где детектор нашёл у ручного текста какие-то совпадающие штампы. Настоящая проблема начинается там, где непрозрачный инструмент начинает выдавать свои числа как будто это уже готовая экспертиза происхождения текста.
От меня лично(пишу прямо сейчас в окне текстовой публикации): "Есть отличный набор паттернов нейросети. Я бы сказал "Молот Ведьм". Он шикарно собран в этой статье: Признаки нейросетевого текста. Эти правила я использовал далее в "ручных проверках", которые давали совершенно другой результат, в сравнении с мутным чёрным ящиком. При этом, я даже требовал от нейросети, которая проверяла, быть особенно жёсткой, забыв о главном. Тут я процитирую самого автора сборника признаков:
Это скорее всего не все признаки нейронки, да и по одному-двум совпадениям нельзя делать вывод, что это нейротекст. Большинство из описанного выше является нормальными художественными приёмами, а сам же нейротекст ОПРЕДЕЛЯЕТСЯ СИСТЕМАТИЧЕСКОЙ НЕУМЕСТНОСТЬЮ ИХ ПРИМЕНЕНИЯ И ЯВНЫМ ПЕРЕИЗБЫТКОМ ОНЫХ НА ЕДИНИЦУ ТЕКСТА.
ПС: как я предполагаю это должно работать. Если на протяжении условной главы в +-20 килознаков будет совпадение по половине пунтов (или больше), то скорее всего писала нейронка. Если в тексте встречаются отдельные признаки, то бессмысленно обвинять текст в нейронности, т.к. большинство из них - нормальные художественные приёмы, применяемые авторами, как правило, к месту. Так что опять-же повторяю, ДАЖЕ ЕСЛИ ПРИЗНАКИ НАШЛИ, СМОТРИМ НА УМЕСТНОСТЬ ИХ ИСПОЛЬЗОВАНИЯ. (по крайней мере это касается тех признаков, которые по совместительству являются художественными приёмами)
ПСС: и пожалуй стоит добавить небольшое послесловие. Единственная причина написания этой статьи - меня заколебалидолбоёбылюди, которые увидев в тексте 1-2 косяка начинают вопить что это нейронка. Хочется тебе до нейронности докопаться - возьми большой кусок текста да проанализируй нормально. Если самому влом, берёшь эту статью, грузишь в чатжпт, туда же закидываешь главу и просишь чат разобрать её опираясь на эту статью. Вопрос 5ти минут. А если хочется побегать и поорать голословно обвиняя авторов в чём-то - найди лучше другой повод.
То есть, я запретил нейросети применять самое важное, сказал забыть об уместности, а просто дал команду ИСКАТЬ. (О самом поиске и анализе — далее.
Что вообще должно было бы происходить, если бы детектор работал честно
Защитники подобных систем обычно ссылаются на набор формальных и полуформальных признаков: повторяющиеся синтаксические схемы, ритмизованную дробность, триады, псевдоафористичность, сенсорные чекбоксы, чрезмерно гладкую подачу и так далее (см ссылку на Признаки нейросетевого текста). Но даже в самой памятке, на которую они ссылаются, проговаривается важнейшая вещь: один-два признака сами по себе ничего не доказывают; оценивать надо не единичное совпадение, а систематическую неуместность и явный переизбыток таких признаков на крупном текстовом куске. Иными словами, честный анализ не должен превращать любой удобный стилистический приём в приговор; он должен ловить устойчивую, навязчивую, однотипную паттернность.
Из этого автоматически следует простое правило. Если детектор действительно ищет заявленные маркеры, то его высокий результат должен быть хотя бы приблизительно объясним через внешне наблюдаемую плотность этих маркеров. Если же система красит куски в 0.99–1.00 там, где при независимой ручной проверке по тем же правилам выходит максимум умеренная подозрительность, значит она считает что-то другое.
Что показал разбор «Ювелира» (С разрешения моего друга и автора лучшей обложки в мире)
По предоставленной JSON-выгрузке (в которую люди не заглядывают и не пытаются понять, что там происходит) по «Ювелиру» (в разборе участвовал тот том, который сейчас в популярном) картина выглядит не как тонкий анализ, а как почти тотальное срабатывание внутреннего положительного класса. Средний score там около 0.921, медиана около 0.9966, более 65% всех чанков сидят выше 0.99, а 74 чанка вообще получают ровно 1.0.
То есть, "на 100% сгенерированы нейросетью" (с точки зрения мутного чёрного ящика).
Примеры:
Я ее хорошо знал, видел бешено пульсирующую жилку на шее, готовую вот-вот порваться от напряжения. Она была напряжена. Справа от нее, с каменным лицом, вышагивал отец. Игнорируя косые взгляды и демонстративно отвернувшиеся спины, он вел дочь под руку с вызовом, от которого становилось не по себе. Казалось, они шли на таран, прорывая блокаду. Толстой нахмурился, ладонь его инстинктивно легла на эфес.
— Что происходит, Федор Иванович? — тихо спросил я. — Откуда такая реакция?
— Ты не понимаешь, Гриша, — граф наклонился к моему уху, понизив голос. — Салон — одно дело. Туда ездят мужчины. Но официальный прием в Зимнем — это святая святых. Сюда пускают только «чистых».
Он кивнул в сторону группы статс-дам, сбившихся в кучу и возмущенно кудахтающих.
— Для них Элен — отверженная персона. Падшая. Ее появление здесь равносильно визиту маркитантки в офицерское собрание. Осквернение устоев.
— Раз она здесь, — парировал я, — значит, приглашение было отправлено.
— Именно, — прищурился Толстой. — Кто-то выдал его ей.
(прошу прощения за возможно неверную расстановку переносов, но в "анализе" они не учитываются)
Заметьте. Обилие тире здесь не просто так. ЭТО ДИАЛОГ. То есть мутный чёрный ящик ДИАЛОГ отдаёт как "100% генерация". Возникает справедливый вопрос: КАК определить генерацию ИИ в диалоге? Да ещё и... ну, сами почитайте фрагмент.
Далее.
Я коротко, одними веками, обозначил поддержку. Уголки ее губ дрогнули. Принято. Она выпрямилась и повернулась к княгине Юсуповой, продолжая светскую беседу с видом королевы, принимающей верительные грамоты.
— Тяжело ей, — буркнул Толстой, считывая ситуацию. — Старик Текели — тот еще подарок. Согнет в бараний рог при малейшей слабине. Знаю я таких отцов. Для них дети — боец полка.
— Она сильная, — ответил я, сжимая набалдашник трости. — Справится.
— Твоими бы устами, — вздохнул граф. — Но в этом зале, Григорий, главное — связи. Сегодня она получила протекцию высшей пробы, Юсуповы слов на ветер не бросают. Звук в зале резко изменился, будто кто-то повернул ручку громкости на минимум. Шум толпы увяз, оркестр оборвал мелодию на полутакте. Лакеи у дверей окаменели. Взметнулся жезл обер-камергера, возвещая о главном событии вечера.
— Началось, — шепнул Толстой.
Мы затихли. Элен, Текели, Юсуповы, сотни гостей — все внимание обратилось на высоких двустворчатых дверях в торце зала. Поправив манжеты, я ощутил привычный мандраж.
Кто видит здесь 100% нейрогенерации?
Дальше...
Спектакль с Элен был разогревом. Сейчас на кон ставилась моя собственная судьба. Взгляд скользнул на столик, где под бархатом ждало своего часа «Древо Жизни». Три удара жезла об пол заставили умолкнуть даже самых отчаянных сплетниц. Тяжелые створки дверей разошлись, впуская в душный зал волну прохлады из анфилады и фигуру немолодой женщины.
— Ее Императорское Величество Вдовствующая Государыня Императрица Мария Федоровна! — бас обер-камергера легко перекрыл бы оркестровую яму.
Зал склонился в поклоне. Шелест шелка, скрип паркета. В зал вплыл живой символ династии. Серебряная парча превращала Вдовствующую императрицу в ледяную статую, ожившую по прихоти гениального скульптора. В высокой прическе, увенчанной диадемой, горели сапфиры. Она двигалась с врожденной величавостью, которую невозможно сыграть или купить. Мария Федоровна держала в кулаке половину двора. Заняв место в кресле на возвышении, она окинула зал мягким, благосклонным взглядом. Свита образовала полукруг за спиной, эдакая живая декорация.
Если, простите, так на 100% пишет нейронка, то что мы все тут делаем тогда?
И там 74 таких вот 100% чанков на 5 глав.
74.
(если кому надо, скину JSON на гугл диск, сможете сами убедиться. А ещё лучше потыкайте мутный чёрный ящик сами, почитайте JSON, поразвлекайтесь, как призывают участники той группы лиц, всё это организовавшей. Главное: посмотрите своими глазами на цифры, на чанки. Там сразу всё ясно).
Продолжение аналитической зоны:
Этот, простите, "анализ" не похож на плавную гуманитарную шкалу. Это похоже на эффект потолочного насыщения, когда система фактически перестаёт ранжировать текст и начинает ставить почти бинарную метку с косметическими колебаниями.
Особенно показательны локальные провалы. Внутри почти сплошного максимума появляются отдельные чанки с низкими значениями вроде 0.0219, 0.0333, 0.0471, а соседние чанки тут же снова возвращаются в область 0.99 и 1.0. Если бы score отражал одну и ту же плотность заявленных маркеров, переходы между соседями были бы плавнее. Здесь же видно другое: решение о тексте как будто уже принято заранее, а локальные низкие значения выглядят не как осмысленная градация, а как сбой, просадка или отдельный скрытый триггер.
Отсюда важнейший вывод. Высокий итоговый процент в таком JSON нельзя читать как «92% текста написано нейросетью» или даже как «в 92% фрагментов есть нейропризнаки». Корректная трактовка гораздо скромнее: внутренний непрозрачный классификатор очень уверенно относит почти весь корпус произведения к своему положительному классу. Всё. Ничего большего сама цифра не доказывает.
Почему одной технической аномалии мало и зачем нужна ручная проверка
Можно было бы возразить: да, поведение шкалы странное, но вдруг сам текст действительно перегружен признаками. Поэтому следующий шаг и был принципиально важен: взять не абстрактное впечатление, а те же самые правила, на которые любят ссылаться защитники метода, и проверить фрагменты «Ювелира» вручную.
Результат получился неудобный для анализатора. Да, «Ювелир» действительно светится заметнее многих других текстов. В нём есть ритмизованные триады, слова-ярлыки через точку, псевдоафористичность, декоративно-нагруженные описания, пафосные сравнения и местами повышенная риторическая плотность. Но независимая ручная оценка по тем же правилам даёт не тотальную «красную» зону, а умеренную подозрительность. Рабочий диапазон по рассмотренному фрагменту — примерно 38–48%, с центральной точкой около 43%.
Сам непредвзятый анализ нейросетью по "Молоту Ведьм", без скидки на "уместность" и частоту применения:
Сейчас разложу этот отрывок не по вкусу, а по пунктам: какие именно маркеры из их списка тут реально есть, насколько они частотны и дают ли они честное право на «почти 100%».
Thought for 2m 24s
Если прогонять именно по тем правилам, а не по их чёрному ящику, то этот отрывок у меня выходит примерно на 43%.
Не 100. Но уже и не те 10–20%, которые были у сказки.
Почему так. В той статье в качестве признаков названы, среди прочего, триады, псевдоафоризмы, слова-ярлыки через точку, одинаково ритмизованные короткие фразы, переизбыток определений, интонационные тире, резкие стилистические перепады, гиперболическое усиление, сенсорный «чекбокс» и пафосные сравнения. И там же отдельно оговорено главное: решает не один приём сам по себе, а систематический переизбыток и неуместность на большом фрагменте.
У этого куска как раз есть заметный системный набор, а не пара случайных совпадений.
Что здесь реально светится.
Во-первых, слова-ярлыки и рубленые ударные фразы.
Тут их много: «Падшая.», «Осквернение устоев.», «Высота взята.», «Есть.», «Началось.». Это уже очень близко к тому, что в статье описано как отдельные смысловые ярлыки через точку. Причём они не единичны, а размазаны по большому куску.
Во-вторых, триады.
Они здесь встречаются постоянно. Самый лобовой пример — «Я богат, я верен, я достоин милости». Но и помимо него текст любит трёхчастные сборки: перечни предметов, признаков, эффектов, социальных ролей. Это не значит автоматически «нейросеть», но по их шкале это точно повышает процент.
В-третьих, псевдоафористичность.
Здесь текст регулярно формулирует мысль не просто как часть сцены, а как почти готовую цитату: «У металла нет памяти. Он безлик.», «Смерть не разбирает чинов. И подвиг — он один на всех.», «В этом мире за каждый вдох выставляли счет». Это как раз тот тип фраз, который статья отдельно выносит в подозрительные.
В-четвёртых, переизбыток определений и декоративной нагрузки.
Текст очень любит плотные связки прилагательных и нагруженные существительные: «лучезарная и теплая улыбка», «жесткая инвентаризация», «пестрая толпа», «блестящая, фальшивая свора», «фарфоровая маска светской любезности». Это не катастрофа, но плотность тут высокая, и по их статье это тоже заметный маркер.
В-пятых, интонационные тире.
Их действительно много, и они часто работают не грамматически, а риторически: для нажима, паузы, добавочного укола, эффектного вывода. В статье это прямо выделено отдельным пунктом. Здесь этот пункт выражен сильно.
В-шестых, гиперболизация и повышенная драматизация.
Отрывок любит максимальные формулировки: «взорвался овациями», «ходячая стихия», «вышвырнуло в стратосферу», «эпицентр империи», «золотая, инкрустированная бриллиантами клетка», «старый лис», «матерый лев». Это уже заметный перебор по интенсивности. Статья именно это и называет одним из частых нейромаркеров.
В-седьмых, пафосные сравнения.
Их в куске очень много: «словно ледокол сквозь торосы», «подобно линейному кораблю», «как икона окладом», «как воды Красного моря», «как кот, стащивший сметану». Некоторые из них работают, но сама плотность таких сравнений уже делает фрагмент подозрительным по их списку.
В-восьмых, резкие стилистические скачки.
Текст то идёт как историческая сцена, то вдруг переходит в почти публицистическую оценочность, то в афористический монолог, то в театрально-пафосную внутреннюю речь. Это не развал, но перепады регистра тут есть, и по статье это тоже считается подозрительным фактором.
Что здесь, наоборот, выражено слабее или почти отсутствует.
Почти нет лобовой конструкции «Это не … Это …».
Почти нет формулы «не потому что…, а потому что…».
Нет навязчивого повтора «как будто» именно в том виде, в каком его выделяет статья.
Нет жирного выделения.
Почти нет конструкции «Это было нечто большее, чем…».
То есть часть самых типовых формальных штампов из списка здесь отсутствует.
Именно поэтому у меня не получается 60+, не говоря уже о 90–100.
Теперь главное.
Этот отрывок светится заметно сильнее, чем твоя сказка. Это просто факт. По тем правилам он действительно выглядит подозрительнее. Но всё равно не на «почти доказанная нейросеть».
Почему не 100. Потому что даже при всей перегруженности здесь остаётся ощущение цельной авторской манеры, а не набора механически повторяемых ходов. Маркеров много, но они не выглядят как тупая штамповка одной и той же конструкции через абзац. Здесь есть реальная стилистическая воля, пусть и местами с перебором. А статья сама говорит, что важны именно переизбыток плюс неуместность, а не просто наличие приёма.
Итог в жёсткой форме:
по этим правилам данный фрагмент — заметно подозрительный;
по этим же правилам он не тянет на честные 100%;
моя ручная оценка — около 43%, с коридором примерно 38–48%.
То есть это уже зона, где детектор по их собственной логике имел бы право насторожиться. Но зона настороженности, а не зона «всё, это точно нейросеть».
(Примечание, при включении режима уместности и частоты, оценка падала на 15%).
Это принципиально. Речь не о том, что текст «чистый» и не светится вообще. Речь о другом: даже строгая ручная проверка по их же декларативной логике не подтверждает честные 90–100%. Следовательно, экстремальные значения анализатора не поддерживаются тем самым набором правил, которым его публично прикрывают. И в этом месте версия «детектор ищет нейромаркеры» начинает ломаться уже по существу, а не только по цифрам.
Также был прогнан их JSON с чанками (по тем же критериям):
Сначала достану из файла именно те чанки, которые сидят у верхней границы, а потом сверю их с правилами из ссылки и разведу: что реально есть в тексте, а что детектору, похоже, «мерещится».
Правила из поста увидел. Там прямо сказано важное: один-два признака ничего не доказывают; смотреть надо на систематичность, неуместность и переизбыток на большом куске текста. Это для нашей сверки ключевой ограничитель.
Thought for 6m 14s
Да. Посмотрел и правила по ссылке, и верхние чанки из JSON.
Главное здесь вот что. В посте с критериями прямо сказано две вещи: по одному-двум совпадениям делать вывод нельзя, а смотреть надо на **систематическую неуместпризнаков на большом куске текста, условно на главе около 20 тысяч знаков. То есть сама эта памятка не даёт оснований лепить «1.0 нейросеть» за единичный чанк на тысячу символов только потому, что в нём встретились 2–3 формальных приёма. 33321view0
Я взял именно этот принцип за основу и проверил верхние чанки не по абстрактному ощущению, а по тому набору, который вообще можно сверить: «Это не…, это…», анафора через точку, тройки, слова-ярлыки отдельными фразами, «не потому что…, а потому что…», повторяемое «как будто», «не просто…, а…», абзац-крючок, «это было нечто большее, чем…», и отдельно вручную посмотрел на гиперболу, псевдо-афористичность и перегрузку образами. По этой линейке картина у верхних чанков выходит намного слабее, чем выставленные детектором 0.99–1.00. 33321view0 получается по самым показательных кускам.
Чанк 177 — score 1.0.
Там почти нет того, что сам пост называет «яркими нейромаркерами». Нет «это не…, это…», нет «не потому что…, а…», нет повторяемого «как будто», нет абзаца-крючка, нет сенсорного чекбокса с запахами, нет зеркальной конструкции, нет «не просто…, а…». По сути, там только обычная драматизация, пара коротких фрагментов типа «Падшая. Осквернение устоев.» и один образ про «шли на таран». По этим правилам это не «единица», а очень слабое свечение. Моя альтернативная оценка: 5–10 из 100. анк 183 — score 1.0.**
Здесь ситуация ещё жёстче для детектора. Фактически это обычная сценическая проза с одной сравнительной формулой «будто кто-то повернул ручку громкости на минимум» и одной ритмической сборкой перечисления в финале. Массового набора «нейроприёмов» по памятке нет. По их же критериям это выглядит как нормальный художественный кусок, а не как «почти доказанная нейросеть». Моя оценка: 5 из 100, максимум 10 из 100 с натяжкой. анк 184 — score 1.0.**
Здесь уже больше парадности и декоративности, но формальные признаки из статьи всё равно почти не набираются. Нет любимых у нейросети конструкций, которые сам пост выделяет как повторяющиеся штампы. Есть повышенная торжественность, одна статуарная метафора, плотная описательность. Это может выглядеть вычурно, но вычурность сама по себе в том посте не равна «нейросети». Моя оценка: 10–15 из 100. анк 185 — score 1.0.**
Вот здесь уже есть что обсуждать всерьёз. Есть триады и ритмизованные короткие формулы: «Я богат, я верен, я достоин милости», «Дорого, благочестиво и шаблонно», дальше идёт ещё одна компактная тройка определений. То есть именно этот кусок по памятке действительно светится заметнее других. Но даже здесь это не набор на «единицу». Это, скорее, кусок со средней подозрительностью по этим правилам, не более. Моя оценка: 20–25 из 100. анк 196 — score 1.0.**
Тут есть стартовый крючок «Высота взята.», есть тройка «Щит, статус, право…», есть дробление фраз на подчеркнуто весомые куски, есть общая театральная подача. То есть это один из тех отрывков, которые по памятке действительно можно назвать более «подозрительными». Но опять же, до набора «это прям нейросеть» он не дотягивает. Слишком много из ключевых маркеров всё равно отсутствует. Моя оценка: 25–30 из 100. анк 245 — score 0.995117.**
Вот это самый сильный из просмотренных примеров, если мерить именно по той статье. Там действительно есть то, что она ругает: цепочки коротких фраз-ярлыков «Что угодно. Любая ваша фантазия. Любой каприз.», затем «Карт-бланш. Неограниченный ресурс.», дальше идёт усиленная пафосная сборка, есть декоративное сенсорное выражение «сладким ароматом абсолютной власти», есть подчеркнутая концептуальная накачка. Но даже это всё равно не даёт честной «почти 100% нейросети» по самой логике статьи, потому что не видно широкого набора разных маркеров, а видно концентрацию нескольких однотипных приёмов. Моя оценка: 35–45 из 100. юда вывод получается довольно жёсткий.
Если проверять эти верхние чанки именно по тем правилам, которые ты дал, детектор систематически завышает оценку. Он ставит 0.99–1.00 там, где по этой памятке у тебя чаще выходит не «нейросеть наверняка», а диапазон от слабого до умеренного подозрения. А местами — вообще почти ноль, как в 177, 183 и 184. есть связка получается такая:
- статья говорит: смотрим на переизбыток признаков, систематичность и неуместность на большом куске;
- детектор в твоём JSON даёт «единицы» отдельным чанкам;
- при ручной сверке по этим же признакам многие такие «единицы» не набирают даже близко той плотности, которая оправдывала бы столь жёсткий вердикт. говая формулировка без украшений:
по предъявленному набору критериев эти чанки не подтверждают работу детектора как инструмента, который ищет именно перечисленные маркеры нейросетевого письма. Наоборот, они показывают рассинхрон: детектор кричит «1.0», а проверка по заявленным человеческим критериям чаще даёт «слабо», «местами умеренно», и только изредка «заметно, но всё ещё не критично». и отталкиваться именно от этого набора правил, то самая честная общая оценка такая: не единица, а в среднем низко-средняя подозрительность с отдельными более накачанными кусками.
Контрольный удар: заведомо нейросетевой текст
(Об этом я проводил малое расследование в посте про БЗМЖ. Там и была ссылка на нейрослоп, скормленный мутному чёрному ящику).
Ещё сильнее проблему вскрывает контрольный кейс. Заведомо нейросетевой текст, специально сгенерированный как нейросетевой, анализатор оценил куда мягче, чем «Ювелир»: средний результат около 23.4%, при том что внутри одного и того же текста он мечется от почти нуля до почти единицы.
Когда тот же текст проверяется вручную по тем правилам, на которые анализатор якобы опирается, итоговая оценка оказывается низко-средней, примерно в диапазоне 10–20%, с рабочей точкой около 15%. Это логично: в тексте есть отдельные совпадения, но нет системного переизбытка и навязчивого повторения, которое сама памятка считает важным.
НАПРИМЕР:
Варя давно привыкла к тому, что абсурд иногда входит в жизнь не через окна, а через усталость, и потому вместо правильных вопросов, среди которых должны были быть хотя бы два про разум, один про сон и еще один про температуру, спросила то, за что потом была себе благодарна. — Что значит «утро застрянет» - спросила она - и почему с этим разбираешся ты, такой небольшой, взъерошеный и до неприличия бодрый. Жарик, видимо, счел это прекрасным началом знакомства, раз даже расправил грудь, хотя грудь у него была размером с хлебную буханку. — Потому что большие сейчас заняты тем, что ходят туда - сюда с трагическими лицами и очень полезно тревожатся, - сообщил он. - А я, между прочим, не небольшой, а подвижный, и бодрый не от глупости, а от внутренней дисциплины. Если перестану шевелится и говорить, мне станет страшно, а когда мне страшно, из ноздрей летит дым, и тогда все вокруг начинают нервничать еще сильнее. Идите уже пожалуйста. У нас внизу целый город сидит в вечернем полусвете, булочники не могут печь утрений хлеб, дети клюют носом над супом, а мастер Ольм, который должен был подняться к горе и разбудить рассветный механизм, ушел за стекляным тростником и до сих пор не вернулся.
Спуск к городу занял у них меньше времени, чем Варя ожидала, потому что тропа ложилась под ноги легко, воздух был прохладным и чистым, а Жарик всю дорогу либо летел у нее у колена, либо семенил по камням, рассказывая без пауз, кто в Медовых Крышах печет лучшие рулеты с орехом, почему старый мост через Ивовую воду скрипит громче по праздникам и за что местный сапожник недолюбливает облака. Варя слушала его вполуха, но именно этот поток мелких, совершенно бытовых сведений сделал все происходящее не сном и не фокусом, а местом, у которого имелись свои запахи, звуки, странности и люди, умеющие ворчать на погоду. У ворот их встретила полная женщина в синем переднике, и в руках у нее был противень с остывающими булочками. Она посмотрела на Варю, потом на Жарика, потом снова на Варю, и на лице у нее даже не дрогнуло удивление, словно дракончик, приводящий чужих девушек из дверей между мирами, был делом не рядовым, но понятным. — Нашел, значит - сказала женщина. - Хорошо. Тогда ешьте на ходу и не спорьте.
Понимаете, да?
И вот тут возникает уже не просто странность, а прямая коллизия смысла. Если инструмент называет себя детектором нейросетевого письма, заведомо нейросетевой текст должен быть для него как минимум не слабее «Ювелира». На практике происходит обратное: «Ювелир» окрашивается почти тотально, а стопроцентно нейросетевой текст — сравнительно скромно. Это очень плохо согласуется с идеей честного анализа нейросетевых маркеров. Зато прекрасно согласуется с гипотезой о том, что система ловит не «нейросетевость как явление», а сходство с каким-то скрытым положительным корпусом.
Ещё хуже: ручной текст и развал воспроизводимости
Контрольный ручной материал добивает легитимность такого инструмента окончательно. По первой главе ручного текста анализатор выдал средний score около 66.5%, причём с чудовищным разбросом от 0.017 до 0.9995. По второй соседней главе того же произведения, написанной подряд, он внезапно выдал уже около 3.5%, с максимумом всего 0.3589 и почти плоским низким распределением.
Независимая ручная проверка по тем же правилам показывает более мягкую и главное — более связную картину. Первая глава действительно заметно светится, но не на 66.5%, а примерно на 31%. Вторая глава светится меньше, но не обнуляется: порядка 16–22%, с рабочей точкой около 19%. То есть ручной анализ видит разницу между главами, но не видит того катастрофического разлома, который рисует чёрный ящик.
Для детектора это убийственно. Две соседние главы одного произведения не должны вести себя так, будто одна написана «почти полностью нейросетью», а другая почти чиста, если речь идёт о стабильном измерении свойства текста. Это значит, что система не ловит устойчивый «авторский процент нейросетевости». Она нервно реагирует на локальные конфигурации, плохо калибрована и не воспроизводит собственную логику даже на близком материале.
Вставка пытливого ума:
Но вот тут у меня всё ещё есть белое пятно. Вопрос к создателям мутного чёрного ящика. Что у вас там под капотом? Чёрный и Белый список, или всё же есть какой-то анализ текста?
Эксперимент, который особенно плохо выглядит для них
Самый показательный тест — короткий фрагмент «Ювелира», который анализатор окрашивал почти в потолок, а затем его намеренно испортили: заменили часть лексики, вставили посторонние фразы, нарушили гладкость сцены, добавили мусор вроде «Тут какой-то текст, ломающий чанк» и «Горыныч клоун». После этого score почти не изменился и остался на уровне 0.9976.
Если бы система действительно искала плотность заявленных маркеров именно в данном локальном фрагменте, такой результат должен был бы заметно просесть. Он не просел. Это, возможно (прим. ред), значит, что для системы, вероятно, несущественны цельность фразы, локальная логика и даже наличие мусорных вставок. Существенно что-то другое: некий остаточный «скелет» узнаваемости, близость к знакомому корпусу, совпадение по якорям или подпроходам внутри чанка.
Этот эксперимент особенно сильно поддерживает версию о том, что система работает не как честный локальный анализатор, а как инструмент распознавания близости к скрытому положительному классу — будь то корпус текстов, авторский отпечаток, retrieval-подобное совпадение или гибрид всего этого.
Что, скорее всего, происходит технически (моё айтишное визионерство + доводы нейропомощника)
На сегодняшний день самая правдоподобная картина выглядит так.
Либо система сравнивает новые чанки с заранее размеченным корпусом текстов, который внутри неё уже считается «нейро», и высокий score означает не «тут много нейромаркеров», а «этот кусок похож на знакомый положительный массив». Либо она улавливает некий авторский или корпусный отпечаток: эмбеддинговую близость, латентную сигнатуру, переобученный шаблон стиля.
(Прим: аналог "чёрного" и "белого" списков текстов. Отсюда и бинарное разделение в 0 и 90+ и "среднее", которое просто не попало ни в один список и "анализируется" либо по ближайшим схожестям, либо как-то иначе — тут сказать точно невозможно, не зная того, что на самом деле).
Либо это гибридная система: какой-то базовый анализ маркеров действительно существует, но поверх него действует внешний классификатор, retrieval-поиск похожих фрагментов, жёсткий порог или скрытая разметка положительного класса.
Самая узкая и резкая версия — что существует функциональный аналог blacklist/whitelist, то есть скрытое разделение текстов или авторов на условно «чистых» и «нейро»-классы, а итоговый score определяется близостью к одному из этих массивов. Из имеющихся данных это не доказанный факт, а рабочая гипотеза. Но она уже не выглядит фантазией, потому что лучше других объясняет почти тотальное окрашивание «Ювелира», слабую связь с реальными маркерами, устойчивость к шуму и самопротиворечивое поведение на контрольных кейсах.
Сюрприз. Новости с полей:
Последние главы моего друга, как и тех, кто попал под травлю, и замечательного автора Виктора Гросова, как и тех, кто попал под травлю, "светятся" всего на 15%.
Ваши предположения, почему? Неужели "встал на путь истинный"?
Или просто в чёрную базу их не внесли?
А теперь о самой неприятной части, кроме всей той чернухи, которую устроила установленная группа лиц.
Почему их «мы никого не называли, люди сами пошли проверять» не делает ситуацию безобидной
Юридически вся эта история интересна не только как спор о качестве модели, но и как спор о последствиях. Если брать российскую рамку, то здесь встаёт прежде всего вопрос о защите чести, достоинства и деловой репутации. Статья 152 ГК РФ позволяет требовать опровержения порочащих сведений, если распространитель не докажет их соответствие действительности; кроме того, возможны удаление информации и запрет дальнейшего распространения. В разъяснениях и практике важны три условия: факт распространения, порочащий характер сведений и их несоответствие действительности; при этом оценочные суждения и мнения сами по себе защищаются иначе, а утверждения о фактах подлежат проверке.
Отсюда следует простая, но неприятная для таких инициаторов вещь. Формула «этот автор пишет нейросетью», «проверьте книги сами знаете кого, всё видно», «вот доказательство» — это уже не просто эстетическое суждение. Это приближается к утверждению о факте, который надо доказывать. И если доказательная база держится на непрозрачном, невоспроизводимом и внутренне противоречивом анализаторе, позиция распространителя становится юридически слабой.
Отдельный контур — клевета по статье 128.1 УК РФ, где речь идёт о распространении заведомо ложных сведений, порочащих честь, достоинство или репутацию. Для уголовного состава мало одной ошибки; нужна ещё заведомость. Но если люди понимают, что инструмент непрозрачен, нестабилен, противоречит собственным критериям и всё равно запускают на его основе волну публичных подозрений против узнаваемых авторов, риск уже перестаёт быть чисто умозрительным.
Ещё одна линия — реклама и введение в заблуждение. Закон о рекламе требует, чтобы реклама была добросовестной и достоверной; недобросовестная и недостоверная реклама не допускаются, а порочащая честь, достоинство или деловую репутацию реклама прямо признаётся незаконной. Если сервис продвигается как «детектор нейросети», «объективный анализатор ИИ-текста» или нечто аналогичное, при том что методика не раскрыта, воспроизводимость плавает, а результаты не подтверждаются ни ручной проверкой, ни контрольными тестами, возникает вопрос о введении пользователей в заблуждение относительно свойств услуги.
Особенно слабо выглядит схема, в которой прямые имена не произносятся, но аудиторию призывают «самой всё проверить» на книгах «сами знаете кого». В гражданском споре это не обязательно спасает. Если по контексту лицо узнаваемо, а инициатор фактически направляет толпу к выводу о конкретном человеке, отсутствие имени вслух ещё не превращает кампанию в безопасную форму «личного мнения». Юридически здесь может обсуждаться уже не только чужой пост, но и организованная рамка распространения.
А по-человечески... господа (и дамы), устроившие и поддержавшие вот это, вы просто... отвратительны. Представьте себе, если у кого-то нервы сдали бы на фоне этого, и произошла бы трагедия? Вы не понимаете, что вам отвечать потом, если случится что-то на фоне этого? И это не вопрос бана, или ухода с сайта. Это... ну, в общем, я всё сказал.
Да, правило о "нейросети" на сайте автортудей, разглагольствования в блогах о "будущем литературы" — это всё очень важно, да. Но вот то, что вы устроили — это уже про ГК/УК. Одумайтесь.
Главный вывод
После всего массива кейсов спор уже не сводится к тому, нравится ли кому-то стиль «Ювелира» или нет. Можно считать текст перегруженным, можно считать его местами вычурным, можно спорить о его стилистической природе. Но это другой разговор. Исследованный анализатор не показал себя инструментом, который способен этот спор честно разрешать.
Он ведёт себя как переуверенный непрозрачный классификатор. Он не даёт стабильной воспроизводимой шкалы. Он не объясняет свои высокие результаты через те самые правила, на которые ссылается публично. Он красит «Ювелир» сильнее, чем заведомо нейросетевой текст. Он резко расходится на соседних главах ручного материала. Он сохраняет почти потолочный score даже после порчи фрагмента мусорными вставками. И всё это вместе делает главный вывод довольно простым.
Высокий процент в таком детекторе нельзя читать как доказательство нейросетевого происхождения текста. Его можно читать только как свидетельство того, что некий непрозрачный внутренний механизм очень уверенно отнёс данный текст к своему положительному классу. А что именно этот класс означает на самом деле — «нейросетевость», близость к скрытому корпусу, авторский отпечаток, retrieval-похожесть, чёрный список или гибрид этих логик, — как раз и остаётся центральным вопросом.
И пока на него нет прозрачного, воспроизводимого и верифицируемого ответа, никакой серьёзной доказательной силы такие проценты не имеют. Они годятся для шума. Для экспертизы — нет.
И послесловие.
Ребят, вот все мы тут взрослые. Пожалуйста, прошу... всегда ищите тех, кому светит выгода. Не кидайтесь со штыками по каждому поводу. Ну и будьте добрее.
Всех обнял, кроме тех, кто... ну, вы понимаете.
И наглядность:
1) Малый текст, написанный руками.
2) Приправленный 1м предложением из текста объекта травли, занесённого в их "чёрную базу"
3) То же самое, но уже с предложением из "белого списка" aka "Естественный Интеллект"
