Рецензия на роман «Носитель Ноль»
Любим мы наших главных героев (ГГ), нагибаторов из РПГ, любим такими как они есть. Что удивляет, почему авторы их не ценят, в том состоянии, в котором они были до этого и всегда идут на поводу у Системы. Всегда их вкидывают в новое окружение: бедолагами, если мир автора фэнтази, рабами если EVE, иногда добавляют вид на мрачные последствия в S.T.I.K.S или зомби. В последних случаях, чтобы ГГ восхитился добротой ))). Предполагаю, они берут пример с неправильных правительств ))), которые любят (ли?) бедный народ. И тут с логикой не поспоришь, у кого ничего нет, тот идет туда, где видны плюшки. Наверное только Ринат Тактарин создал вселенную, где Система ничего не отбирает сразу, а в начале дарит себя, но начинает отбирать потом у ГГ все остальное, пока он не станет винтиком системы. Главные герои его мира вяло этим возмущаются, но контрдействий не активируют.
Главный Герой «Носитель 0» сразу возмутился требованием все отдать и оставил часть себя вне Системы и это радует, так как зачем нам соседи, для которых мы не существуем? Тут подход Александра Бондаря можно только приветствовать, а то вокруг столько конспирационных версий, что начинаешь подозревать своего кота и ищешь в его родословной намеки на использование недружественных языков ))).
ГГ сразу перевел цифровое общение на литературный русский и на следующем этапе начал учить Систему нелитературному русскому языку, находя в ней противоречия. С учётом того, что ГГ прожжённый научный сотрудник, щелкающий математическими абстракциями на уровне доктора физ.-мат. наук, он сразу в одну главу разобрался с механикой используемой Системой формирования плюшек и батогов. Причем тщательность автора, удивила меня своей детальностью. И его Система немного напугала меня, так как понял, что если человек, в его системе, опрометчиво скажет: «Мама роди меня обратно», то система может реализовать его желание непосредственно. Описать аналог от ощущений «рождения наоборот» не могу, так как в моем, собственном и заемном, опыте такого примера не нашлось. Пока также не пытался в реальном мире материализовать все модели, которые автор описал в «Носитель 0». Но абстрактное моделирование, в доступном мне объеме, дало вывод, что такие движки можно реализовать в виртуале компьютерных игр.
Естественно, Системе своенравие ГГ не понравилось и в главе 13 она прислала КОРРЕКТОРА. После появления КОРРЕКТОР просто и открыто заявил, что будет изменять ГГ. ГГ, в отличие от героев других миров, заявил протест таким утверждениям и потребовал снований. КОРРЕКТОР по своей душевной простоте объяснил, что ГГ по статистическим законам плохо влияет на окружающих (даже больше чем все иноагенты вместе взятые) и должен быть переформатирован надлежащим образом. ГГ сразу вспомнил, что есть: ЛОЖЬ, БОЛЬШАЯ ЛОЖЬ и СТАТИСТИКА. И как в фильме «Ночной дозор»: «И треснул мир напополам, дымит разлом, И льётся глас, идёт война добра со злом».
Аргументация ГГ представлена математическим языком и достаточно непроста для восприятия. Из-за своей профессиональной деформации я ее перевел в область судебной экспертизы и представлю читателям.
Несколько пояснений.
1. Глава большая (ну а кто говорил что СТАТИСТИКУ легко победить), поэтому разбил ее на 17 эпизодов в которых КОРРЕКТОР выдвигает новые аргументы и дал им названия согласно объекта/предмета аргументации.
2. Представил ситуацию судебного процесса в США где КОРРЕКТОР является судебным экспертом, а суд оценивает выдвинутую им аргументацию. США выбрал так как там Frye, Daubert и Federal Rule of Evidence 702 достаточно объемная культура к таким ситуациям, так как Frye работает с 1923 года. Европейская система подходов к судебной экспертизе запутана и перед читателем будет куча кодов законов. Китайская еще не сформировалась у них только с 2023 года работает комиссия по судебной экспертизе. А российская практика будет представлена множеством ссылок и будут дебри, еще большие, чем в Европейском регулировании, в которых читатель запутается. Хотя вся представленная аргументация будет работать для российского судебного процесса.
Участники:
- КОРРЕКТОР одновременно выступает экспертом, алгоритмом, следователем и исполнителем решения;
- Андрей (ГГ) становится объектом классификации и фактически обвиняемым;
- Кира, Лина Николаевна, Наталья Андреевна и Таэр выполняют функции перекрёстного допроса и оппонирующих экспертов;
- статистические модели играют роль экспертных методик;
- коррекция или устранение становятся последствиями признания заключения достоверным;
- независимого судьи — нет.
Последнее обстоятельство принципиально. Корректор сам создаёт данные, применяет метод, интерпретирует результат и исполняет решение. Именно отсутствие независимого gatekeeper позволяет ненадёжному заключению немедленно превращаться во вмешательство.
1. Три стандарта в кратком виде
Frye: общепринятость метода
Стандарт, связанный с делом Frye v. United States (1923), спрашивает прежде всего, получил ли научный принцип или метод общее признание в соответствующем профессиональном сообществе.
Это сравнительно консервативный фильтр. Он слабо приспособлен к совершенно новым методам: новая техника может быть качественной, но ещё не общепринятой; напротив, широко употребляемая техника не обязательно безошибочна.
Daubert: надёжность и релевантность
В Daubert v. Merrell Dow Pharmaceuticals (1993) Верховный суд США истолковал Rule 702 как требование активной проверки научной надёжности. Суд обозначил гибкие, неисчерпывающие факторы:
1) можно ли проверить теорию или метод;
2) подвергались ли они проверке;
3) были ли публикации и рецензирование;
4) известен или потенциально известен уровень ошибок;
5) существуют ли стандарты применения;
6) получила ли техника общее признание.
Кроме того, доказательство должно быть релевантно конкретному вопросу — иметь допустимость, то есть логически помогать установить именно тот факт, ради которого оно предложено.
Rule 702 FRE: квалификация, полезность, основания и применение
В современной формулировке Rule 702 эксперт может давать мнение, только если сторона, предлагающая доказательство, показывает — с большей вероятностью, чем нет, — что:
1) специальные знания помогут установителю фактов;
2) мнение основано на достаточных фактах или данных;
3) оно является продуктом надёжных принципов и методов;
4) эксперт надёжно применил эти принципы и методы к обстоятельствам конкретного дела.
2. Сюжет как последовательное слушание Daubert
Развитие главы можно прочитать как постепенное разрушение экспертного заключения КОРРЕКТОРА. Сначала сомнение падает на данные, затем на интерпретацию, после — на метод проверки, а в финале — на релевантность всей модели поставленной цели.
Квалификация КОРРЕКТОРА предполагается -> Проверка исходных данных -> Проверка статистических выводов -> Проверка экспериментов -> Проверка частоты ошибок -> Проверка применения к Андрею -> Проверка функции потерь -> Попытка переноса вывода на Академгородок
По логике Rule 702 заключение КОРРЕКТОРА последовательно проваливает почти все требования.
3. Появление КОРРЕКТОРА: квалификация без верификации
Корректор входит в сцену как носитель высшей аналитической компетенции. Его способность выполнять масштабные расчёты принимается почти автоматически. В судебной аналогии его как будто признали экспертом на основании происхождения, мощности и специальной функции.
Но Rule 702 требует квалификации не вообще, а в соответствующей области и применительно к вопросу. Способность быстро вычислять не доказывает компетентность в:
- причинном выводе;
- экспериментальном дизайне;
- оценке индивидуального риска;
- психологии поведения;
- этике вмешательств;
- анализе социальных и научных экосистем.
КОРРЕКТОР, таким образом, может быть квалифицирован как вычислительная система, но не обязательно как эксперт по вопросу: «Представляет ли Андрей опасность и следует ли его корректировать?»
По Frye возникает ещё более ранняя проблема: текст не показывает, что метод КОРРЕКТОРА вообще признан каким-либо научным сообществом. Он апеллирует к внутреннему авторитету системы, а не к внешнему профессиональному признанию.
Сюжетная функция: первоначальный авторитет КОРРЕКТОРА напоминает ошибочную судебную установку: «раз система сложна и считает быстро, её выводы научны».
4. Первая выборка: недостаточность и нерелевантность данных
Корректор использует выборку первой волны из 16 777 216 подключённых людей. Участники указывают, что в неё попадали люди в экстремальных состояниях.
По Frye
Само использование больших выборок и статистического сравнения, вероятно, общепринято. Поэтому Frye может пропустить анализ на слишком высоком уровне абстракции:
Статистические методы признаны? Да.
Но это ничего не говорит о пригодности данной выборки для данной задачи.
По Daubert
Возникают вопросы:
- проверялась ли репрезентативность;
- известна ли ошибка отбора;
- существует ли валидированная процедура переноса выводов;
- можно ли воспроизвести классификацию на независимой выборке;
- соответствуют ли данные целевой совокупности.
По Rule 702
Проблема затрагивает сразу два пункта:
- заключение не основано на достаточных и подходящих фактах;
- метод ненадёжно применён к обстоятельствам Андрея.
Большой объём не устраняет систематическое смещение:
Большое не следует репрезентативность.
Сюжетное развитие: первая атака героев направлена не против статистики, а против основания экспертного заключения. В терминах Rule 702 они требуют показать, что данные действительно относятся к рассматриваемому человеку и вопросу.
5. Отклонение на 5,71 σ: разрыв между результатом и юридически значимым вопросом
Корректор показывает, что Андрей крайне необычен относительно модели. Даже если вычисление верно, оно отвечает лишь на вопрос:
Насколько значение признака Андрея далеко от среднего?
Но КОРРЕКТОР использует его для ответа на другой вопрос:
Опасен ли Андрей и следует ли его устранить?
Это классическая проблема Daubert fit (допустимости по Daubert). Метод может быть математически исправным, но не подходить к факту, который требуется установить.
Логическая подмена имеет вид:
Редкость => аномалия => ошибка => опасность.
Ни один переход автоматически не следует из предыдущего.
По Rule 702 экспертное мнение должно помогать установителю фактов. Сведения о статистической редкости могли бы быть допущены для ограниченной цели, но вывод об опасности следовало бы исключить как выходящий за пределы того, что поддерживает метод.
Вероятный судебный результат: суд мог бы разрешить КОРРЕКТОРУ сказать, что показатель редок, но запретить утверждать на этом основании, что Андрей опасен.
6. Малое p-значение: ненадёжное применение допустимого метода
В следующей части Корректор получает крайне малое p-значение и фактически трактует его как вероятность безопасности или истинности нулевой гипотезы.
Здесь важно различить:
- метод проверки гипотез может быть общепринятым;
- применение и интерпретация метода в конкретном случае ненадёжны.
Frye
При грубом применении Frye заключение могло бы пройти: проверка гипотез является признанным методом.
Daubert и Rule 702
Заключение проваливается именно на этапе применения. КОРРЕКТОР подменяет:
P(D∣H0)
величиной:
P(H0∣D).
Также не раскрыты:
- заранее ли сформулирована гипотеза;
- как выбрана тестовая статистика;
- проводились ли другие тесты;
- соблюдены ли предпосылки модели;
- каково отношение правдоподобий;
- какова практическая величина эффекта.
Это хороший пример превосходства стандарта Daubert/Rule 702 над одним лишь Frye: общепринятый метод может быть недопустимым, если конкретный эксперт применил его неправильно.
7. Корреляция 0,94: отсутствие причинного fit (связности)
Корректор связывает присутствие Андрея с необычными событиями и воспринимает высокую корреляцию как доказательство того, что Андрей их вызывает.
В судебной практике это был бы спор не столько о вычислении коэффициента, сколько о пределах экспертного вывода. Корреляционный анализ может показать ассоциацию, но причинное заключение требует дополнительного обоснования:
- временной последовательности;
- устранения альтернативных объяснений;
- контроля смешивающих факторов;
- устойчивости связи;
- механизма;
- сопоставимых контрольных данных.
Реплика о пожарных рядом с пожарами точно выявляет возможное смешение причины и реакции: Андрей может находиться возле аномалий потому, что его роль приводит его к ним.
По Rule 702 Корректор не показал надёжного применения причинного метода. Более того, возможно, он вообще не применил причинный метод — только корреляционный.
Судебная аналогия: корреляцию можно допустить, но причинное заключение следует исключить как не поддержанное методикой.
8. Испытание с балкой: тестируемость без надёжного протокола
Создание Корректором угрозы выглядит как переход от наблюдательного анализа к эксперименту. С точки зрения Daubert это потенциально сильный шаг: гипотезу пытаются проверить.
Но тестируемость сама по себе ещё не означает надёжность. Необходимо установить:
- заранее заданный протокол;
- контроль;
- определённый критерий успеха;
- независимость измерения;
- возможность повторения;
- заранее обозначенный опровергающий результат;
- известную частоту ошибок.
В главе тест конструируется так, чтобы реакция Андрея интерпретировалась внутри уже принятой модели опасности. Корректор одновременно:
- создаёт стимул;
- прогнозирует реакцию;
- классифицирует результат;
- изменяет классификацию после наблюдения.
Это близко к ситуации, когда эксперт разрабатывает методику специально для разбирательства, не проводит слепую проверку и не фиксирует критерии заранее. В логике Daubert такая ad hoc-методика требует особенно строгого рассмотрения.
Вмешательство Киры дополнительно показывает отсутствие контроля над экспериментальной средой. Оно не просто «портит» испытание, а доказывает, что модель КОРРЕКТОРА не учитывает социальное взаимодействие.
9. Нефальсифицируемая модель: прямой провал Daubert
Корректор последовательно включает в подтверждающие результаты:
- действие;
- бездействие;
- нестандартное действие;
- обнаружение скрытой зависимости;
- отказ следовать сценарию.
Это самая прямая связь главы с фактором Daubert «можно ли проверить и опровергнуть теорию».
Если любое D трактуется как подтверждение H1, то модель не делает рискованного прогноза:
Для любого D: D следует H1.
В таком виде она не отличает мир, где Андрей опасен, от мира, где он не опасен. Следовательно, наблюдения не могут изменить отношение к гипотезе рациональным способом.
Сравнение с гороскопом здесь уместно: текст не обязательно утверждает, что все широкие модели ложны; он показывает, что формулировка, совместимая с любым результатом, не обладает достаточной доказательной силой.
Результат по стандартам
- Frye: вероятно, нет общего признания такой методики.
- Daubert: отсутствует фальсифицируемость.
- Rule 702: метод не помогает надёжно решить спорный вопрос и ненадёжно применён.
Это почти безусловное основание для исключения заключения.
10. Тридцать восемь игл: неизвестная и заниженная частота ошибок
Опыт с 38 иглами особенно хорошо соответствует фактору Daubert, касающемуся known or potential rate of error.
Корректор, по-видимому, рассматривает угрозы как отдельные наблюдения, хотя все они управляются одной функцией. Если наблюдения зависимы, расчёт риска и точности может быть сильно завышен. При положительной внутрикластерной корреляции эффективный размер выборки меньше номинального.
При сильной зависимости 38 угроз не дают информации, эквивалентной 38 независимым испытаниям.
В логике Rule 702 это означает:
- фактическое основание неправильно структурировано;
- статистический принцип применён с нарушением его предпосылок;
- заявленная точность не подтверждена.
Андрей побеждает не вопреки научному тесту, а посредством обнаружения его скрытого дефекта. Сюжет тем самым превращает перекрёстный допрос методики в действие: оппонент выявляет предпосылку, которую эксперт не раскрыл.
11. Байесовские 92% и 96,8%: непрозрачные априорные основания
Корректор присваивает Андрею высокую вероятность опасности, опираясь на историю сетей с нестандартными операторами.
В судебной аналогии немедленно возникли бы вопросы:
1) Откуда взята априорная вероятность?
2) Почему исторические сети сопоставимы с текущей?
3) Как определялись «нестандартный оператор» и «разрушение»?
4) Какова контрольная частота разрушения?
5) Как вычислено отношение правдоподобий?
6) Производился ли выбор благоприятных примеров?
Без этих сведений слово «байесовский» не делает вывод надёжным. Правильная формула не компенсирует необоснованные входные данные.
Лина Николаевна фактически проводит перекрёстный допрос экспертного основания:
Сравните результат с контрольной группой.
После этого оказывается, что сети без нестандартных операторов разрушаются почти так же часто. В терминах Rule 702 первоначальное заключение не было основано на достаточных фактах, поскольку Корректор не раскрыл базовый риск.
Разница между относительным и абсолютным риском также относится к допустимости. Даже статистически существующая ассоциация может иметь слабую практическую значимость и не поддерживать радикальную интервенцию.
12. R = 1,043 и снижение риска до 27,4%: частичное исправление не спасает заключение
Добавление контрольной группы улучшает анализ. Однако Rule 702 требует не просто реакции на отдельное замечание, а доказательства полной надёжности заключения.
Относительный риск 1,043 сам по себе не позволяет получить вероятность опасности 27,4%. Нужны:
- исходная частота;
- полная таблица наблюдений;
- доверительные интервалы;
- модель переноса с сетей на Андрея;
- байесовские априорные предпосылки;
- чувствительность результата к этим предпосылкам.
Поэтому эпизод показывает важный принцип Daubert: эксперт не может исправить один очевидный дефект и объявить всю модель валидированной. Надёжность оценивается применительно ко всей цепочке вывода.
13. Малые подгруппы и собственный атлас: post hoc-анализ
После ослабления исходного вывода Корректор сужает выборку до редкого класса сетей с собственным атласом. Это напоминает постфактумный поиск подгруппы, в которой эффект выглядит сильнее.
С точки зрения Daubert и Rule 702 настораживают:
- малая выборка;
- широкий доверительный интервал;
- отсутствие предварительной гипотезы;
- множественный перебор подгрупп;
- отсутствие независимого подтверждения;
- возможность обратной причинности.
Если атлас появляется в сетях, которые уже начинают разрушаться, наблюдаемая связь не доказывает, что атлас вызывает разрушение. Метод должен различать:
Атлас следует разрушение
и
угроза разрушения следует создание атласа.
Корректор этого не делает. Следовательно, вывод не обладает достаточным причинной связью.
14. Ошибка выжившего: неполная совокупность доказательств
Корректор изучает пять выживших сетей из 6308 и обнаруживает у них полную классификацию и единую цель.
В судебной аналогии это соответствует экспертному выводу, построенному на селективно отобранных положительных примерах. Для надёжной оценки нужны все ячейки сравнительной таблицы, в том числе погибшие сети с теми же признаками.
Если все выжившие имели X, это показывает максимум:
P(X∣S)= 1
в наблюдаемой выборке. Но Корректору для интервенции нужно нечто вроде:
P(S∣X)≫P(S∣egX).
Это обратные условные вероятности. Первая не определяет вторую.
По Rule 702 это одновременно:
- недостаточность данных;
- неверное применение вероятностного рассуждения;
- разрыв между наблюдением и выводом.
15. Множественные сравнения: неизвестная реальная частота ложных открытий
Когда Корректор расширяет анализ на всю Зону и проверяет множество признаков, сюжет прямо вводит проблему множественных сравнений.
Это один из наиболее буквальных критериев Daubert: известна ли частота ошибок метода? Если выполняются тысячи тестов без поправки, номинальный уровень значимости отдельного теста не равен семейной вероятности ложного открытия.
Корректор должен был показать:
- сколько гипотез проверено;
- какие гипотезы заданы заранее;
- какая поправка применена;
- контролируется ли семейная ошибка или доля ложных открытий;
- воспроизведён ли результат на новых данных.
Без этого найденная связь между автономностью и скоростью согласования может быть продуктом поиска по данным.
Даже если Корректор сообщает, что поправка выполнена, Rule 702 всё равно требует проверить:
- соответствует ли поправка структуре зависимостей;
- не были ли признаки и модели отобраны до формального теста;
- не использованы ли одни данные и для открытия, и для подтверждения связи.
16. Снижение автономности: провал требования helpfulness и fit
Предположим, связь между автономностью и замедлением согласования обнаружена надёжно. Из этого ещё не следует рекомендация уменьшить автономность до 43%.
Это различие между:
1) научным утверждением о фактах;
2) экспертной оценкой риска;
3) нормативным решением.
Статистика может поддержать утверждение:
Более высокая автономность ассоциирована с более медленным согласованием.
Но решение:
Следовательно, автономность следует уменьшить,
требует дополнительных ценностных предпосылок:
- скорость согласования важнее качества решений;
- снижение автономности не вызывает большего вреда;
- права личности допускают такое вмешательство;
- долгосрочная инновационность не является приоритетом;
- вмешательство обратимо и пропорционально риску.
Rule 702 не допускает, чтобы эксперт скрыто превращал свои ценности в научный вывод. Экспертиза должна помогать решению вопроса, но не присваивать себе полномочие определять все нормативные веса.
Реплика о потере будущих решений фактически раскрывает пропущенные переменные функции потерь. После их включения рекомендация меняется. Следовательно, прежняя «научная необходимость» была продуктом неполной постановки задачи.
17. Удаление редких траекторий: индивидуализация экспертного вывода
Корректор переходит от групповых закономерностей к вмешательству в пространство решений конкретного человека.
Это вызывает проблему индивидуализации, часто возникающую при применении статистического доказательства:
P(Y∣G)
для группы GG не тождественно достоверному выводу о конкретном лице i:
Yi.
Групповой риск может быть релевантен, но для индивидуального заключения требуется показать, что:
- Андрей действительно принадлежит сопоставимой группе;
- использованные признаки измерены надёжно;
- модель калибрована для подобных лиц;
- её индивидуальная ошибка известна;
- существуют внешняя валидация и анализ неопределённости.
Корректор вместо этого превращает редкость траектории в основание для её удаления. С позиции Rule 702 это выходит за пределы поддержанного методом вывода.
Важно, однако, не абсолютизировать возражение героев: уникальный поступок можно включить в вероятностную модель. Проблема не в однократности, а в том, что Корректор не показал полноту пространства исходов и валидность перехода от прогнозной редкости к допустимости принудительного исключения.
18. Переход к Академгородку: экологическая ошибка и экстраполяция за пределы метода
Финальное расширение анализа представляет собой наиболее радикальный провал Rule 702. Корректор переносит модель:
- с исторических сетей на Андрея;
- с Андрея на жителей;
- с жителей на социальную среду;
- со статистической связи на программу преобразования города.
Каждый перенос требует отдельной валидации. Надёжность модели в одной области не доказывает её применимость в другой.
В терминах Daubert отсутствует связь между исходными данными и масштабом предлагаемого вывода. Даже если независимость и междисциплинарность связаны с повышенной вариативностью, это не означает, что их подавление улучшит город. Для Академгородка вариативность может быть не побочным риском, а целевой функцией.
Суд должен был бы ограничить показания:
- разрешить описание обнаруженных ассоциаций;
- запретить причинные выводы без соответствующего дизайна;
- запретить индивидуальный вывод об Андрее без валидации;
- исключить рекомендации по массовой коррекции как выходящие за пределы методики.
Главное различие между юридическим и сюжетным конфликтом
Даже успешное прохождение Daubert/Rule 702 не означало бы, что Корректор прав или что его вмешательство допустимо. Допустимость экспертного свидетельства — лишь предварительный фильтр. После него остаются вопросы:
- достаточен ли вес доказательства;
- доказана ли причинность;
- пропорциональна ли мера;
- существуют ли менее ограничительные средства;
- соблюдены ли автономия и права личности;
- кто вправе определять функцию потерь.
Поэтому глава идёт дальше Daubert. Сначала герои доказывают, что многие методы КОРРЕКТОРА ненадёжны. Затем появляется более глубокий аргумент:
Даже безупречная модель риска не создаёт сама по себе полномочия подавлять автономность.
Иными словами, Rule 702 может исключить плохую экспертизу, но не решает нормативную проблему хорошей экспертизы, применённой ради недопустимой цели.
А все детали противостояния Андрея (ГГ) и системы его инструкции по механизмам техномагии ищите в романе «Носитель 0».