Как устроено судейство на конкурсе «Разумное, доброе, вечное»

Как устроено судейство на нашем конкурсе? 
Почему оно построено именно так? 
И отчего оценки ИИ на один и тот же рассказ могут разниться? 
Рассказываем в деталях:

Уважаемые участники! Мы используем принципиально новый подход к судейству, основанный не на единичном мнении (пусть даже «железобетонного» эксперта), а на статистической достоверности. Когда вы видите, что один и тот же рассказ получает 90 баллов, а затем 70, это не ошибка алгоритма. Это фундаментальный принцип работы нашей судейской модели, который можно сравнить со стрельбой по мишеням.

1. ИИ — это не линейка, а стрелок

Традиционный судья-человек, как и любая программа-калькулятор, выдает один жесткий вердикт. Но человеческое восприятие нелинейно: утром судья бодр и щедр, вечером — устал и строг.

Наш ИИ-судья воспроизводит работу коллегии экспертов. Каждая отдельная оценка — это как выстрел по мишени. Природа генеративного интеллекта такова, что в каждом «выстреле» он фокусируется на немного разных аспектах текста (сюжет, стиль, метафоры), моделируя живую реакцию разных читателей. Отсюда и возникает легендарный «разброс».

2. Феномен «Семерки» и «Десятки» (Закон больших чисел)

Представьте двух стрелков: Мастера спорта и Новичка.

Хороший рассказ (Мастер): Его выстрелы ложатся кучно в районе «девятки». Он может случайно дрогнуть и попасть в «семерку» (ИИ чуть строже оценил конкретную метафору), но он никогда не опустится системно ниже среднего. Его средний балл — стабильно высокий.

Слабый рассказ (Новичок): Его выстрелы разбросаны хаотично по «тройкам» и «пятеркам». Но по закону подлости (или везения) он может один раз пальнуть в «десятку» (ИИ зацепился за случайно удачную фразу и на эмоциях завысил оценку). Однако средний балл безжалостно покажет правду: это случайность, а не мастерство.

Именно это мы и делаем — не один выстрел, а серию. Чем больше выстрелов (итераций оценки), тем меньше влияние случайной погрешности и тем точнее вырисовывается истинный уровень стрелка.

3. Почему «средний балл» — это самый честный вердикт

В математической статистике это называется «регрессия к среднему». Случайные выбросы (как неожиданный шедевр у графомана, так и досадная «тройка» у гения) тонут в объеме данных.

Если у рассказа в среднем 90, а диапазон был от 70 до 100, это говорит:

«Это сильная работа. У нее есть стабильный стержень качества, но некоторые решения автора могут нравиться чуть меньше или чуть больше в зависимости от настроения читающего».

Если у рассказа средний балл 70, но однажды выскочила «девятка», это значит:

«У рассказа есть один яркий момент, который может "замылить глаз", но глубинное качество текста низкое. Статистика вскрыла эту иллюзию».

4. Чем это лучше классического судейства?

В классическом судействе вам везет или не везет с одним конкретным человеком. Если его «единственный выстрел» пришелся на вашу «семерку», вы проиграли, даже если на самом деле вы Мастер спорта.

Мы же даем тексту гораздо больше шансов быть оцененным с разных ракурсов, в разном «настроении» ИИ, и выводим интегральный показатель силы.

Итог:

Не смотрите на отдельные цифры. Смотрите на среднее арифметическое. Именно оно — ваш истинный результат. Слабый стрелок может один раз сорвать аплодисменты, но турнир выигрывает тот, кто показывает стабильно высокий результат серия за серией.

Таким образом, наш конкурс построен по принципу спортивных состязаний высшего уровня, где никто не становится чемпионом по итогам единственной попытки.

Детали судейства:

Квалификация: На первом этапе все участники выходят на общий огневой рубеж. Здесь работают 12 судей — шесть оценивают точность содержания, шесть — безупречность формы. Это квалификационный раунд, где каждый рассказ делает свою пристрелочную серию. Слабые стрелки обнаруживают себя сразу: разброс велик, попадания в цель случайны, и средний балл неумолимо выбрасывает их за черту отбора. Так формируется лонг-лист — мы отсеиваем тех, кто гарантированно не претендует на победу, не тратя ресурс дальнейших судейских итераций.

Лонг-лист: Но дальше начинается самое интересное. Рассказы, прошедшие квалификацию, получают право на дополнительную серию выстрелов. Количество оценок растёт, и по закону больших чисел случайные колебания («повезло — не повезло») сходят на нет. Погрешность сужается, проявляя истинную, стабильную силу автора. Именно здесь становится ясно кто держит стабильно высокий уровень от выстрела к выстрелу.

Шорт-лист: Наконец, лучшие из лучших попадают в шорт-лист — наш финал. Для них проводится ещё один, самый детальный раунд судейства. Это ювелирное уточнение оценки, которое позволяет буквально под лупой разглядеть, кто же достоин золотой медали. Побеждает тот, чей средний результат подтверждён статистически безупречно, серия за серией, раунд за раундом.

Таким образом, многоступенчатая система — это не просто отбор, а последовательное снятие неопределённости. И когда объявляется победитель, это не мнение одного эксперта, поставившего одну оценку, — это финальный аккорд десятков выстрелов.