О конкурсных оценках (размышление)

          На это размышление меня натолкнули дискуссии в блогах последних конкурсов разного уровня серьёзности и обсуждения конкурсов и игр как на АТ, так и вне его. Поэтому у меня возник вопрос: а можно ли вообще ранжировать произведения по качеству. И чтобы не было недопонимания:

1. Я не ставлю себе цели обидеть кого либо, просто обсуждения навели на мысли
2. У меня нет претензий ни к одному из организаторов конкурсов. Устанавливать правила и критерии отбора на своё усмотрение -- право организаторов
3. Единственно верного способа определить рейтинг и качество произведений нет. У каждого способа есть свои плюсы, минусы и границы применимости.
4. Все цифры и произведения взяты с потолка для наглядности и не являются отсылками к конкретным книгам или авторам. Примеры утрированы
5. Будет много-много очень нудных описаний с кучей циферок
6. В рассматриваемых примерах нет гениальных творений, понятных лишь очень узкому кругу избранных, я ориентируюсь на произведения для простых смертных

         Так, надеюсь, уровень абстрактности дальнейших рассуждений обозначен, теперь можно начинать.

Первый вариант: оценка произведения по его популярности.

         Для наглядности всё то же, только в виде таблицы:

         Исходя из этих цифр, можем ли мы сказать какое произведение качественней и сильней? Нет. Можем ли мы сказать какая из них популярней? Да. «Шедевр3» смог привлечь внимание большего количества людей, в том числе и потому что охватил большую аудиторию и оказался в жанрах, которые интересуют большее число людей. Но по формальным признакам он в разы делает конкурентов. Можем ли мы сказать, что «Шедевр1» и «Шедевр2» одинаковые по качеству, одинаково интересны и т.д.? Их формальные показатели почти одинаковы, но реально «Шедевр2» в разы лучше, чем «Шедевр1».

         Можно расширить статистику количеством просмотров книги вообще, просмотров последней части, временем чтения, соотношениями просмотров, библиотек, лайков и комментариев между собой, количеством рецензий. Но тогда придётся вводить в формулы количество частей произведения и кучу других параметров. И все они так же будут слишком сильно зависеть от того, насколько велик изначальный охват читателей и сколько из них вообще заинтересуется книгой. От того выкладывалась ли книга разом или у читателей была потребность высказываться в ожидании новой главы. И в итоге мы получим показатели, которые будут отражать популярность и, отчасти, активность автора, пиарящего книгу. Но не качество.

         Итог: по формальным значениям (количество добавлений в библиотеки, отзывы, лайки, рецензии) можно сделать выводы о популярности книги, о том, насколько она может привлечь к себе внимание, заинтересовать первым впечатлением. Но не ценность и литературные качества.

         Разъяснение: это не значит, что «Шедевр3» не может быть хорошей книгой. Качественные, яркие и сильные книги есть как среди популярных произведений, так и среди известных полутора землекопов. Точно так же, как и откровенный хлам бывает на всём протяжении спектра популярности. Немного этот момент будет затронут дальше при рассмотрении голосования читателей.

          Дополнение: уже после публикации вспомнила про ещё одно явление, связанное с популярностью. В какой-то момент количество переходит в ещё большее количество и популярные книги становятся ещё популярней, а малооценённые теряют оставшееся читательское внимание. Это происходит из-за того, что чем популярней книга, тем больше времени она на виду, тем шире становится охват аудитории, а значит и больше в количественном плане читателей придёт на страницу книги, добавит в библиотеку, оставит отзыв и поставит лайк, тем самым сделав книгу ещё более популярной. Замкнутый круг.

Второй вариант: оценка экспертами

         Этот вариант разбивается о первые же вопросы:

         А судьи кто? А по каким параметрам ведется оценка? И где найти судей?

         Тут много текста не будет, просто потому что экспертов на порядки меньше, чем произведений, чтобы охватить всю их массу. Поэтому к судьям попадает уже какая-то выборка, сделанная либо по популярности (см. выше), либо самосудом участников конкурса или читательским голосованием (см. ниже).

         Да и кто такой наш эксперт? Это человек, обладающий:

1. Богатым и разнообразным багажом прочитанных книг
2. Развитым литературным вкусом
3. Развитыми чувствами языка, образа и текста
4. Широким кругозором
5. И всё это на глубоком и основательном фундаменте теоретических знаний.
6. Пользующийся уважением и доверием тех, кого он должен оценить, а значит и соответствующей репутацией.

         Вот честно, не буду тыкать пальцем, но когда я много слушала всевозможные видео о литературе и писательстве на ютубе и читала всевозможные блоги и сайты, я нашла не мало разных «гуру». Часть из них не только писатели, но и члены жюри разных конкурсов, редакторы в издательствах и т.д. и т.п. И от некоторых мне было бы интересно услышать мнение/оценку моих текстов, к их критике я бы прислушалась. Но одновременно есть и те, чей отзыв, если он возникнет, я прочитаю и забуду т.к. мне не приятно их отношение к некоторым явлениям и риторика в которой они о них говорят. При этом последние могут быть профессионалами любого уровня по первым 5 пунктам, но не устраивать меня по шестому.

         Итого: это наиболее объективная оценка произведения по его литературным качествам. Но достойная книга может просто не пробиться в выборку, которая попадёт на стол эксперта. И ещё один критический недостаток -- такая оценка занимает много времени, поэтому не годится для работы с большим количеством произведений разом. Но всегда могут быть вопросы к личности и квалификации эксперта, и вопрос доверия к нему участников.

Третий вариант: оценка самосудом и/или читательским голосованием

         О, в этом пункте, обещаю, забодаемся читать. Потому что тут вариантов несчесть. Для модели рассмотрим 10 произведений от «Шедевр0» до «Шедевр9» и для простоты и наглядности примем, что «Шедевр0» самый плохой, а «Шедевр9» самый хороший, но «Шедевр4» и «Шедевр5» несмотря ни на что попадают в самое сердце. (Напоминаю, примеры модельны, упрощены и местами для наглядности геперболизированы)

Авторский самосуд ТОПами

         Предположим, что из нашей десятки необходимо выбрать 3 произведения методом самосуда. И все десять авторов распределяют места с 1 по 9 и за себя голосовать нельзя.

         Вариант первый: все авторы проголосовали честно. Половина отдала предпочтение формально-объективным параметрам при оценке, а половина общему впечатлению и один просто с нестандартными вкусами. И все они, конечно, прочитали всех конкурентов. Как авторы проголосовали можно увидеть на картинке 1.

В итоге мы получаем ТОП:

1. Шедевр7     (29)
2. Шедевр5     (30)
3. Шедевр8     (30)
4. Шедевр9     (30)
5. Шедевр4     (33)
6. Шедевр6     (41)
7. Шедевр2     (58)
8. Шедевр1     (60)
9. Шедевр3     (63)
10. Шедевр0    (76)

         Или в тройку лидеров попали как сильные, так и яркие книги. И всё было бы хорошо… но среди авторов могут оказаться и не совсем честные люди, которые проголосуют не честно, а так чтобы повысить свои шансы. Пусть таких будет трое, ну и один -- с нестандартными вкусами. Тогда таблица голосов станет выглядеть как на картинке 2.

А ТОП стал таким:

1. Шедевр4     (38)
2. Шедевр9     (39)
3. Шедевр5     (40)
4. Шедевр8     (43)
5. Шедевр7     (44)
6. Шедевр1     (45)
7. Шедевр2     (45)
8. Шедевр6     (47)
9. Шедевр3     (53)
10. Шедевр0    (56)

         Я честно меняла значения случайных столбиков. И как мы видим слабые книги всё равно остались внизу, а вот в тройку лидеров попало больше середнячков, чем сильных книг. Если количество нечестно проголосовавших будет увеличиваться, то сначала в лидеры выйдут середнячки, а потом и их потеснят низкокачественные работы.

         Итого: при голосовании самосудом методом отправки ТОПов может выявить сильные произведения даже при некотором количестве нечестных или добросовестно заблуждающихся участников. Но при увеличении количества участников может потребоваться очень много времени на чтение и оценку. А личная заинтересованность может исказить результат.

Дополненный вариант самосуда ТОПами

         Проблему нарастания времени на оценку и проблему нечестного голосования можно решить, разделив голосование на две группы, предложив участникам голосовать за произведения противоположной группы.

         Как это бы выглядело на нашем примере показано на картинке 3. Туда перенесены предпочтения из таблицы на картинке 1, пересчитанные с ТОР-9 на ТОП-5 без дополнительной рандомизации. И группы разбиты просто по порядку, таким образом получилась одна группа сильных произведения, а вторая -- слабых.

ТОПы групп:

Или если их объединить, то ТОП превратится в:

1. Шедевр4     (5)
2. Шедевр2     (13)
3. Шедевр9     (13)
4. Шедевр5     (14)
5. Шедевр7     (14)
6. Шедевр8     (14)
7. Шедевр1     (16)
8. Шедевр3     (18)
9. Шедевр6     (20)
10. Шедевр0    (23)

         Таким образом, если группы неоднородны по силе, из слабой группы выходят самые сильная и яркая и работы достаточно объективно распределились по местам, а из сильной может выйти любой. При объединении результатов в общий ТОП, преимущество получают яркие и харизматичные работы из слабой группы! То есть результат в данном примере не отражает реальное распределение по силе и качеству работ.

         Но перемешаем, примерно выровняв группы, сделав их более однородными. Голосование всё так же переношу из таблицы с картинки 1 просто скорректировав. Результаты на картинке 4.

Или если их объединить, то ТОП превратится в:

1. Шедевр8    (6)
2. Шедевр6    (11)
3. Шедевр5    (12)
4. Шедевр7    (12)
5. Шедевр9    (12)
6. Шедевр4    (13)
7. Шедевр1    (18)
8. Шедевр2    (20)
9. Шедевр3    (21)
10. Шедевр0    (25)

         Итого: голосование самосудными ТОПами в группах выводит в тройку лидеров сильные и харизматичные работы, но сводный ТОП по баллам из групп всё равно не отражает реальное качество работ. При таком способе ранжирования есть смысл проводить голосования в два этапа -- отбор в группах и голосование за получившиехся лидеров или вторым этапом самосуда, или читательским голосованием, или отдать их на оценку экспертов. Основная проблема остаётся в формировании начальных групп таким образом, чтобы общее распределение произведений по силе от группы к группе отличалось как можно меньше. Но с другой стороны при уменьшении количество авторов и произведений в группе больший вес будут иметь случайные значения, поэтому критически важно организовать в группы достаточное количество авторов, чтобы их суммарная оценка стала показательной, но не слишком много, чтобы на формирование этой оценки ушла вечность времени.

Проставление читателями оценок

         Но всё же авторы могут быть предвзяты, да и оценивать могут не столько общее впечатление от произведения, сколько техническую его составляющую. А вот читатели… А вот пусть теперь опытные читатели оценят наши десять шедевров по пятибалльной шкале. Им не обязательно читать всё, поэтому они будут ориентироваться на обложку и аннотацию при выборе что почитать и могут выставить оценку не дочитав до конца. И пусть удачные аннотации будут у «Шедевр3», «Шедевр5» и «Шедевр7», а у «Шедевр9» и «Шедевр1» наоборот что-то невнятное. И как и в прошлых примерах 1 человек с альтернативным вкусом. Так как оценок будет разное количество, то в итоговый зачёт пойдёт их среднее значение. Как прошло голосование показано на картинке 5.

Итоговый ТОП получился таким:

1. Шедевр8     (4,67)
2. Шедевр7     (4,50)
3. Шедевр9     (4,50)
4. Шедевр5     (4,13)
5. Шедевр6     (4,00)
6. Шедевр4     (3,33)
7. Шедевр3     (3,00)
8. Шедевр0     (2,25)
9. Шедевр1     (2,00)
10. Шедевр2    (2,00)

         То есть в нашей модели книги с удачными аннотациями получили больше голосов, качественные и яркие работы привлекли и удержали больше внимания и собрали больше оценок, а, следовательно, их место в итоговом ТОПе точнее отражает их качество. И в целом ТОП отражает уровень произведений.

         Но это при условии, что все читатели начитанные и с развитым вкусом и сформированными ориентирами, чувствующие книги. Но ведь это не всегда так. И при увеличении количества читателей с альтернативным или с испорченным вкусом, или с ещё не сформированным вкусом читательское внимание с ярких (напоминаю, это по условию «Шедевр4» и «Шедевр5») и качественных (последние номера «Шедевров») будет сползать к «Шедевр2». И с одной стороны количество оценок на них будет увеличиваться, с другой «Шедевр9» рискует остаться вообще без оценок. И хорошие и плохие книги становятся неразличимы в итоговом ТОПе. И пример подобной ситуации мы можем наблюдать, если заглянем в самые оценённые произведения на любом сайте с широкой аудиторией. Там рядом будут очень разные книги.

         Итого: определение тройки лидеров по читательской оценке отражает не столько качество самих работ, сколько качества читателей. И при расширении числа голосующих в лидеры будут попадать работы сильно различающиеся по качеству. Этот недостаток может быть компенсирован введением ценза, минимального уровня читателя, после которого появится возможность выставлять оценки. Но при таком подходе мы всё равно оцениваем в первую очередь общее ощущение от произведения.

         Отступление: а как определить порог входа? Для малых групп это можно сделать в ручном режиме, раздав ведомость избранным. А если расширить рамки до масштабов Автор.Тудей, Лит.Нет, Флибусты, Ридеро, ЛитРеса? В этом случае можно дать возможность оценивать всем, но начинать учитывать оценки только тогда, когда читатель сколько-то раз подряд оценит прочитанную книгу близко к предыдущему итоговому значению. Но тогда необходимо не показывать ни среднее значение, ни количество проголосовавших.

Оценка по отдельным параметрам

         Устали? Я тоже. Но финал уже близко, так что протираем глаза, дергаем за уши, просыпаемся и смотрим дальше. Тем более я посмотрела сколько сейчас время и сколько получилось текста и решила, что частные случаи в следующем варианте мне расписывать лень. (то есть варианты с недобросовестным голосованием, голосованием по группам, читательским голосованием и т.д.)

         Вернёмся к самосуду и следующий способ рассмотрим на его примере, помня, что возможен вариант и с читательским голосованием. Для простоты примем, что все авторы будут голосовать честно.

         Пусть каждый автор должен будет прочитать всех своих конкурентов и по пятибалльной шкале выставить оценки:

1. Общее впечатление
2. Язык повествования
3. Архитектура сюжета
4. Персонажи
5. Поднимаемая тема, как она внедрена в повествование
6. Диалоги
7. Описания
8. Динамика повествования
9. Правдоподобность в рамках авторских допущений
10. Любые другие параметры.

Блин, я же задолбаюсь оценки придумывать. Фиг с нем, с псевдораномом, привет копировать+вставить+поменять чуть чуть.всё же почти четыре утра уже.

         С вашего позволения, я не буду приводить весь куб оценок, а сразу покажу таблицу с суммой оценок по разным параметрам. Она на картинке 6.

         Я старалась проставить выдуманные оценки примерно правдоподобно и не противоречиво начальным условиям. И получилось, что этот рейтинг наиболее точно отразил качество работ.

1. Шедевр9   (450)
2. Шедевр8   (414)
3. Шедевр7   (397)
4. Шедевр6   (360)
5. Шедевр5   (335)
6. Шедевр4   (316)
7. Шедевр3   (276)
8. Шедевр2   (233)
9. Шедевр1   (199)
10. Шедевр0    (180)

         Недостатки и подводные камни опишу чуть позже, а теперь предлагаю сделать ТОПики по каждому параметру и поставить в таблицу не сумму баллов, а занимаемое в ТОПике место. Результаты на картинке 7.

         Не сложно увидеть, что по отдельным ТОПикам уже не всё столь однозначно, как в сумме. По распределению мест можно сравнить отдельные параметры, увидеть, кто каким качествам то или иное произведение выделяется из общей массы, и заметить отдельные особенности, например динамичность повествования в не очень хорошей книге, харизматичность у откровенного середнечка… А вот суммарный общий ТОП изменится следующим образом:

1. Шедевр9
2. Шедевр8
3. Шедевр7
4. Шедевр6
5. Шедевр4
6. Шедевр5
7. Шедевр3
8. Шедевр2
9. Шедевр1
10. Шедевр0

         Согласна, в моём примере изменения минимальны (большей частью потому что оценки выставлялись под результат), но общая тенденция в том, что яркие произведения повышают свою позицию и могут пробиться вверх. Но давайте эту логику продолжим дальше и перестроим ТОПики по аналогии с общим олипмийским зачетом. Результат на картинке 8.

1. Шедевр9
2. Шедевр8
3. Шедевр7
4. Шедевр5
5. Шедевр6
6. Шедевр4
7. Шедевр3
8. Шедевр1
9. Шедевр2
10. Шедевр0

         В итоге в лидерах у нас всё равно остаются самые сильные произведения, а вот яркие середнячки и харизматичные слабенькие улучшили свои позиции. А вот разрыв по баллам стал влиять меньше, сведясь до итогового положения в разных рейтингах.

         У такого препарирования произведения есть несколько существенных минусов.

1. Приходится разбивать впечатление от произведения на составляющие. И такой подход убивает впечатление от произведения. Просто есть произведения в которых ни к языку, ни к сюжету, ни к героям, ни к чему не прикопаешься, всё на максимальные баллы, но произведение при этом настолько выморожено от всего кривого и косого, что не отзывается частичкой тепла ни в уме, ни в сердце. Просто мы, читатели, люди, несовершенны, и читая, откликаемся в том числе и на несовершенство текста, созвучное нам, делающее произведение живым. И ни предсказать, ни выразить в числах, этот параметр нельзя. И за разбивкой на оценки за отдельные компоненты теряется целое. И с этим ничего нельзя сделать.
2. Сохраняется возможность нечестного оценивания, чтобы поднять повыше свою работу. Но если доля жуликов не высока, или в случае голосования читателей, среди которых может оказаться человек с альтернативными вкусами или просто тролль, а количество голосов больше 5, то можно сделать проверку на выбросы. И если после внесения в расчётную таблицу всех голосов при проверке обнаружатся аномально низкие или аномально высокие оценки нескольких параметров от одного и того же оценщика, то просто все его оценки этой работе удалять.
3. Этот способ самый хлопотный в реализации, но зато позволяет ранжировать по большому числу параметров.

         Итого: рейтинги по набору отдельных параметров позволяют наиболее полно формализовать и оценить качество произведения, но при этом теряется  самое важное в книгах -- то, насколько они могут поразить читателя (в хорошем смысле) и дать отклик уму и сердцу.

         При переходе от суммарной оценки (общая сумма балов) к суммированию частных рейтингов получают шанс яркие, но не сбалансированные произведения, что приближает итоговый рейтинг к результатам читательского голосования общими оценками. Это справедливо не только для разобранного примера, но и при реализации в рамках чисто читательского голосования и в рамках комбинирования нескольких вариантов оценки. Например, если оценить популярность из самого первого примера и перевести её в ТОП, взять ТОП читательского голосования и ТОП авторского самосуда, то при комбинировании всех трёх в верхних строчках окажутся работы, учитывающие и формальные качества, и впечатление, производимое на читателей, и умеющие привлечь к себе внимание.

Введение коэффициентов

         Любой комбинированный рейтинг можно дополнить коэффициентами повышающими или понижающими вклад какого-либо из компонентов.

         К комбинированным рейтингам относятся:

1. Компиляция двух и более ТОПов
2. Ранжирование по популярности с выставленным вкладом отдельных составляющих (количества библиотек, просмотров, отзывов, лайков,…)
3. Оценка по отдельным параметрам с не равным вкладом каждого из них с вариациями.

         Основное преимущество этого способа в том, что мы можем скорректировать результат, повысить вклад наиболее ценной для нас стороны произведения и уменьшить наиболее предвзятой. Это уже инструмент настройки результатов под прописанные требования.

         Например, можно ввести в ряд линеек оценки такие шкалы, как «эмоциональность» и «динамичнойть/экшен». Если в итоговую оценку они пойдут в равной степени, то в лидеры выйдут произведения сбалансированные по ним, и лидер будет ориентирован на широкую аудиторию. Если мы удвоим вклад «эмоциональности» и ополовиним «динамичности», то в лидерах будут уже условно (мы же помним про утрированность) «женские» произведения. Если мы ополовиним вклад «эмоциональности» и удвоим «динамичности», то в лидерах будут уже условно (мы же помним про утрированность) «мужские» произведения. Таким образом одни и те же результаты настраиваются для отбора книг, интересных разным ЦА.

         Аналогично можно балансировать соотношение качества самой книги и её способность заинтересовать первым впечатлением, или писательскую и читательскую оценку, или… До тех пор, пока фантазия не закончится.

         Итог: введение коэффициентов и сложных комбинированных формул оценки позволяет адаптировать отбор под конкретные требования.

Вывод

         Универсального способа найти лучшее произведения нет. Любой обор, любое составление рейтинга в итоге сводится в первую очередь к определению набора требований для лидера: это должна быть популярная книга? книга, которая понравится читателям? книга, выдающаяся своими литературными качествами? книга, ориентированная на узкую целевую аудиторию? Во вторую к объёму произведений, который нужно оценить и возможность отбора и контроля оценивающей группы. И исходя из них выбирать подходящий метод оценки.

         Так же необходимо не забывать о недостатках выбранного метода и всегда искать способы их подстраховать. Но и тут соблюдать меру.

         И не забывать, что лучшее -- враг хорошего, да и недовольные останутся всегда.

P.S. если где-то «бибилиотеку» не выловила, прошу прощения. Эта заметка была закончена уже под утро, поэтому и опечатки, поэтому и не рассмотрены некоторые частные случаи оценки по параметрам остались за границами рассмотрения.

P.P.S. это размышление, предположение, моделирование. Возможно, я ошибаюсь. Если у кого-то есть реальные цифры для примеров по одному и тому же набору произведений, но полученные по всем системам оценок, готова их вставить для иллюстрации рассуждений и, если нужно, скорректировать рассуждения и выводы.