Конкурсы и судьи

Я вообще как-то не планировал этот пост, то, что я в нём скажу я собирался дать как вступление к посту с отзывами на рассказы, который будет опубликован после 29 числа. Но вот вам моё мяу. 

Дело в том, что промежуточный итог одного конкурса новогодних рассказов оказался для меня неожиданным, что иронично, поскольку я в жюри. Но это нормально. Потому что, друзья мои, мой сегодняшний тезис таков: конкурсы в принципе не про то, чтобы выявить лучшего. 

Конкурсы не про справедливость. И не очень про объективность. И это я даже не про объективность жюри, а про объективность самого конкурса. Понимаете, конкурс, любой, в очень многих случаях, это попытка выбрать из теплого и из квадратного самое зелёное.

Эту тему ещё в прошлом году подняла Ольга Сурина, как раз вышеупомянутого конкурса организатор, в своём посте: https://author.today/post/579645. Здесь же она адресовала ряд вопросов Вадиму Фаргу, писателю, которому доводилось не только самому быть в жюри, но и который сам не так давно организовал довольно масштабный конкурс "Благоземье" здесь на АТ. С его ответами можете ознакомиться там же, в посте (кстати, рекомендую, они интересные), а я вынесу сюда сами вопросы. 

1. Все мы люди, все мы человеки и судья на писательском конкурсе тоже, так что же такое «Судейство» — объективная оценка или субъективная точка зрения?

2. Судейство — это тяжелая ноша или про потешить собственного эго? Что может сделать с человеком власть, вложенная в его руки?

3. Как понять, что судья предвзят и испытывает к автору неприязнь? Это вопрос к выбору судей. Вообще должен существовать отбор в судейскую комиссию?

4. Должен судья/член жюри разбираться в жанре конкурсных работ или смысл только в нравится/не нравится написанная история? Может читатель, который никогда не читал, например славянку судить работы, написанные в подобном жанре?

И да, хоть меня лично никто не спрашивал, но я тоже на них отвечу, поскольку они как раз пересекаются с моей специальностью, той которая экспертиза в образовании. Я, конечно, ничем таким давно не занимаюсь, убиваю мозг бояркой и не претендую на пиетет публики, но раньше часто занимался всякими конкурсами, в том числе и был в жюри, так что могу сказать, как всё должно работать с точки зрения методологии.

1. Давайте сразу скажем, что конкурсах литературных, равно как и педагогических, абсолютной объективности нет. В спорте вот проще, кто дальше прыгнул, того и медаль, это 100% объективно. Конкурсы же, конечно, к объективности должны стремиться, но достигают они её только в той или иной степени. Ну, или не достигают вовсе, и пытаясь найти самое длинное среди зелёного и деревянного, судьи выберут самое прозрачное.

Как сделать конкурс более объективным? Очень просто. Нужны критерии оценивания. Чем более критерии конкретизированы, тем объективнее будут оценки по их показателям. Давайте, чтобы не путаться, дадим определения.

Критерий — признак, на основании которого производится оценка.

Например, одним из критериев качественной книги является грамотность. Но грамотность -- понятие широкое. Как его оценить, если в одной книге пропущены запятые, а в другой рассыпаны анаколуфы? На помощь приходят показатели.

Показатель — в большинстве случаев, обобщённая характеристика какого-либо объекта, процесса или его результата, понятия или их свойств, обычно, выраженная в числовой форме

Показателем грамотности будет отсутствие орфографических, стилистических, грамматических и т.д. ошибок. Их вполне можно посчитать и в зависимости от количества оценить циферкой. Сумма циферок показателей одного критерия и будет оценкой самого критерия. 

Поэтому у жюри на конкурсах обычно есть вот такой вот лист с критериями

В нормальных конкурсах критерии оценивания заранее известны участникам, поэтому их задачей является не принести то, что понравится жюри, а принести то, что этим критериям соответствует. То есть правила жюри понятны как участникам конкурса, так и его жюри. Именно это и делает конкурс объективным, мы объективно находим не лучший проект, а наиболее соответствующий критериям.  

Так мы приходим к выводу, что в основе объективности оценки лежит грамотность выбора критериев. И выбирает их не жюри. Это делает либо организатор, который точно знает, каким критериям должен соответствовать победитель, либо методолог, эксперт, которому организатор поручает вопрос объективной оценки. Собственно, так или иначе создаётся вот такой листок.

И естественно, на двух условно одинаковых конкурсах лучшего новогоднего рассказа будут разные критерии, поскольку организаторы тоже разные и по разному смотрят на методологию оценки. В итоге если мы посадим одних и тех же людей в жюри, дадим им одни и те же рассказы, но разные критерии оценивания, в этих конкурсах победят разные участники. Думаю, я ответил вопрос про объективность конкурсов.

2 и 3. Смежные вопросы, и тут из плоскости методологии мы переходим в плоскость этики. По хорошему, жюри либо должно оценивать анонимные работы, либо видеть всех участников впервые. Во всех остальных случаях так или иначе возникнет предвзятость. Она будет выражаться в завышенных или заниженных балов, это неизбежно, потому что эффект ореола и прочие когнитивные искажения никто не отменял. Оценивать работы знакомых неэтично по определению. 

3 и 4. Эти вопросы тоже пересекаются и отправляют нас в третью плоскость нашей системы координат объективной оценки: компетентность. Казалось бы, с готовым листком критериев можно посадить в жюри людей с улицы, ведь всё уже сделано методологией, но нет. Чтобы оценить грамотность, человек должен находить ошибки, которые в тексте есть, и не находить те, которых нет. Должен разбираться в жанре, чтобы оценить соответствие. Разбираться в нарратологии, чтобы оценить повествование, разбираться в структуре текста, форме, чтобы оценить структуру и соответствие форме, иметь огромный багаж знаний, чтобы оценить оригинальность, чувство прекрасного, чтобы оценить эстетичность и т.д. и т.п. Увы, такой человек наверняка должен был уже преисполнится святостью и уйти в монастырь или прелестью и создать свою тоталитарную секту, поэтому принимаем, что абсолютная компетентность недостижима. Но к ней надо стремиться, и можно это сделать, как путём привлечения именно профессионалов, так и расширением состава жюри.

По итогу, какой вывод можно сделать? Литературные конкурсы бесконечно далеки не то, что от идеала, но и от нормы по всем пунктам. В лучшем случае в жюри будут люди с соответствующим опытом и образованием, либо анонимность, либо более-менее чёткие критерии. Чтобы хотя два пункта из трёх - я не видел. Поэтому конкурсы это самая настоящая лотерея, и победа на них отчасти везение. Впрочем, разбить массив произведений на сильные, средние и слабые вполне возможно, но выбрать лучшего внутри одной группы - едва ли. Как минимум, потому что сами критерии этой лучшести не будут объективны, ведь всегда найдётся тот, кому книга не понравится.

Значит ли это, что конкурсы бесполезны и в них не нужно участвовать? Отнюдь. Но конкурс прежде всего вызов, возможность проявить себя, прокачать скилы и накопить социальный капитал. То есть участвовать в конкурсе ради победы зачастую нет смысла, только ради участия. Впрочем бывают и исключения: "виден сразу победитель, он уже таким родился, конкурс это лишь формальность".

Ах да, там ещё было про работу жюри и вот это вот всё... Знаете, у людей, которые ставят в клеточки циферки на самом деле нет какой-то власти, даже ели они сами считают иначе. Работа эта довольно рутинная, плюс ещё и в ряде случаев нужно дать некую обратную связь. Но для саморазвития это тоже полезно. В целом жюри и участники конкурса приобретают схожий опыт. Но скажу прямо, если бы не то, что Ольгу и Геннадия на АТ я знаю давно, в жизни бы не пошёл ни в какие жюри. Тут же вроде как сделал хорошее дело, друзьям помог в проведении конкурса. 

А вообще тема старая и больная, где-то в моём сборнике всякой всячины лежат эльфы на болоте, там, в принципе, раскрывается эта же тема. XD