Надёжность судей — Курс

Роберт Ходжсон с 2005 по 2008 год проверял судей винного конкурса California State Fair. Каждой панели из четырёх экспертов среди 30 вин тайно подавали одно и то же вино трижды, из одной бутылки. Лишь около 10% судей уложились в пределы одной медали, а ещё около 10% хотя бы раз ставили одному вину оценки от бронзы до золота. Чаще всего судьи совпадали сами с собой в том, что им не нравилось. Из 65 панелей только в 30 итог определяло одно лишь вино. У 26 судей, работавших и в 2005, и в 2006 году, точность в одном году не предсказывала точность в следующем (корреляция −0,01).

Ходжсон различает согласованность с собой (consistency) и согласие с другими (concordance) и считает первую более фундаментальной. Это рецензируемая статья по данным одного конкурса, и автор сам оговаривает, что схема подачи была выгодна судьям. Есть данные мягче: по аннотации работы Бодингтона, около трети судей оценивают повторы в пределах одного ранга от идеальной согласованности. А в оценках искусства, по исследованию Спекер и соавторов с репликацией, согласие специалистов с ростом экспертизы не растёт.

Отсюда главный вывод темы Как проверить вкус: тезис «вкус узнаёт вкус» без процедуры недоказуем. Надёжность судьи измеряют повтором вслепую, а не подтверждают регалиями.

Попробуйте

Попросите кого-нибудь налить вам один и тот же чай в три чашки среди пяти других, без меток. Оцените все по десятибалльной шкале и посмотрите, насколько разошлись ваши оценки трёх одинаковых чашек.

Связано

Где упоминается

Сжатая версия: 5 занятийСжатая версия

Пять занятий по три часа и сквозной «дневник выбора» по одной своей работе: от того, что такое вкус, через его тренировку и проверку к вкусу в команде и рядом с машиной.

Как проверить вкусТема

Уверенность во вкусе не равна вкусу. Узнать вкус можно только по процедуре: вслепую, с повтором и с проверкой согласия с самим собой, а уже потом с другими.

ЗнаточествоПонятие

Искусство определять автора и подлинность вещи по малозаметным деталям, которые натренированный глаз видит, а подражатель воспроизводит хуже.

Истинный судьяПонятие

Юмовский идеал критика, чьё суждение может служить стандартом вкуса: сильный ум, тонкое чувство, практика, сравнение, свобода от предрассудков.

Калибровка вкусаПонятие

Сверка своего суждения о качестве с другими и с самим собой: вкус субъективен по основанию, но его точность можно проверять и подстраивать

Общий и личный вкусПонятие

В одних областях люди сильно сходятся в оценках красоты, в других почти нет: лица и пейзажи — общий вкус, архитектура и искусство — личный

Слепая оценкаПонятие

Оценка вещи без знания цены, имени и репутации: способ отделить качество от сигналов о нём

Эффект Даннинга — КрюгераПонятие

По Крюгеру и Даннингу, слабые в навыке переоценивают себя, потому что тот же навык нужен и для того, чтобы заметить собственные ошибки

Эффект ореола и ошибка выжившегоПонятие

Успех компании окрашивает всё, что о ней говорят, а видим мы в основном выживших, поэтому кейсы успешных компаний — слабое доказательство

Ану АтлуруЧеловек

Её эссе «Taste Is Eating Silicon Valley» дало курсу исходный тезис: в изобилии ценится вкус

Роберт ХоджсонЧеловек

Показал, что даже опытные винные судьи плохо повторяют собственные оценки одного и того же вина

Слепая повторная дегустацияУпражнение

Проверяет, повторяет ли человек собственную оценку того же образца вслепую, прежде чем говорить «я разбираюсь»

Вкус в тезисахСтраница

Курс «Вкус: выбор, когда сделать стало дёшево» в восьмидесяти утверждениях: от того, почему вкус стал дефицитом, через его тренировку и проверку к мейкерской организации и работе рядом с машиной.