Слепая оценка — Курс

Слепая оценка (blind evaluation) убирает из суждения всё, что сообщает о вещи что-то помимо неё самой: цену, бренд, автора, мнение соседа. Наглядный пример — работа Робина Голдстейна и соавторов в Journal of Wine Economics: 17 двойных слепых дегустаций, 506 участников, 6 175 оценок вин стоимостью от 1,65 до 150 долларов. Ни тот, кто наливал, ни тот, кто пробовал, не знал, что в бокале. У неэкспертов связь цены и оценки оказалась слабой и отрицательной: дорогие вина им в среднем нравились чуть меньше. У людей с винным образованием связь была неотрицательной, на грани значимости. Авторы признают, что выборка добровольная, и не берутся сказать, приобретённый это вкус или врождённая способность.

Слепота нужна и экспертам. В исследовании Роберта Ходжсона в анализ шла только первая, независимая оценка судьи, сделанная до обсуждения с панелью. А в работе Ли 2024 года (мы знаем её по аннотации) репутация картины сильнее влияла на оценки экспертов, чем на оценки новичков.

Слепую оценку стоит применять там, где спорят о качестве: сравнение вариантов дизайна, отбор работ, выбор между своей версией и версией машины. Процедура простая: спрятать подписи, оценить каждую вещь отдельно, записать оценку и только потом раскрыть. Подробно — в теме Как проверить вкус и упражнениях Слепая повторная дегустация и Три версии вслепую.

Попробуйте

Возьмите три варианта одного заголовка или макета, свой и два чужих, уберите подписи и попросите коллегу их перемешать. Расставьте варианты по качеству и только потом посмотрите, где оказался ваш.

Связано

Где упоминается

Сжатая версия: 5 занятийСжатая версия

Пять занятий по три часа и сквозной «дневник выбора» по одной своей работе: от того, что такое вкус, через его тренировку и проверку к вкусу в команде и рядом с машиной.

Как проверить вкусТема

Уверенность во вкусе не равна вкусу. Узнать вкус можно только по процедуре: вслепую, с повтором и с проверкой согласия с самим собой, а уже потом с другими.

Деликатность вкусаПонятие

По Юму, тонкость восприятия, при которой не ускользает ни один, даже мелкий, ингредиент целого.

ЗнаточествоПонятие

Искусство определять автора и подлинность вещи по малозаметным деталям, которые натренированный глаз видит, а подражатель воспроизводит хуже.

Истинный судьяПонятие

Юмовский идеал критика, чьё суждение может служить стандартом вкуса: сильный ум, тонкое чувство, практика, сравнение, свобода от предрассудков.

Калибровка вкусаПонятие

Сверка своего суждения о качестве с другими и с самим собой: вкус субъективен по основанию, но его точность можно проверять и подстраивать

Надёжность судейПонятие

Насколько эксперт повторяет собственную оценку одной и той же вещи и насколько эксперты согласны друг с другом

Эффект простого предъявленияПонятие

Вещь начинает нравиться больше просто оттого, что мы видим её чаще; привычное легко принять за хорошее.

Роберт ХоджсонЧеловек

Показал, что даже опытные винные судьи плохо повторяют собственные оценки одного и того же вина

Слепая повторная дегустацияУпражнение

Проверяет, повторяет ли человек собственную оценку того же образца вслепую, прежде чем говорить «я разбираюсь»

Три версии вслепуюУпражнение

Проверяет, какая часть вашего вкуса переносится в правила для машины, а какая остаётся за их пределами

Вкус в тезисахСтраница

Курс «Вкус: выбор, когда сделать стало дёшево» в восьмидесяти утверждениях: от того, почему вкус стал дефицитом, через его тренировку и проверку к мейкерской организации и работе рядом с машиной.