Зачем
Уверенность во вкусе легко принять за сам вкус. Упражнение отделяет одно от другого простой процедурой: тот же образец подают несколько раз под разными номерами и смотрим, узнаёт ли его человек. Это учебная демонстрация по мотивам работы Роберта Ходжсона о судьях винного конкурса, а не повторение исследования.
Ходжсон (рецензируемая статья, Journal of Wine Economics, 2008) четыре года подряд подавал судьям конкурса California State Fair одно и то же вино трижды, из одной бутылки, в одной серии из 30 вин. Лишь около 10 процентов судей уложились в пределы одной медали, ещё около 10 процентов ставили то же вино то на бронзу, то на золото. Только примерно в половине из 65 панелей итог определяло одно лишь вино. Автор оговаривает, что данные из одного конкурса, а схема была нарочно благоприятной для судей. Вторая опора — работа Голдстейна и соавторов (6 175 слепых оценок, 506 добровольцев): без знания цены неэксперты в среднем чуть меньше любят дорогие вина. Упражнение тренирует надёжность как навык, который проверяют слепой оценкой, а не самоощущением. Это основа темы Как проверить вкус.
Что понадобится
Четыре сорта одного продукта: чай, кофе, яблочный сок или тёмный шоколад. Шесть чашек на участника, закодированных буквами. Один сорт идёт в трёх чашках, три остальных — по одной. Карточки со шкалой из четырёх оценок: «плохо», «нормально», «хорошо», «отлично» (такую шкалу использовали Голдстейн и соавторы). Настоящие цены всех сортов на отдельном листе.
Роли: ведущий-разливающий (единственный, кто знает коды), секретарь (сводит оценки в таблицу), остальные — дегустаторы.
Ход упражнения
- Подготовка (до занятия, 15 минут). Ведущий кодирует чашки и перемешивает порядок так, чтобы повторяющийся сорт не стоял подряд.
- Тихая оценка (20 минут). Каждый пробует шесть образцов по порядку и ставит оценку с одной фразой «что я заметил». Ни слова вслух: как у Ходжсона, в расчёт идёт только первая независимая оценка.
- Обсуждение до раскрытия (10 минут). Участники обсуждают образцы. Кто хочет поменять оценку, пишет новую отдельно, не исправляя первую.
- Раскрытие кодов (10 минут). Ведущий объявляет, какие три чашки были одним сортом. Каждый считает свой разброс по ним: 0, 1 или 2–3 шага шкалы. Секретарь сводит, у скольких разброс нулевой.
- Цена (10 минут). Ведущий называет цены. Участники ещё раз оценивают повторяющийся сорт и записывают, сдвинулась ли оценка.
- Разбор (20 минут).
Результат
Групповая таблица: оценки каждого, личный разброс по трём одинаковым чашкам, согласие с группой по остальным образцам, сдвиг после объявления цены и сдвиг после обсуждения.
Разбор
Вопросы для обсуждения:
- Кто совпал сам с собой, а кто с группой? Это одни и те же люди?
- Совпадения были чаще на образцах, которые не понравились? Ходжсон заметил, что судьи последовательнее в том, что им не нравится.
- Что поменялось после обсуждения: вы узнали что-то о напитке или подстроились под самого уверенного?
- Как изменилась оценка после цены и в какую сторону?
- Какую процедуру вы бы ввели в своей работе, чтобы проверять оценки так же?
Ведущему важно не превратить результат в приговор «вкуса не существует». Шесть чашек на десять человек ничего не доказывают. Есть и контрданные: в работе Бодингтона (2017, известна по аннотации) около трети судей оказываются в пределах одного ранга от полной согласованности. Вывод скромнее и полезнее: собственную согласованность стоит проверить раньше, чем спорить о чужом вкусе. Хорошо связать упражнение с калибровкой и с упражнением Предскажи свой уровень.