Зачем
Ану Атлуру заканчивает своё эссе признанием: «людей, которые думают, что у них отличный вкус, больше, чем на самом деле» (перевод; «More people think they have great taste than is reality»). Проверить это о вкусе напрямую нельзя: прямых данных курс не нашёл. Ближайшая опора — работа Джастина Крюгера и Дэвида Даннинга (Journal of Personality and Social Psychology, 1999, четыре исследования со студентами), откуда пошло название эффект Даннинга — Крюгера. Участники из нижней четверти по тестам на юмор, грамматику и логику набирали результат на уровне 12-го процентиля, а себя помещали в 62-й. Авторы объясняют это тем, что умения, нужные для хорошего ответа, нужны и для того, чтобы распознать хороший ответ. После обучения логике самооценка слабых участников стала заметно точнее.
Домены там другие, не вкус и не эстетика, поэтому упражнение не доказывает, что со вкусом происходит то же самое. Оно проверяет это как гипотезу на собственной группе. Тренирует калибровку — умение знать, насколько можно доверять своему суждению. Это центральная мысль темы Как проверить вкус.
Что понадобится
Задача с проверяемым ответом, иначе спор о вкусе подменит проверку. Ведущий готовит 40 пар образцов, где в каждой паре известно, какой оригинал, а какой изменён: абзац известного автора и его гладкий пересказ с клише; фотография с авторским кадрированием и сдвинутым; подлинный логотип и подделка; исходная мелодия и упрощённая. Две серии по 20 пар. Нужны бланки, где участник пишет кодовое имя (анонимность), а помощник ведущего («счётчик») считает процентили.
Ход упражнения
- Прогноз (3 минуты). Каждый записывает, сколько из 20 пар угадает и в каком процентиле группы окажется.
- Первая серия (10 минут). Двадцать пар, по 20 секунд на пару: какой образец оригинал.
- Второй прогноз (2 минуты). Сразу после теста ещё раз: сколько угадал, какой процентиль.
- Подсчёт (10 минут). Ведущий объявляет ответы, каждый считает свой результат. Счётчик по кодовым именам считает процентили и раздаёт каждому его настоящий.
- Короткое обучение (15 минут). Ведущий разбирает пять пар: по каким признакам виден оригинал. Можно провести раунд Серия различений с обратной связью.
- Вторая серия с прогнозами (15 минут). Прогноз, 20 новых пар, второй прогноз, подсчёт.
- График и разбор (25 минут). Каждый наносит четыре точки «прогноз — факт» на общий анонимный график.
Результат
Личная таблица «прогноз и факт» до и после обучения и общий анонимный график, на котором видно, кто переоценивал себя, кто недооценивал и как это изменилось.
Разбор
- Кто переоценил себя, а кто недооценил? Крюгер и Даннинг нашли, что сильные участники чаще ошибаются не в себе, а в других: переоценивают результаты остальных.
- Сблизились ли прогноз и факт после обучения?
- Был ли прогноз после теста точнее прогноза до теста?
- Где в вашей работе нет «золотого стандарта» и как его создать?
Ведущий держит результаты анонимными и не превращает график в рейтинг. Важно проговорить, что упражнение меряет различение оригинала и копии, а не вкус целиком. Это узкий срез, на котором честная проверка возможна. Связь с Слепая повторная дегустация: там проверяем согласованность с собой, здесь — точность знания о себе.