Как проверить вкус

Саммари

В прошлой теме вкус обгонял умение: человек видит, что его работа хуже образцов, и как раз поэтому продолжает работать. Но вся эта схема держится на допущении, что глазу можно верить. Если вкус растёт и уже судит о собственной работе, пора спросить, насколько надёжен сам судья. Ану Атлуру в эссе, с которого начинается курс, оставляет этот вопрос открытым: «More people think they have great taste than is reality. And maybe taste recognizes taste, but can traditional metrics recognize it too?» (в переводе: «Людей, которые думают, что у них отличный вкус, больше, чем на самом деле. Может быть, вкус узнаёт вкус, но могут ли его узнать привычные метрики?»). Эта тема проверяет вторую половину фразы на данных.

Начнём с неприятного. Когда судей крупного винного конкурса тайно просили трижды оценить одно и то же вино, лишь около десятой части из них уложились в пределы одной медали. Люди без винной подготовки в слепых дегустациях не находят в дорогом вине больше удовольствия, чем в дешёвом. Студенты, которые хуже всех справились с тестами на логику и грамматику, считали себя выше среднего. А в оценках архитектуры и искусства люди сходятся гораздо меньше, чем в оценках лиц и пейзажей. Ни одно из этих исследований не доказывает, что вкуса нет. Зато все вместе они показывают: «я разбираюсь» и «я надёжно различаю» — разные утверждения, и второе требует проверки.

Дэвид Юм в эссе «О норме вкуса» (Of the Standard of Taste) описал истинного судью: здравый смысл в соединении с тонким чувством, улучшенным практикой, усовершенствованным сравнением и очищенным от предрассудков. Совместный вердикт таких судей и есть, по Юму, «the true standard of taste and beauty» (в переводе: «истинная норма вкуса и красоты»). Но сразу после этого Юм спрашивает себя: «But where are such critics to be found? By what marks are they to be known? How distinguish them from pretenders?» («Но где найти таких критиков? По каким признакам их узнать? Как отличить их от самозванцев?»). Современные данные отвечают на него процедурой.

Процедура складывается из того, что исследования делали со своими участниками. Убрать ярлык: цену, имя, репутацию. Подать один и тот же образец несколько раз и посмотреть, совпадаешь ли ты с собой. Только потом сравнивать себя с другими. И там, где есть проверяемый ответ, сначала предсказать свой результат, а потом узнать его. Так калибровка вкуса перестаёт быть ощущением и становится измерением, пусть грубым.

Здесь же проходит один из открытых споров курса: узнаёт ли вкус вкус. Атлуру надеется, что да. Данные о судьях говорят, что без слепой процедуры это утверждение нельзя ни доказать, ни опровергнуть. Курс не закрывает этот спор, а даёт инструмент, чтобы проверять его на своём материале.

Тема завершает вторую часть курса. Вкус растёт практикой и проверяется процедурой, но для того и другого нужны время, повтор и право довести вещь до конца. Отсюда вопрос следующей темы: если вкус умеет расти у отдельного человека, почему организации так часто выпускают пресное?

Подтемы

Судьи, которые не узнают своё вино

Роберт Ходжсон четыре года, с 2005 по 2008, изучал судей конкурса California State Fair, старейшего коммерческого винного конкурса Северной Америки. Каждая панель из четырёх судей получала серию из 30 вин, среди которых трижды было налито одно и то же вино из одной бутылки. Ежегодно проверяли от 65 до 70 судей. Около 10 процентов из них удержали оценку повторённого вина в пределах одной медали, ещё около 10 процентов ставили ему то бронзу, то золото. Судьи были последовательнее в том, что им не нравится, чем в том, что нравится. Из 65 панелей только в 30 итог определяло само вино. Самое обидное для идеи, что надёжность — устойчивое качество судьи: у 26 судей, работавших и в 2005-м, и в 2006-м, корреляция их точности между годами оказалась равна минус 0,01.

Ходжсон сам оговаривает, что данные получены на одном конкурсе, а схема подачи была выгодной для судей: повторы шли в одной серии и из одной бутылки. Его главная мысль — различать два вида надёжности: согласованность с самим собой (consistency) и согласие с другими (concordance), причём первая, по его словам, фундаментальнее. Есть и более мягкий результат: в работе Бодингтона 2017 года (прочитана только аннотация) около трети судей оказываются в пределах одного ранга от идеальной согласованности. Это не отменяет вывода, но уточняет его: надёжность судей не нулевая, она просто гораздо ниже, чем принято думать, и её надо измерять.

Ярлык, цена и репутация

Робин Голдстейн и соавторы собрали 6 175 оценок от 506 участников семнадцати слепых дегустаций; вина стоили от 1,65 до 150 долларов за бутылку. Ни тот, кто наливал, ни тот, кто пробовал, не знал, что в бокале. У людей без винной подготовки связь цены с оценкой оказалась слабой и отрицательной: в среднем дорогое вино нравилось им чуть меньше. У обученных участников она была не отрицательной, но значима лишь на грани. Авторы сами спрашивают, что это: приобретённый вкус или врождённая способность, которая и привела людей к обучению. Участники были добровольцами, и в выборке, по признанию авторов, перепредставлены образованные люди и работники винной индустрии.

Отсюда простой смысл слепой оценки: она отделяет то, что в предмете, от того, что мы о нём знаем. Юм называл это свободой от предрассудков. Неожиданная деталь из исследования оценок живописи (статья Ли 2024 года, прочитана аннотация с фрагментом): чем выше экспертиза, тем сильнее оценку тянет репутация картины. Эксперты ставили признанным работам заметно больше, чем непризнанным, а у новичков разницы почти не было. Знание делает глаз тоньше и одновременно открывает дверь ярлыку. Ещё одна ловушка — привычка: в экспериментах Пола Хеккерта и соавторов привлекательность новых продуктов росла с числом показов (эффект простого предъявления), так что «нравится всё больше» ещё не значит «стало лучше».

Уверенность не равна умению

Джастин Крюгер и Дэвид Даннинг в 1999 году провели четыре исследования со студентами на тестах по юмору, грамматике и логике. Участники из нижней четверти по результатам находились в среднем на 12-м процентиле, а себя помещали на 62-й. Объяснение авторов: навыки, которые нужны, чтобы сделать хорошо, — это те же навыки, которые нужны, чтобы увидеть, что сделано хорошо. Кто не умеет построить грамматичное предложение, тот не видит и грамматической ошибки. Когда слабых участников подтянули по логике, их самооценка стала точнее. Этот эффект Даннинга — Крюгера касается не вкуса, а других областей, поэтому переносить его на вкус можно только как гипотезу.

Но гипотеза хорошо ложится на фразу Атлуру о том, что людей, уверенных в своём вкусе, больше, чем людей со вкусом. И на разрыв из прошлой темы: если вкус и умение растут из одного различения, то человек без него не видит, чего ему не хватает, а человек с ним видит слишком хорошо и разочаровывается. Проверить это на себе можно только там, где есть правильный ответ: подлинник или копия, исходный абзац или отредактированный.

Где вкус общий, а где личный

Вкус проверяется по-разному в разных областях, потому что люди в разной степени согласны между собой. Эдвард Вессель и соавторы в 2018 году сравнили оценки фотографий пяти видов. Для лиц 66 процентов разброса оценок оказались общими для всех участников, для природных пейзажей — 29 процентов, а для внешней и внутренней архитектуры и для произведений искусства — всего 11, 12 и 8 процентов. Выборки небольшие, от 14 до 19 человек в группе, и оценивали фотографии, а не здания и картины. Вывод авторов: в природных областях вкус во многом общий, в созданном людьми он сильнее зависит от личного опыта. Это различие общего и личного вкуса.

Экспертиза не спасает от разногласий. Эва Шпекер и соавторы сравнили историков искусства с неспециалистами и нашли согласие о том, какое впечатление производит картина, гораздо ниже ожидаемого; знания и интерес к искусству степень согласия не повышали. А в работе ван Паасхен и соавторов (60 участников) эксперты ставили картинам более высокие оценки красоты, чем новички, тогда как краткое обучение новичков дало лишь слабый эффект. Для курса из этого следует осторожная мысль: в оценке произведений согласие не стоит ждать по умолчанию, и юмовский «совместный вердикт» надо собирать, а не предполагать.

Ключевые понятия

• Калибровка вкуса — настройка собственного суждения через сравнение с образцами, с другими и с самим собой.
• Истинный судья — юмовский портрет судьи, чей совместный вердикт задаёт норму вкуса; его признаки — программа тренировки.
• Надёжность судей — согласованность судьи с самим собой и согласие судей между собой; обе ниже, чем принято думать.
• Слепая оценка — оценка без цены, имени и репутации, которая отделяет предмет от ярлыка.
• Эффект Даннинга — Крюгера — слабым в задаче не хватает того же навыка, чтобы увидеть свою слабость.
• Общий и личный вкус — в одних областях люди сходятся в оценках, в других расходятся, и проверка должна это учитывать.
• Эффект простого предъявления — привычка сама повышает симпатию, поэтому рост симпатии не равен росту качества.

Люди

• Роберт Ходжсон — проверил судей винного конкурса повторными образцами и показал, что консистентность надо измерять.
• Дэвид Юм — описал истинного судью и сам задал вопрос, как отличить его от самозванца.
• Ану Атлуру — поставила вопрос, узнаёт ли вкус вкус и видят ли его метрики.
• Пол Хеккерт — показал, что симпатия растёт от простого повторения.

Упражнения

• Слепая повторная дегустация — слепая дегустация с тайным повтором: насколько вы совпадаете с собой и с группой.
• Предскажи свой уровень — предсказать свою точность до проверки и посмотреть, сближаются ли самооценка и результат.
• Две недели повторения — две недели возвращаться к незнакомым вещам и отделять «стало лучше» от «стало привычнее».
• Три версии вслепую — смежное упражнение из темы 10: узнать вслепую, где своя работа, а где машинная.

Связь с ИИ

Процедуру проверки машине отдать можно и полезно: перемешать образцы, спрятать ярлыки, подставить повторы, посчитать, насколько участник совпал с собой и с группой. А вот роль судьи — нет. В исследовании Artificial Hivemind модели-оценщики и модели вознаграждения оказались хуже откалиброваны относительно людей как раз там, где у аннотаторов расходятся личные предпочтения при сопоставимом качестве: авторы пишут, что нынешние способы обучать и оценивать модели «tend to assume a single, consensus notion of quality» (в переводе: «склонны исходить из единого, консенсусного понятия качества»). Карри Сааринен описывает ту же ловушку со стороны человека: ИИ кажется чудом там, где вы знаете меньше всего, и называет это эффектом Даннинга — Крюгера в масштабе. Поэтому сначала стоит проверить собственную калибровку, а потом решать, чьей оценке верить. Подробнее — в теме 10.

Что почитать

• Robert T. Hodgson. An Examination of Judge Reliability at a major U.S. Wine Competition (2008) — исследование повторных оценок на винном конкурсе.
• Robin Goldstein и др. Do More Expensive Wines Taste Better? (2008) — 6 175 слепых оценок, цена и экспертиза.
• Justin Kruger, David Dunning. Unskilled and Unaware of It (1999) — классическая работа о завышенной самооценке.
• Edward A. Vessel и др. Stronger shared taste for natural aesthetic domains than for artifacts of human culture (2018) — где вкус общий, а где личный.
• David Hume. Of the Standard of Taste (1757) — истинный судья и вопрос, где его найти.