Роберт Ходжсон — почётный профессор океанографии и статистики Университета Гумбольдта в Калифорнии и владелец небольшой винодельни Fieldbrook Winery. Изучать конкурсы он начал из любопытства: одно и то же его вино получало золото на одном конкурсе и ничего на другом. Тогда он сам стал винным судьёй и, по его словам, занялся исследованием, чтобы научить судей судить лучше.
В статье 2008 года в Journal of Wine Economics Ходжсон описал эксперимент на конкурсе California State Fair (2005–2008). Панелям из четырёх судей среди 30 вин подавали по три пробы, налитые из одной бутылки. Лишь около 10% судей уложились в пределы одной медали, ещё около 10% ставили тому же вину от бронзы до золота. Последовательнее всего судьи были в том, что им не нравится. Из 65 панелей только в 30 итог определяло одно лишь вино. Сам Ходжсон оговаривает, что данные взяты с одного конкурса.
Для курса это главный факт темы Как проверить вкус: надёжность судей нельзя принимать на веру, её проверяют слепой оценкой и повтором. Это прямой вызов формуле «taste recognizes taste» Ану Атлуру и вопросу Юма о том, где найти истинных судей. В практику стоит взять сам дизайн его эксперимента: упражнение Слепая повторная дегустация.
Ключевые работы
- «An Examination of Judge Reliability at a major U.S. Wine Competition», Journal of Wine Economics (2008)
- Hodgson R., Cao J. «Criteria for Accrediting Expert Wine Judges», Journal of Wine Economics (2014)