Оливье Сибони

Шум – это нежелательная вариативность суждений

В контексте данной книги не следует смешивать термины «суждение» и «мышление». Суждение – понятие более узкое и является формой измерения, инструментом для которого служит человеческий разум. Подобно иным методам измерения, суждение дает оценку объекту, однако данная оценка необязательно выражается количественно. «У Мэри Джонсон, вероятно, доброкачественная опухоль». Это суждение, равно как и утверждения вроде «национальная экономика крайне нестабильна», «Фред Уильямс – лучшая кандидатура на должность нового менеджера» или «страховая премия для покрытия риска составит 12 000 долларов». Для вынесения суждения мы соединяем в уме различные фрагменты информации, получая на выходе итоговую оценку. Это не вычислительный метод, и точных правил для вынесения суждения не существует. Учитель формулирует суждение, выставляя отметку за эссе, однако при оценке многовариантных тестов использует иные методы.
Многие люди зарабатывают на жизнь вынесением профессиональных суждений, которые сказываются на нас с вами. Кто такие «профессиональные судьи»? Это, например, футбольные арбитры и кардиологи, юристы и инженеры, голливудские продюсеры и оценщики страховых рисков. Мы уделили большое внимание профессиональным судьям на страницах данной книги, во‑первых, потому, что их деятельность хорошо изучена, во‑вторых, каждый из таких экспертов оказывает на нас огромное влияние. Полагаем, что ту информацию, которую мы привели на страницах книги, вполне можно использовать для изучения суждений в самых разных сферах нашей жизни.
Некоторые суждения носят предиктивный характер, и порой в их точности можно удостовериться. Рано или поздно мы поймем, насколько они точны. В основном это касается краткосрочных прогнозов – например, относительно действия лекарственных препаратов, течения пандемии или итогов выборной кампании. Однако многие суждения, в том числе долгосрочные прогнозы и ответы на теоретические вопросы, проверке не поддаются. Качество подобных суждений можно оценить, лишь составив мнение о качестве мыслительных процессов, которые и привели к итоговому суждению. Более того, многие суждения носят не предиктивный, а оценочный характер: приговор, вынесенный судьей, или оценку картины, представленной на конкурс, не так легко сопоставить с истинным значением.
Поразительно, но люди, выносящие суждения, ведут себя так, словно существует эталон, с которым можно сравнить их оценку, даже если никакого эталона нет. Они мыслят и действуют так, будто перед ними невидимое «яблочко» мишени, по которому невозможно промахнуться. Говоря о субъективной оценке, мы подразумеваем одновременно и возможность несогласия, и ожидание ее ограниченного характера. Таким образом, любое суждение характеризуется ожиданием ограниченных разногласий, занимая промежуточное место между оценкой, полученной путем вычисления, когда несогласие не допускается, и мнением, о котором мы скажем: «дело вкуса». Последнее почти не предполагает согласия – разве только в исключительных случаях.

Деятельность по снижению шума в организации должна начинаться с ревизии шумовых помех (см. Приложение 1). Важнейшая функция ревизии – добиться серьезного отношения к шуму. Определение различных типов шумовых помех станет в итоге ключевым результатом подобной работы.

Суперпредсказатель любит мыслить циклически. Его кредо: пытаться, терпеть неудачи, анализировать283, корректировать и снова пытаться.

многих работников нельзя оценить комплексно лишь на основании объективных показателей производительности труда. Именно поэтому сегодня широко распространены аттестации с применением методов суждения

Мы говорили, что смещение возникает в тех случаях, когда ошибки в некотором количестве суждений совершаются в одном и том же направлении. Смещение – это «средняя погрешность», как, например, в эпизоде со стрелкáми, регулярно попадающими в область ниже и левее цели. Подобная «средняя погрешность» может возникать при слишком оптимистическом общем годовом прогнозе продаж или в случае, когда компания продолжает реинвестировать деньги в уже несостоятельный проект, тогда как вложения давно следует списать на убытки.
Устранение смещения из множества суждений не приведет к полному устранению ошибок, и те ошибки, которые останутся, не будут смещены в одном направлении. Они свидетельствуют о нежелательном расхождении мнений и ненадежности инструментов измерения, применяемых к реальности. Они-то и называются шумом. Шум – это вариативность суждений, которые в идеале должны быть идентичными. Мы также используем термин системный шум для определения помех, отмеченных в компаниях, которые нанимают взаимозаменяемых специалистов для принятия решений: врачей в пунктах экстренной помощи, судей, выносящих приговор преступникам, и оценщиков рисков в страховой компании. Существенная часть данной книги посвящена системному шуму.

Определить степень шума в системе позволяет ревизия шумовых помех – своеобразный эксперимент, в ходе которого несколько профессионалов выносят независимые суждения по одному и тому же вопросу (реальному или вымышленному). Для измерения уровня шума не требуются знания об истинных значениях. Примерно так же мы сможем оценить разброс точности стрелков, посмотрев на мишень с обратной стороны. Ревизия шумовых помех способна измерить степень вариативности суждений в самых разных системах – от рентгенологии до уголовного правосудия. Порой подобная ревизия обратит наше внимание на недостаточность специфических навыков и неэффективность обучения. Возможна и количественная оценка – например, в случае, когда андеррайтеры, работающие в команде, расходятся в прогнозе уровня риска.

Смещение в некотором множестве поддающихся проверке суждений определяется разницей между средним значением суждений и соответствующим истинным значением. Подобная арифметика невозможна, если не существует способа проверить истинность суждений. Например, мы никогда не вычислим справедливый размер страховой премии, определенной андеррайтером по какому-либо риску. Точно так же мы далеко не всегда сумеем понять, насколько на самом деле справедлив приговор. Не располагая подобными возможностями, мы чаще всего допускаем, что смещение отсутствует, а среднее мнение нескольких судей максимально приближается к абсолютной истине. Удобнее всего (хотя и не всегда правильно) считать именно так.

Снижение шума является главной заявленной целью принудительного ранжирования, которое гарантирует, что каждый оценивающий эксперт в итоге приходит к одному и тому же среднему значению и идентичному распределению оценок.

Такова наша способность к когерентности: мы частенько обнаруживаем воображаемую структуру в данных случайного характера, различаем в облаках знакомые фигуры и находим логику в абсолютно бессмысленных ответах.