Оливье Сибони

Снижение шума является главной заявленной целью принудительного ранжирования, которое гарантирует, что каждый оценивающий эксперт в итоге приходит к одному и тому же среднему значению и идентичному распределению оценок.

Снижение уровня шума – та еще задача, и простыми техническими методами с ней не справиться. Данная проблема требует четкого представления о тех суждениях, что вы ждете от специалистов по оценке. Вероятно, вы придете к выводу, что сумеете оптимизировать качество суждений, создав недвусмысленную шкалу оценки и обучив персонал пользоваться ею согласованно. Подобная стратегия снижения шума применима во многих областях.

Такова наша способность к когерентности: мы частенько обнаруживаем воображаемую структуру в данных случайного характера, различаем в облаках знакомые фигуры и находим логику в абсолютно бессмысленных ответах.