- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
кам. Воспользовавшись результатами этого исследования, мы могли бы расставить судей по порядку – от самого строгого до наиболее мягкого, точно так же, как личностный тест позволил бы определить уровень их экстраверсии или доброжелательности. Как и в случае с чертами характера, неудивительно, что строгость наказаний коррелирует с присутствием неких генетических факторов, жизненного опыта и других аспектов личности. Ничто из вышеперечисленного не имеет отношения к делу подсудимого. Для описания разброса в значениях средних сроков приговора, идентичных разбросу межэкспертных ошибок, мы используем термин межэкс-
пертный шум.
Не все судьи одинаковы: внутриэкспертный шум
Как указывают черные стрелки на рисунке 9, значение межэкспертного шума составляет 2,4 года, а системного шума – 3,4 года. Разница между ними говорит о том, что строгость каждого судьи – не единственный фактор, играющий роль в возникновении системного шума. Этот дополнительный компонент мы назовем внутриэкспертным шумом.
Чтобы разобраться с понятием внутриэкспертного шума, давайте снова обратимся к рисунку 9, но на этот раз уделим внимание одной случайно выбранной ячейке, скажем С3. Средний срок приговора по делу С приведен внизу столбца
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
– это 3,7 года. Теперь найдите значение среднего срока приговоров, которые Судья 3 вынес по всем рассмотренным делам, в крайнем правом столбце. Это 5 лет – всего на 2 года меньше, чем среднее значение по совокупности дел во всем исследовании. Если бы вариативность в судейской строгости была единственным источником шума в столбце 3, можно было бы предположить, что приговор в ячейке С3 составит 3,7–2 = 1,7 года. Но в ячейке С3 указано значение 4 года, а это означает, что, вынося этот приговор, Судья 3 проявил особую суровость.
С помощью подобной простой аддитивной7 логики можно попытаться спрогнозировать сроки в каждом столбце таблицы, но на самом деле в большинстве ячеек вы обнаружите отклонения от этой простой модели. Просматривая ряды, вы увидите, что не во всех случаях судьи одинаково строги: они могут быть жестче среднего, рассматривая одни дела, и мягче среднего, вынося решения по другим. Мы называем такие остаточные отклонения внутриэкспертными ошибками. Ес-
ли подсчитать значения внутриэкспертных ошибок по всем ячейкам таблицы, вы убедитесь, что их сумма будет равна нулю как для каждого судьи (каждого ряда), так и для каждого дела (каждого столбца). Однако при расчете уровня шума внутриэкспертные ошибки взаимно не уничтожаются, пото-
7 Аддитивность – получение целого путем сложения; свойство величин, заключающееся в том, что значение величины, соответствующее целому объекту, равно сумме значений величин, соответствующих его частям при любом разбиении объекта на части.
му что при подобных вычислениях значения, указанные во всех ячейках, возводятся в квадрат.
Существует более легкий способ подтвердить тот факт, что простая аддитивная модель здесь не работает. Средний срок приговоров внизу каждого столбца таблицы постепенно увеличивается слева направо, однако в остальных рядах такого не наблюдается. К примеру, Судья 208 назначил гораздо более длительный срок подсудимому в Деле О, чем подсудимому в Деле P. Если бы каждый судья расставил дела в порядке возрастания целесообразного, по его мнению, срока тюремного заключения, итоговые рейтинги не совпали бы.
Мы назвали рассмотренный выше разброс внутриэкспертным шумом, потому что он отражает сложный внутренний характер отношения конкретного судьи к каждому делу. Один судья, например, может быть в среднем более строгим, но проявлять некоторую снисходительность к обвиняемым, совершившим ненасильственные преступления в экономической сфере. Другой, как правило, не отличается особенной суровостью, но менее терпим к рецидивистам. Строгость третьего судьи может быть ближе к средним значениям, при этом он выказывает больше сочувствия к соучастникам преступления, но выносит более жесткие приговоры, если жертва преступления – пожилой человек. (Мы используем термин внутриэкспертный шум с целью сделать текст более удобочитаемым. На самом деле в статистике это назы-
вается взаимодействием между переменной судьи и перемен-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ной дела. Мы просим прощения у читателей, подкованных в статистике, за то, что вынудили их заниматься подобными ментальными преобразованиями.)
В области уголовного правосудия идиосинкразические решения по некоторым делам, возможно, отражают личную философию вынесения приговоров отдельного судьи. Причиной других решений могут быть возникающие у судьи подсознательные ассоциации, например, если обвиняемая напоминает ему некую особенно гнусную преступницу или, напротив, внешне похожа на его дочь. Какова бы ни была причина их возникновения, такие внутриэкспертные ошибки не случайны: если бы судья повторно столкнулся с этим же делом, мы наблюдали бы их вновь. Но поскольку прогнозировать внутриэкспертный шум на практике сложно, в уже довольно непредсказуемую лотерею вынесения приговоров добавляется элемент неопределенности. Авторы исследования отметили: «То, как по-разному особенности преступления или преступника влияют на решение отдельных су-
дей5152, является еще одной формой несоразмерности при назначении наказаний».
Возможно, вы успели заметить, что разложение системного шума на межэкспертный и внутриэкспертный компоненты следует логике уравнения расчета погрешности из предыдущей главы, где составляющими погрешности были смещение и шум. На этот раз уравнение можно записать так:
Системный шум2= Межэкспертный шум2+ Внутриэкспертный шум2
Наглядно это выражение можно представить таким же образом, как и первоначальное уравнение расчета погрешности (рисунок 10). Две стороны треугольника здесь равны по той причине, что, согласно исследованию о приговорах, внутриэкспертный и межэкспертный компоненты внес-
ли примерно одинаковый вклад53 в системный шум. Внутриэкспертный шум носит повсеместный характер.
Врачи принимают решения о госпитализации, компании – о найме сотрудников, юристы – о представлении дел в суде, а голливудские продюсеры – о съемке сериалов. Внутриэкспертный шум наблюдается во всех этих ситуациях: лица, ответственные за принятие решений, классифицируют отдельные случаи совершенно по-разному.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/