Два типи помилок

Уявіть собі, що чотири групи друзів вирішили піти постріляти в тирі, у кожній команді — п’ятеро стрільців, вони користуються тією самою рушницею, і кожен робить один постріл. На рисунку показано їхні результати.

В ідеальному світі кожен постріл влучив би в яблучко.

Команді А це майже вдалося: влучення щільно скупчені навколо центру, утворюючи майже взірцеву конфігурацію.

Ми називаємо команду Б зміщеною, бо її постріли систематично зміщені відносно центру. З рисунка видно, що сталість зміщення дає підстави зробити передбачення. Якби член цієї команди стріляв іще раз, ми впевнено очікували б, що він поцілить у ту саму ділянку, куди влучили й перші п’ять куль. Сталість зміщення також підводить до пояснення причини: можливо, збився приціл на рушниці, з якої стріляла команда.

Ми називаємо команду В шумною, бо її влучання розкидані по мішені. Якогось очевидного зміщення немає, адже влучення зосереджені приблизно навколо центру. Якби стрілець цієї команди мав зробити ще один постріл, ми мало що могли б сказати про те, куди саме він влучить. Ба більше, на думку не спадає жодна цікава гіпотеза, яка пояснювала б результати. Ми знаємо, що команда В складається з невправних стрільців, але не відомо, чому вони такі зашумлені.

Команда Г і зміщена, і шумна. Її постріли систематично відхиляються від цілі, як і в команди Б, й водночас вони розкидані, як у команди В.

Зміщення й шум — систематичний відхил і випадковий розкид — це два різні компоненти помилки. Влучення в ціль ілюструють відмінність між ними.

Метафора стрільби показує, як може схибити людське судження, надто коли ухвалюють різноманітні рішення від імені організації. У цих ситуаціях ми знаходимо два типи помилок, показаних на рисунку. Деякі судження зміщені — вони систематично відхиляються від цілі. Інші шумні, або зашумлені: люди, від яких очікують згоди, влучають у зовсім різні точки, відмінні від цілі. На жаль, чимало організацій страждають і від зміщення, і від шуму.

Другий рисунок ілюструє важливу відмінність між зміщенням і шумом. Він показує зворотний бік мішеней, причому центрів, у які цілилися гравці, не видно.

Дивлячись на зворот мішені, неможливо визначити, влучання якої команди, А чи Б, ближчі до центру. Однак відразу ж можна сказати, що команди В і Г шумні, а команди А і Б — ні. Загальна властивість шуму полягає в тому, що його можна розпізнати й виміряти, не знаючи нічого про ціль або зміщення.

Щойно згадана властивість шуму має ключове значення, адже багато висновків ми робимо на основі суджень, для яких правильна відповідь не відома чи її навіть неможливо встановити. Коли лікарі ставлять різні діагнози одному пацієнтові, ми можемо вивчати ці розбіжності, не відаючи нічого про саму хворобу. Коли кінопродюсери визначають, який успіх може мати фільм на ринку, ми можемо досліджувати варіативність їхніх відповідей, не маючи даних про касовий збір і навіть про те, чи фільм узагалі зняли. Нам не потрібно знати, хто має рацію, щоб виміряти розбіжність у судженнях у тому самому випадку. Щоб виміряти шум, досить поглянути на зворот мішені.

Щоб зрозуміти помилку в судженні, ми мусимо розуміти і зміщення, і шум. Шум — важливіша проблема, проте в публічних розмовах про людські помилки й у внутрішньокорпоративних обговореннях по всьому світу його розпізнають рідко. Зірка шоу — зміщення, а шум — епізодичний актор, що зазвичай залишається поза сценою.

Під час ухвалювання рішень у реальному світі шум часто аж зашкалює. Ось кілька прикладів його тривожного рівня в ситуаціях, де важлива точність:

• Медицина шумна. Обстежуючи одного й того самого пацієнта чи пацієнтку, різні лікарі виносять різні судження про наявність у нього/неї раку шкіри, раку грудей, хвороби серця, туберкульозу, пневмонії, депресії та сили-силенної інших хвороб. Особливо зашумленою є психіатрія, де очевидну вагу мас суб’єктивне судження. Однак значний обсяг шуму наявний і в неочікуваних ділянках, як-от в інтерпретації рентгенівських знімків.
• Рішення у справах про опіку над дітьми шумні. Відповідальні особи в закладах захисту дітей повинні оцінити, чи існує ризик жорстокого поводження з дитиною, і якщо так, то чи треба передати її під опіку. Ця система шумна, бо деякі посадовці значно більше схильні віддавати дітей під опіку, ніж інші. Через багато років у середовищі тих безталанних дітей, яких передали на виховання з важкої руки відповідальних осіб, виявляються гіршими показники рівня життя: вищий рівень злочинності, більше пологів серед підлітків і нижчі доходи.
• Прогнози шумні. Фахові прогнозисти дають дуже варіативні прогнози щодо ймовірного продажу нового товару, ймовірного зростання рівня безробіття, ймовірності банкрутства проблемних компаній і майже всього іншого. Вони не тільки розходяться в думках один з одним, а й не погоджуються самі із собою. Наприклад, коли тих самих розробників програмного забезпечення у два різні дні попросили оцінити час, потрібний для виконання того самого завдання, їхні оцінки (в годинах) різнилися в середньому на 71%.
• Рішення про надання притулку шумні. Чи допустять шукача притулку на територію США, залежить від такої собі лотереї. Вивчення справ, випадковим чином розподілених між різними суддями, показало, що один із них задовольняв клопотання 5% заявників, а інший — 88%. Назва дослідження, що виявило такі разючі розбіжності, більш ніж промовиста — Refugee Roulette («Рулетка для біженців»).
• Кадрові рішення шумні. Інтерв’юери претендентів на посаду геть по-різному оцінюють одних і тих самих осіб. Оцінки ефективності роботи тих самих працівників теж дуже варіюються й залежать більше від оцінювача, ніж від самої роботи.
• Рішення про звільнення під заставу шумні. Чи буде обвинуваченого звільнено під заставу, чи натомість до судового розгляду його відправлять у в’язницю, частково залежить від особи судді, якому випаде слухати справу. Деякі вершителі правосуддя набагато поблажливіші за інших. Вони також помітно розходяться в оцінках ризику рецидиву чи втечі у випадках із різними обвинуваченими.
• Криміналістика шумна. Нам прищепили думку, що встановлення особи за відбитками пальців безпомилкове. Однак експерти, які порівнюють відбитки, знайдені на місці злочину, з відбитками пальців підозрюваного, іноді розходяться у своїх висновках. Незгоди трапляються не лише між різними експертами — буває, що той самий фахівець доходить суперечливих висновків щодо того самого зразка в різний час. Таку варіативність задокументовано і в інших галузях криміналістики, навіть в аналізі ДНК.
• Рішення про видання патентів шумні. Автори провідного дослідження щодо патентних заявок наголошують на цьому: «Позитивне чи негативне рішення патентного відомства значущо пов’язане з випадковою обставиною — з тим, на розгляд до якого експерта потрапить заявка». З огляду на вимогу справедливості ця варіативність, без сумніву, є проблемною.

Усі ці шумні ситуації — лише верхівка великого айсберга. Хоч у якій ділянці ви поглянете на людські судження, всюди, найімовірніше, виявите шум. Щоб підвищити якість суджень, нам потрібно подолати шум, а також зміщення.

/ Деніел Канеман, Кас Санстейн, Олів’є Сібоні “Шум. Хибність людських суджень”

Ілюстрація: medium.com