Дослідження: Чи може штучний інтелект передбачати майбутнє?
Дослідження Філіпа Тетлока з Wharton School показує, що комбінування прогнозів від великих мовних моделей може досягти точності на рівні з прогнозистами-людьми.
Особи, що приймають рішення, вже давно покладаються на «мудрість натовпу» — ідею про те, що об’єднання суджень багатьох людей часто призводить до кращих прогнозів, ніж здогадки будь-якої окремої людини. Але що, якщо цей натовп не є людським?
Нове дослідження, проведене професором менеджменту у Wharton School Філіпом Тетлоком (Philip Tetlock), показує, що поєднання прогнозів від декількох систем штучного інтелекту, відомих як великі мовні моделі (LLMs), може досягти точності на рівні з прогнозистами-людьми. Цей прорив пропонує дешевшу та швидшу альтернативу для таких завдань, як прогнозування політичних процесів або економічних трендів.
«Ми спостерігаємо зміну парадигми: прогнози ШІ не просто відповідають людському досвіду — вони повністю змінюють наше уявлення про прогнозування», — сказав Тетлок.
Цей підхід, який вчений зі своїми співавторами — Філіпом Шенеггером (Philipp Schoenegger) із Лондонської школи економіки, незалежною дослідницею Індре Тумінаускайте (Indre Tuminauskaite) і Пітером Парком (Peter Park) із Массачусетського технологічного інституту — називають «мудрістю кремнієвого натовпу», демонструє, як групи ШІ-систем можуть надавати надійні прогнози про майбутнє.
Об’єднуючи прогнози від декількох LLMs, дослідники пропонують практичний метод, за допомогою якого організації можуть отримати доступ до високоякісного прогнозування, не покладаючись виключно на дорогі команди людей-прогнозистів.
«Мова йде не про заміну людей», — зазначає Тетлок, — «а про те, щоб зробити прогнози розумнішими, швидшими і доступнішими».
Як працює ШІ-прогнозування?
Окремі моделі штучного інтелекту, такі як GPT-4, розроблена компанією OpenAI за підтримки Microsoft, мали проблеми з прогнозуванням. Попередні дослідження показали, що їхні прогнози часто були не кращими за випадкові здогадки. Однак у роботі Тетлока «Wisdom of the Silicon Crowd» було виявлено, що об’єднання прогнозів від декількох моделей значно підвищило їхню точність.
Як же це працює? Магія полягає в тому, як врівноважуються помилки. Подібно до того, як людський натовп усереднює індивідуальні упередження, об’єднання ШІ-моделей усуває невідповідності в їхніх прогнозах. Кожна модель пропонує трохи іншу точку зору, так само як і люди-прогнозисти з різними знаннями та досвідом.
«Подібно до того, як людські натовпи врівноважують індивідуальні упередження, ШІ-ансамблі перетворюють конкуруючі точки зору на консенсус», — пояснює Тетлок.
Його дослідження також виявило, що ШІ-прогнози значно покращуються (від 17% до 28%), коли вони отримують інформацію від людей, наприклад, із турнірів з прогнозування, де люди змагаються в точності передбачення майбутніх подій. Ці змагання надають цінні дані в режимі реального часу, які ШІ-системи можуть використовувати у своїх прогнозах.
«Найкращі прогнози з’являються тоді, коли людська інтуїція поєднується з машинною точністю», — додає Тетлок.
Що цікаво, дослідники виявили, що найкращі результати були отримані шляхом простого усереднення людських і ШІ-прогнозів, а не покладання на ШІ для їхнього синтезу. Це підкреслює ключовий висновок: незважаючи на розвиток штучного інтелекту, людський фактор все ще відіграє важливу роль у створенні найточніших прогнозів.
Тетлок і його співавтори перевірили свої методи на реальних сценаріях, ретельно розробляючи запитання та ситуації, з якими ШІ-моделі не стикалися під час навчання. Це дало змогу переконатися, що ШІ не просто «шахраює», видаючи завчену інформацію.
Переваги та обмеження ШІ-прогнозування
Результати були багатообіцяючими, але виявили деякі проблеми. Наприклад, ШІ-моделі відчувають труднощі, коли між їхніми навчальними даними та подіями, які вони прогнозують, існує значний розрив у часі. Відсутність актуальних знань може знизити точність.
Крім того, ШІ-системи часто демонструють надмірну самовпевненість, призначаючи більшу ймовірність результатам, які не узгоджуються з наявними доказами.
«Резолюція» (Resolution) — це метод, який може бути використаний для вирішення цієї проблеми шляхом уточнення прогнозів, щоб чітко розрізняти, що є ймовірним, а що — малоймовірним. Мета полягає в тому, щоб надати більшу ймовірність подіям, які дійсно відбудуться, забезпечуючи впевненість і точність прогнозів.
«Ключ до вирішення — це впевненість і ясність: робіть великі ставки на те, що є ймовірним, і відступайте там, де це не так», — пояснює Тетлок.
За наявності інструментів для подолання цих перешкод дослідження демонструє практичну цінність штучного інтелекту в прогнозуванні. У таких сферах, як політика та економіка, де важливі рішення залежать від точних прогнозів, комбінування прогнозів від LLMs є практичним, масштабованим та ефективним підходом.
«Це лише початок. У міру того, як ми вдосконалюватимемо ці системи, вони не лише ставатимуть точнішими, але й змінюватимуть те, як ми приймаємо відповідальні рішення», — каже Тетлок. «Люди-прогнозисти, які брали участь у нашому порівняльному дослідженні, були освіченими дорослими, які добре вправлялися з числами, але вони не були суперпрогнозистами (еліта прогнозистів на публічних платформах). Це виклик, який LLMs ще належить подолати».
ВСІ НОВИНИ
