Jak czytać przyszłość

Rządy, instytuty badawcze, think-tanki, agencje wywiadowcze, wojsko przeznaczają ogromne środki na przewidywanie przyszłych wydarzeń istotnych dla bezpieczeństwa państwa, interesów ekonomicznych i politycznych. O ile łatwiej byłoby podejmować decyzje, gdyby dało się odgadnąć, kiedy nadejdzie kolejny kryzys ekonomiczny, czy Rosja zaatakuje państwa bałtyckie, co się stanie ze strefą euro, czy i jak Unia Europejska rozwiąże problem nielegalnej imigracji...

Niestety, przewidywanie nawet bliskiej przyszłości z reguły wychodzi nam słabo. Niewielu ekspertów ostrzegało przed wywołaniem przez Rosję wojny hybrydowej z Ukrainą, katastrofalnym kryzysem ekonomicznym z 2008 r., wygraną Donalda Trumpa w wyborach prezydenckich w USA, puczem w Turcji czy wreszcie Brexitem.

Za eksperta zwykło uważać się człowieka posiadającego wiedzę, wykształcenie, czasem afiliację, lub uważanego w środowisku za osobę, która wie więcej od innych. Od takich ekspertów aż roi się w telewizji, gdzie nie tylko wyjaśniają, co się stało lub dzieje, ale także formułują przewidywania. A gdybyśmy zaczęli mierzyć stopień trafności ich prognoz?

Szympans z lotkami

Philip Tetlock, profesor prestiżowej Wharton School of the University of Pennsylvania, od 1984 r. prowadzi studia nad trafnością przewidywań ekspertów. W 2005 r. opublikował „Expert Political Judgement”, dziś już bestseller zaliczany do klasyki nauk społecznych.

Prawie trzystu analityków miało oceniać prawdopodobieństwo tysięcy prognoz, wśród których były np. pytania o to, czy bańka internetowa na rynkach finansowych pęknie, czy Kanada się rozpadnie, albo czy dojdzie do puczu w Arabii Saudyjskiej. Pojawiały się również pytania o wzrost emisji CO2 na jednego mieszkańca czy o wzrost PKB w danym roku w wybranym państwie. Wyniki nie były zachwycające – do historii przeszło powiedzenie, że statystyczny ekspert ma taką samą szansę na trafne przewidzenie przyszłości, jak… rzucający lotką szympans na trafienie w środek tarczy.

Są jednak wyjątki.

Lisy i jeże

Tetlock, pożyczając metaforę od filozofa Isaiaha Berlina, umieścił wszystkich ludzi na osi, na którego jednym końcu znajdują się lisy, a na drugim jeże.

Jeże patrzą na świat przez pryzmat jednej czy dwóch wielkich idei dotyczących ludzkiej natury, gospodarki czy państwa i dzięki temu porządkują fakty oraz na ich podstawie prognozują. Takimi ideami mogą być niezachwiana wiara w wolny rynek, przekonanie o imperialnym charakterze polityki rosyjskiej, wizja człowieka jako istoty słabej i z gruntu niezaradnej, którą należy prowadzić za rękę. Jeże są pewne siebie, swoje poglądy wypowiadają stanowczo, nie zapuszczają się w niuanse, a złożoną rzeczywistość – prawną, gospodarczą czy międzynarodową – sprowadzają do prostych wniosków. Jeśli cenisz prostotę przekazu, stanowczość i przywiązanie do jednej koncepcji – prawdopodobnie jesteś jeżem.

Lisy z kolei nie ufają wielkim ideom, myślą indukcyjnie, koncentrują się na szczegółach. Jeśli jeże znają dobrze jedną czy dwie duże teorie, to lisy wiedzą niewiele o wielu kwestiach. Jeśli chodzi o trafność prognoz politycznych i ekonomicznych, lisy biją jeże na głowę. Lepiej przewidują wydarzenia tak w bliskiej, jak i w odległej przyszłości. Jeże im więcej wiedzą, tym gorzej adaptują się do rzeczywistości i tym słabiej wykorzystują zmieniającą się sytuację do korekty swoich przewidywań. U lisów zdolności adaptacyjne są znacznie wyższe. Jedną z ważnych cech ekspertów-lisów jest brak wiary w analogie z przeszłości. Programowo wątpią w powiedzenie, że historia jest nauczycielką życia.

Łatwo uznać, że to lisy powinny częściej gościć w mediach informacyjnych. Niemniej goście, którzy często używają słów „nie jestem pewien, ale…”, „istnieje prawdopodobieństwo, że…”, albo, co gorsza, tacy, którzy zgadzają się z innymi mimo różnych afiliacji ideologicznych, nie są idealnymi uczestnikami telewizyjnych dyskusji. Znacznie lepsze – bo bardziej efekciarskie – jest zaproszenie jeży, które zdecydowanie zwalczają oponenta z niezachwianym przekonaniem o własnej nieomylności.

Turniej dla jasnowidzów

W 2011 r. Tetlock rozpoczął kolejny projekt badawczy: Good Judgement Project (GJP), w ramach którego kilka tysięcy zwykłych ludzi próbowało przewidzieć takie wydarzenia jak wybuch wojny na Półwyspie Koreańskim, krach na rynku złota czy wybuch rewolucji w Rosji. Celem badania było sprawdzenie, które czynniki pomagają zwiększyć celność prognoz, w jakim okresie następuje dobra zmiana i czy zmiany takie mogą kumulatywnie poprawiać trafność przewidywań.

GJP był jednym z pięciu projektów, które wzięły udział w turnieju zorganizowanym i sponsorowanym przez Intelligence Advanced Research Projects Activity. IARPA to instytucja mająca poprawiać jakość pracy agencji odpowiadających za bezpieczeństwo w Stanach Zjednoczonych. Powstała w 2006 r. w odpowiedzi na największy błąd w historii wywiadu, którym był raport z listopada 2002 r., stwierdzający że Saddam Husajn posiada broń masowego rażenia. W 2002 r. przemysł wywiadowczy w USA zatrudniał prawie sto tysięcy pracowników, a ich wspólny budżet wynosił (podobno) ponad 50 mld dolarów. A jednak cała ta armia analityków, specjalistów, informatyków i szpiegów popełniła błąd, który kosztował 1,7 bln dolarów (na rok 2013) oraz tysiące zabitych i okaleczonych żołnierzy.

Każdy zespół uczestniczący w turnieju IARPA miał odpowiadać na ponad pięćset pytań i każdego dnia od września 2011 do czerwca 2015 r. o godzinie dziewiątej rano przesyłać swoje prognozy. W pierwszym roku prognozy zespołu Tetlocka były trafniejsze o 60 proc. niż prognozy grupy kontrolnej. W drugim roku jego grupa była lepsza od grupy kontrolnej o 78 proc., była również lepsza od projektów afiliowanych przy prestiżowych uczelniach w USA o 30 a nawet 70 proc. GJP był lepszy nawet od analityków agencji wywiadowczych mających dostęp do tajnych informacji. Sukces Tetlocka i jego projektu był tak duży, że IARPA podziękowała innym drużynom i skoncentrowała się na GJP.

Superprognozowanie

W projekcie Tetlocka celność prognoz była mierzona tzw. wskaźnikiem Briera. Jeśli jesteś w stanie idealnie przewidzieć przyszłość, to osiągasz wskaźnik 0. Jeśli mówimy o idealnie losowym przewidywaniu przyszłości, to uzyskujemy 0,5 według Briera. A jeśli nie mamy pojęcia, co się wydarzy, i zawsze się mylimy, to uzyskujemy wskaźnik Briera na poziomie 2,0.

Najlepszy wynik uzyskał emerytowany programista Doug Lorch, który uzyskał trafność na poziomie 0,14. Emeryt mieszkający w Santa Barbara, nieposiadający ani specjalistycznej wiedzy, ani doświadczenia, ani dostępu do tajnych informacji, samodzielnie zdominował turniej już w drugim roku jego trwania.

Takich jak on superprognostów było aż 58 – wśród nich inni emerytowani programiści, pracownicy biurowi, gospodynie domowe. Każdy otrzymywał na koniec roku kupon Amazona o wartości 250 dolarów. Roczne koszty osobowe wszystkich superprognostów wyniosły więc 14 500 dolarów, a ich zespół był lepszy w przewidywaniu przyszłości niż dwadzieścia tysięcy analityków pracujących w różnych agencjach wywiadowczych. Superprogności potrafili przewidywać na trzysta dni do przodu z takich samym prawdopodobieństwem, jak zwykli progności przewidywali wydarzenia najbliższych stu dni.

Poradnik dobrego analityka

W napisanej razem z dziennikarzem Danem Gardnerem książce „Superprognozowanie” Tetlock podsumował projekt GJP i zamieścił kilka porad dobrego analityka.

Na przykład warto „szerzej kadrować problem”. Pytać, jak często dane zdarzenia w ogóle występują, a następnie dostosowywać prognozę do aktualnej sytuacji. Innym rozwiązaniem jest rozłożenie problemu na czynniki pierwsze i postawienie dodatkowych pytań. Zamiast wprost przewidywać, czy do 2020 r. wybuchnie wojna pomiędzy USA a Koreą Północną, lepiej zwrócić uwagę na takie kwestie jak prawdopodobieństwo wystrzelenia rakiet dalekiego zasięgu czy konfliktu na morzu pomiędzy statkami północno- i południowokoreańskimi, a potem dostosowywać prognozę pod wpływem kolejnych faktów. Przywiązanie do detali sprawi, że twoje szanse na występ w telewizji zmaleją, ale trafność prognoz wzrośnie. Jak bardzo? Według Tetlocka, jeśli zastosujesz się do wszystkich jego porad, nawet o 10 proc. ©

Autor jest doktorem prawa, wicedyrektorem Instytutu Nauk o Polityce i Administracji w Akademii Ignatianum w Krakowie.

ZAWODNE ALGORYTMY

W USA decyzje o m.in. przedterminowym zwolnieniu więźniów podejmuje się często na podstawie prognoz recydywy, które wykonuje program komputerowy. Jak jednak wykazali ostatnio Julia Dressel i Hany Farid, popularny program COMPAS (od 2000 r. ocenił ponad milion sprawców) radzi sobie z takim zadaniem na poziomie przeciętnego człowieka pozbawionego doświadczenia (ok. 65-67 proc. skuteczności). Co więcej, COMPAS, który bierze pod uwagę 137 cech skazańców, nie osiąga większej skuteczności niż algorytmy, które prognozują na podstawie zaledwie dwóch cech.