Wróż z danych

Oto prawdziwa historia z filmu Bennetta Millera „Moneyball”: działacze sportowi przepowiadali młodemu Billy’emu Beane’owi świetlaną przyszłość w baseballu. Za ich radą odrzucił stypendium na renomowanej uczelni i został zawodowym graczem. Niestety, po wielu niepowodzeniach zakończył karierę. Został jednak selekcjonerem, a później dyrektorem Oackland Athletics, kopciuszka amerykańskiej ligi. Miał postawić drużynę na nogi, co, zważywszy na skromny budżet i stratę trzech kluczowych zawodników, wydawało się ponad jego siły. A jednak podołał wyzwaniu – dzięki analizom komputerowym.

Wcześniej trenerzy dobierali sportowców według zdroworozsądkowego klucza. Beane rzucił wyzwanie intuicji i doświadczeniu doradców (którzy wcześniej wieszczyli mu sukces) i zdał się na bezosobową statystykę. Zbudował zespół jedynie w oparciu o wykresy skuteczności. Przyniosło to Oackland Athletics rekordową passę 20 zwycięstw pod rząd, a menedżerowi wartą kilkanaście milionów dolarów ofertę od znacznie bogatszego klubu, której zresztą nie przyjął.

W SPORCIE, BIZNESIE, NA WOJNIE

– Statystyka i nowoczesne technologie mogą pomóc wygrać nie tylko mecz, ale także wybory parlamentarne, kontrakt biznesowy czy wojnę z terrorystami – zaznacza Krzysztof Wagner, współwłaściciel i dyrektor IT firmy programistycznej FoxCode, z wykształcenia socjolog. – Nic dziwnego, że komputerowe systemy analizy danych ułatwiające przenikanie przyszłości, przynajmniej tej najbliższej, są dziś na usługach zarówno klubów piłkarskich, przedsiębiorstw, banków, jak i służb specjalnych, policji czy wojska.

Te algorytmy są według Wagnera pewniejszym punktem odniesienia niż analizy fachowców. Radzi zaprzestać „pogoni za ekspertem”. – Ludzie uważani za autorytety w swoich dziedzinach, czy chodzi o sport, czy o ekonomię, politykę lub nowe technologie, są tak samo omylni jak zwykli zjadacze chleba – argumentuje. I cytuje nietrafione prognozy gigantów biznesu. M.in. przedstawiciela wielkiej firmy fonograficznej Decca Records, który w roku 1962, podczas oglądania koncertu Beatlesów, stwierdził, że zespoły gitarowe nie mają przyszłości. Do historii przeszła też absurdalna wypowiedź dyrektora IBM Thomasa Watsona z 1943 r.: „Na światowym rynku jest zapotrzebowanie na co najwyżej pięć komputerów”. I Billa Gatesa z 1994 r.: „Dostrzegam niewielki komercyjny potencjał w internecie na najbliższe 10 lat”.

James Surowiecki z „New Yorkera” w swojej książce „Mądrość tłumu” przywołuje badanie przeprowadzone na początku wieku wśród handlarzy walutami, wedle którego w 70 proc. przypadków przeceniali oni trafność swoich przewidywań kursów. Innymi słowy: nie tylko nie wiedzieli, że są w błędzie, lecz również nie zdawali sobie sprawy z rozmiarów swojej pomyłki. Jak podkreśla dziennikarz, dotyczy to wszystkich specjalistów: lekarzy, prawników, inżynierów, przedsiębiorców, finansistów, pracowników banków inwestycyjnych.

Do podobnego wniosku doszedł J. Scott Armstrong, profesor z Wharton Business School na Uniwersytecie Pensylwanii, który od lat zajmuje się weryfikowaniem diagnoz i prognoz eksperckich. Na łamach magazynu „Technology Review” przyznaje, że fachowcy, owszem, radzą sobie niekiedy lepiej niż laicy (z wyjątkiem psychologów, którzy z reguły gorzej przewidują ludzkie zachowania niż niepsychologowie). Niemniej, poza niewielkim marginesem – zaznacza – „wiedza specjalistyczna i trafność decyzji nie mają ze sobą nic wspólnego”.

KULT EKSPERTA CZY AMATORA

Co czeka Polskę w nowym, 2013 roku: gospodarcza zapaść czy ożywienie? Drastyczny wzrost bezrobocia czy choćby minimalny jego spadek? Wzmocnienie podziału sceny politycznej czy ponadpartyjna współpraca przy największych problemach kraju? A co z Europą i światem? Grecja opuści jednak strefę euro? Turcja postawi ultimatum w sprawie członkostwa w Unii i ponownie usłyszy twarde „nie”? Z tymi pytaniami, jak zwykle, zwrócimy się do znanych z telewizji ekspertów. Zgodnie z maksymą sformułowaną przez Armstronga: „Bez względu na liczbę dowodów na to, że jasnowidzów nie ma, frajerzy zapłacą, aby ci zaistnieli”.

Tymczasem wyważone i miarodajne opinie może nam zaoferować grupa amatorów – wskazuje Surowiecki. Dowodem choćby teleturniej „Milionerzy”: kiedy uczestnicy programu proszą o „telefon do przyjaciela”, prawdopodobieństwo otrzymania prawidłowej odpowiedzi wynosi 65 proc. Gdy zwracają się do publiczności, szansa sięga aż 91 proc.

Kolejnym argumentem za tezą Surowieckiego jest projekt Iowa Electronics Market, w którym można stawiać zakłady online dotyczące zdarzeń w przyszłości z wielu dziedzin, głównie polityki i gospodarki. Choć obstawianie odbywa się z wykorzystaniem pieniędzy, przedsięwzięcie ma charakter badawczy. W 75 proc. przypadków ta rynkowa metoda okazuje się skuteczniejsza niż tradycyjna metoda ankietowa, umożliwiając prognozowanie choćby wyników wyborczych z zaledwie kilkupunktowym marginesem błędu.

Aby jednak „tłum był mądry”, członkowie zbiorowości muszą się różnić pod względem wiedzy i nie mogą pozostawać pod zbyt silnym wpływem innych. Konieczna jest także agregacja, czyli umiejętność podsumowania wszystkich opinii wyrażonych w grupie. Te trzy warunki są spełnione w internecie. Jego użytkownicy, których na świecie jest już 2,3 mld (dane Międzynarodowego Związku Telekomunikacyjnego), dzielą się poglądami w e-mailach, na blogach czy w mediach społecznościowych. Nie dość tego. Każdy nieświadomie zostawia w sieci tzw. cyfrowy cień. To wszystkie dane osobowe, które zbierają m.in. operatorzy komórkowi, stacje telewizyjne, sieci handlowe, wywiadownie gospodarcze, banki, a nawet komunikacja miejska.

– Jeśli te atomy informacji połączymy z raportami GUS i Eurostatu, analizami giełdowymi, elektronicznymi kartotekami policji, można przewidzieć wiele zjawisk: społecznych, politycznych i gospodarczych – nie ma wątpliwości Krzysztof Wagner.

Ale czy nie jest tak – by nawiązać do słynnej tezy Andrew Keena, autora książki „Kult amatora. Jak internet niszczy kulturę” – że zalew treści tworzonych przez tłum laików utrudnia dotarcie do naprawdę wartościowych informacji? Dr Mirosław Sopek, wiceprezes firmy informatycznej MakoLab, zaprzecza. Jego zdaniem, analiza dużych zbiorów danych (ang. big data sets) często ujawnia zjawiska i zależności, których nie widać w klasycznej analizie statystycznej, czyli przeprowadzanej na stosunkowo małej próbce.

– Jeśli dane te dotyczą procesów powtarzalnych, wykrycie ich może, w pewnym zakresie, prowadzić do przewidywania określonych tendencji i rozwoju sytuacji – przekonuje.

CZŁOWIEK NADAL POTRZEBNY

Co można już przewidywać?

Latem 2012 r. zespół badaczy z University of Birmingham pod kierownictwem Mirco Musolesiego udowodnił, że cyfrowe dane wskazują miejsce przyszłego pobytu interesującej osoby. Uczeni wzięli na cel 200 mieszkańców okolic Lozanny w Szwajcarii. Analizując informacje od teleoperatorów, lecz również te zgromadzone w pamięci telefonów i w sieci (kontakty ze znajomymi, transakcje, zakupy, wypady do pubu), byli w stanie – z dokładnością do niespełna 20 m – określić, gdzie kto będzie przebywał za pewien czas.

Na uwagę zasługuje także eksperyment Teda Rugera, psychologa z Uniwersytetu Pensylwanii. 83 doświadczonych prawników spróbowało odgadnąć wyroki Sądu Najwyższego w kilku wybranych sprawach. To samo zadanie Ruger powierzył programowi do analizy statystycznej, który wykorzystuje dane m.in. o przebiegu kariery sędziów, ich sympatii politycznych czy wieku. Program przewidział wyroki z 70-procentową skutecznością, zaś eksperci nie mylili się tylko w 39 proc. przypadków.

Nie można nie wspomnieć o amerykańskim superkomputerze Nautilus, który potrafi przewidzieć ważne światowe zdarzenia, takie jak rewolucja w krajach północnej Afryki. Wszystko dzięki śledzeniu setek milionów doniesień prasowych, pochodzących np. z BBC, komunikatów rządowych czy „New York Timesa”. Maszyna badała, czy wiadomości były pozytywne, czy nie. Wyłapywała takie słowa jak „ładny” i „tragiczny”. I... odkryła m.in. negatywne nastroje w Egipcie na początku 2011 r.

Wgląd w przyszłość, ale na dużo większą skalę, ma nam dać kontrowersyjny plan Unii Europejskiej o wartości miliarda euro. Jak wyjaśnia jeden z liderów projektu, prof. Dirk Helbing z Federalnego Instytutu Technologii w Zurychu, chodzi w nim o zbieranie informacji z olbrzymiej liczby źródeł, a następnie ich analizę z wykorzystaniem najpotężniejszych na świecie komputerów. Dzięki temu będziemy przygotowani na nadchodzące nieszczęścia w rodzaju wojen, ataków terrorystycznych, recesji czy epidemii.

– Nie należy się jednak spodziewać, że takie możliwości wynikają z automatycznej analizy dużych zbiorów – uświadamia Mirosław Sopek. – W przewidywanie nadal musimy wkładać ludzką mądrość, a czasami także intuicję. Jak powiada jeden z praktyków analiz dużych danych, doktor Usama Fayyad: uncja wiedzy jest warta tony danych.

Wygląda więc na to, że choć eksperci są zawodni, bez nich komputerowe algorytmy na niewiele się zdadzą. I nawzajem.