Sondaże, słupki i filary

Sondaże przykuwają uwagę polityków, mediów i części wyborców. Tymczasem wiele z nich, jak można sądzić, prezentuje obraz mocno oderwany od rzeczywistości, kreowany na użytek komitetów wyborczych przez specjalistów od wizerunku i public relations. Czy więc pozostała jeszcze w tym narzędziu socjologicznym, którym jest sondaż, jakaś nauka? Czy też stało się ono wyłącznie instrumentem marketingu i promocji? Czy słupki, którymi próbują się przebijać nawzajem kandydaci lub partie, mają wystarczające fundamenty naukowe, by traktować je jako wyniki obiektywnego badania?
Teoria w praktyce
Gdy w 1936 r. młody profesor dziennikarstwa, socjolog i badacz reklamy – George Gallup przekonywał swoim sondażem przedwyborczym, że odpowiednio dobrana próba pięciu tysięcy Amerykanów umożliwia określenie preferencji politycznych milionów wyborców, nikt nie miał wątpliwości, że rodzi się nowy rodzaj badań masowych. Badań, w których ważniejszy od wielkości próby respondentów był sposób ich wyboru. Gallup potrafił bowiem przewidzieć zwycięstwo prezydenta Franklina D. Roosevelta na podstawie stosunkowo małej próby losowej, podczas gdy nie udało się to magazynowi „Literary Digest” na próbie wielokrotnie większej – dziesięciu milionów osób dobranych w sposób intuicyjny (niereprezentatywny).
Późniejszy rozwój statystyki i rachunku prawdopodobieństwa dostarczył badaczom narzędzi do coraz dokładniejszego wnioskowania o dużych zbiorowościach ludzkich, i to na podstawie mniejszych prób niż w epoce Gallupa. Współcześnie, zarówno w Polsce, jak i w USA, mimo znacznych różnic w liczbie osób uprawnionych do głosowania, typową wielkością próby badawczej w sondażach politycznych jest około 1,1 tys. respondentów. Otóż nie wielkość populacji jest istotna, a nawet nie wielkość próby, lecz sposób jej doboru – zwykle losowania – i możliwość uzyskania odpowiedzi od każdego respondenta w próbie. Są to dwa filary dobrego badania sondażowego.
Wątpiący zapyta: czy jest tak jedynie w teorii, czy też są dowody, że rzeczywiście próba, która stanowi ułamek procenta populacji, może być podstawą wiarygodnego i precyzyjnego wnioskowania? Przyznać trzeba, że w badaniach sondażowych opinii społecznej nieczęsto zdarzają się sytuacje, w których wykonuje się badanie na losowej próbie respondentów i równocześnie na całej populacji – a dopiero to umożliwiłoby skonfrontowanie wyników obu tych badań. W końcu nie po to wykonuje się badania próbkowe, aby następnie, przy olbrzymim wysiłku i kosztach, powtarzać je dla całej badanej grupy.
Jedną z niewielu okazji do szybkiego zweryfikowania trafności sondażu jest dzień wyborów i realizowane w tym dniu badanie o nazwie exit poll. Ale uwaga – nie chodzi tu o trafność prognoz formułowanych przed dniem głosowania, które w czasie kampanii budzą najwięcej emocji. Ten sondaż zwykle ogłasza się w wieczór wyborczy, a jest on badaniem losowej próby wyborców, którzy wzięli udział w głosowaniu. Na tej podstawie wnioskuje się, jak głosowali w tym dniu wszyscy wyborcy, czyli przewiduje ostateczny wynik wyborów. Jest tu precyzyjnie określona populacja, chociaż nieznana przed rozpoczęciem badania – nie wiemy, którzy wyborcy wezmą udział w wyborach. Udany exit poll stanowi każdorazowo dowód na to, że naukowe podstawy wnioskowania na podstawie prób reprezentatywnych sprawdzają się w praktyce.
W ostatnich pięciu latach realizatorzy exit poll w naszym kraju, szczególnie TNS Polska oraz Ipsos, uzyskali w wyborach prezydenckich, parlamentarnych i eurowyborach wyniki różniące się od oficjalnych o mniej niż jeden punkt procentowy w odniesieniu do każdej partii lub kandydata. Wyjątkiem były ostatnie wybory samorządowe, ale i wówczas exit poll byłby trafny, gdyby uwzględnić korektę błędu spowodowanego broszurą wyborczą (jak pisał na łamach „Tygodnika” nr 4/2015 dr Jarosław Flis, „Miejsce na pierwszej stronie książeczki wyborczej dało PSL-owi dodatkowe 700 tysięcy głosów – tyle, ile wyniosła różnica pomiędzy badaniami exit poll w wieczór wyborów samorządowych a oficjalnymi wynikami”).
Skoro więc metoda zdała wielokrotnie egzamin, dlaczego zawodzi ona w sondażach przedwyborczych? Przyjrzyjmy się dwóm wspomnianym wcześniej filarom dobrego badania sondażowego.
Próba dla próbki
Pierwszym filarem jest wybór próby, która dobrze reprezentowałaby populację wszystkich wyborców. Najczęściej pracownie sondażowe deklarują, że stosują jedną z technik losowego wyboru próby i telefoniczny kontakt z respondentami. Tylko że dziś, gdy w wielu gospodarstwach domowych nie ma telefonu stacjonarnego, natomiast ich członkowie mają łącznie kilka telefonów komórkowych, dotarcie do próby, którą można by uznać za losową, wcale nie jest łatwe.
Przekonują się o tym najbardziej znane ośrodki badawcze: w 2012 r. w USA Instytut Gallupa zmienił dotychczasowy sposób losowania wyborców poprzez losowe generowanie numerów telefonicznych (ang. random digit dialing) na rzecz tańszego sposobu, polegającego na losowaniu publikowanych numerów telefonów stacjonarnych (50 proc. próby) oraz losowego generowania numerów telefonów komórkowych (pozostałe 50 proc.). Wszystko po to, żeby objąć możliwie jak największą frakcję gospodarstw domowych.
Jednak słabością tego rozwiązania, jak się później okazało, była specyficzna struktura posiadaczy telefonów komórkowych. Ta część próby – stwierdza w swoim raporcie Instytut Gallupa – była przeciętnie młodsza wiekowo, o większej przewadze sympatii dla Partii Demokratycznej, i w większym stopniu skłonna poprzeć Baracka Obamę jako prezydenta, aniżeli respondenci wylosowani z racji posiadania telefonu stacjonarnego. I mimo że zastosowanie odpowiednich wag może strukturę tę zbliżyć do ogólnokrajowej, uznano to za jedno ze źródeł błędu w prognozowaniu zwycięzcy wyścigu do Białego Domu w 2012 r. Według prognozy Gallupa miał wygrać Mitt Romney (49 proc.), wyprzedzając Obamę o jeden punkt procentowy. W rzeczywistości 6 listopada 2012 r. wygrał Barack Obama z wynikiem o 3,85 pkt. proc. lepszym od republikańskiego rywala.
Ośrodki badawcze w Polsce nie ujawniają oczywiście stosowanej techniki losowania próby, ale należy się spodziewać, że zmagają się z podobnymi problemami jak w USA.
Drugi filar dobrego sondażu to zdobycie dostępu do respondenta i skłonienie go do udzielenia odpowiedzi w ankiecie. Jest to jeszcze poważniejsze wyzwanie. Nawet najstaranniej wylosowana próba traci swoje właściwości, gdy 70 lub 80 proc. wylosowanych odmawia. A takie sytuacje nie są rzadkością, lecz normą. Zastąpienie tych, którzy odmówili, innymi respondentami rodzi błędy, które trudno kontrolować i eliminować. Tym trudniej, im mniej mamy informacji o tych, którzy z ankieterem nie chcieli rozmawiać. W dodatku problem z często realizowanymi sondażami polega na tym, że nawet gdyby pracownia sondażowa takie informacje próbowała zdobyć, to i tak zabrakłoby jej czasu na ich opracowanie, przetworzenie i odpowiednie wykorzystanie w mechanizmach ważenia czy kalibracji. Zbyt niecierpliwy jest rynek mediów i środowiska polityczne, dla których liczy się przede wszystkim szybka informacja.
Z wyścigu w pułapkę
Ostatecznie więc nie wiemy, jaka jest jakość poszczególnych sondaży i na ile zaprojektowana próba losowa różni się od tej, którą faktycznie w badaniu wykorzystano. Podawany w komunikatach z badań sondażowych błąd statystyczny 3 proc. nie ma już wiele wspólnego z całkowitym błędem badania. Ten pierwszy bowiem odpowiada wyłącznie za niedoskonałość losowej próby, jako reprezentacji całej populacji. A całkowity błąd badania zwiększają wszelkie inne trudności, jak braki odpowiedzi czy celowe wprowadzenie w błąd ankietera (np. podyktowane poprawnością polityczną). W efekcie sondażowy obraz staje się mało precyzyjny i mało wiarygodny.
Czy jest wyjście z pułapki ścigających się, zbyt częstych, a przez to coraz mniej starannych sondaży? Samo środowisko realizatorów badań sondażowych powinno wypracować i egzekwować powszechne w innych krajach standardy jakości. Chodzi o to, żeby przywrócić badaniu sondażowemu jego pierwotny atrybut: naukowy obiektywizm. Stawką jest reputacja sondaży. Leży to w interesie firm badawczych, w interesie nauk – socjologii i statystyki, a wreszcie – w interesie obywateli. ©

Prof. dr hab. MIROSŁAW SZREDER jest ekonomistą, specjalizuje się w rozwoju i nowych zastosowaniach nauk ilościowych, szczególnie statystyki. Prorektor Uniwersytetu Gdańskiego, członek Komitetu Statystyki i Ekonometrii PAN.