Próba głosów

Jednym z kluczowych pojęć, występujących w sondażowych badaniach opinii publicznej, jest “losowy dobór próby" - termin od dawna precyzyjnie określony przez statystyków jako taki dobór elementów do próby, w którym każda jednostka badanej populacji ma jednakowe prawdopodobieństwo dostania się do niej. Badaniem opinii publicznej nie są więc: telewizyjna sonda uliczna (to metoda jednego z nieprofesjonalnych ośrodków badania opinii, który “GW" ironicznie nazwała Ośrodkiem Badań Ulicznych), sonda wśród internautów, telefoniczny sondaż wśród radiosłuchaczy czy ankieta czytelników czasopisma. Badaniem opinii publicznej przed wyborami nie są także prawybory, w których - jak to miało miejsce w Bystrzycy Kłodzkiej 12 sierpnia 2001 r. - głosy wyborców można pozyskać częstując ich darmowym alkoholem lub płacąc 20 złotych.

We wszystkich tego typu badaniach sondażowych nieuzasadnione jest uogólnianie wyników na całą populację. Posłużenie się próbą niereprezentatywną nie daje bowiem żadnych szans na wiarygodne, liczbowe określenie błędu pomiaru. Błąd jest więc niemierzalny i pozostaje nieznany, zaś wyniki uzyskane z takiej próby dają mocno zniekształcony obraz poglądów społecznych.

Wzorzec Gallupa

Jakie są źródła błędów w badaniach opinii publicznej opartych na próbach reprezentatywnych (losowych)? Dlaczego wyniki badań niektórych ośrodków są często tak rozbieżne, choć każdy twierdzi, że błąd statystyczny wyników nie przekracza 3 proc.? Czy owe 3 proc. dotyczy wszystkich rodzajów błędów, jakimi mogą być obciążone wyniki badania, czy tylko niektórych? Żeby znaleźć odpowiedzi, wystarczy podstawowa znajomość metod rachunku prawdopodobieństwa i statystyki.

Owe 3 proc. dopuszczalnego błędu charakteryzuje tylko jeden z możliwych pięciu lub sześciu rodzajów błędów w badaniach opinii; 3 proc. odnosi się wyłącznie do tzw. błędu losowego, nazywanego też statystycznym. To liczbowe wyrażenie błędu, jaki może wystąpić w związku z badaniem losowej próby osób z populacji, zamiast całej populacji. Błąd losowy odpowiada za błędne wnioskowanie wówczas, gdy na skutek poprawnego wykorzystania mechanizmu losowania trafiła się próba mało reprezentatywna, czyli taka, której struktura odbiega od struktury populacji. Czy jednak, postępując zgodnie z wszelkimi wymogami doboru losowego, może się ona w ogóle trafić? Może. Tak samo, jak może się trafić 10 razy z rzędu reszka w 10 rzutach dobrze wyważoną, symetryczną monetą. Na szczęście, dochodzi do tego rzadko, a kiedy już się tak stanie, powstały błąd nie powinien przekroczyć 3 proc. wyników badania. Znając rachunek prawdopodobieństwa, dość łatwo można wyliczyć niezbędną wielkość próby, która będzie się różnić od prawdziwej wartości o nie więcej niż +/- 3 punkty procentowe.

Dlaczego jednak wyniki badań TNS-OBOP, CBOS, Pentora i innych różnią się w stopniu czasami znacznie przewyższającym deklarowane 3 proc. błędu? Może winna jest mało liczna próba, która w badaniach wszystkich tych ośrodków waha się między 1000-1200 osób? Mniej zorientowani powiedzą, że 1200 badanych osób to zaledwie 0,05 promila dorosłej ludności Polski. Ośrodek Gallupa, wykonujący setki badań opinii tygodniowo i bez pudła przewidujący od 1948 r. wyniki wyborów prezydenckich w USA (w 1960 r. prognozował, że John F. Kennedy minimalnie - o 1 proc. - pokona Richarda Nixona; Kennedy wygrał 1 promilem), bada próby losowe nie przekraczające 2 tys. osób, co daje 0,01 promila populacji dorosłych Amerykanów, przekraczającej 187 mln. Jak widać, mniej istotna jest wielkość próby, ważniejszy - sposób jej doboru.

Do takiego wniosku prowadzą zarówno rozważania analityczne, jak wieloletnie doświadczenia renomowanych ośrodków badawczych. Intuicja nie pomaga jednak zrozumieć tego faktu i pewnie dlatego w jednym z badań zdecydowana większość Amerykanów stwierdziła, że darzą dużym zaufaniem wyniki badań ośrodka Gallupa i jednocześnie nie wierzą w założenia naukowe tych badań, m.in. że opinia 1,5-2 tys. osób może dobrze odzwierciedlać poglądy 187-milionowej populacji.

Rewolucja, której nie było

Autorzy badań zazwyczaj mówią tylko o możliwości popełnienia błędu losowego, dość łatwego do zmierzenia i skontrolowania, nie wspominając o błędach nielosowych, których wpływ na wyniki badania trudno zarówno ocenić, jak skwantyfikować.

Błąd może wynikać ze świadomej odmowy udziału respondenta w badaniu lub też nieświadomej odmowy polegającej na trudności nawiązania z nim kontaktu. To oczywiste, że gdyby opinie na badany temat w zbliżony sposób rozkładały się wśród respondentów uczestniczących w badaniu i wśród tych, którzy odmówili udziału w nim, błąd byłby niewielki lub nie byłoby go wcale. W ogromnej większości badań jest jednak inaczej. Respondenci odmawiający udziału w badaniu zwykle różnią się w postawach i opiniach od całej populacji. Odmawiając, czymś się przecież kierują - to “coś" odmawiających łączy. Dopóki jednak nie zostanie ono przez badających rozpoznane, dopóty będzie generowało nieznanej wielkości błąd. Dotyczy to także sondaży przedwyborczych, można sobie wszak wyobrazić, że część zwolenników “Samoobrony" kwestionuje rzetelność pracy wszelkich polskich instytucji, w tym także ośrodków badania opinii publicznej, i odmawia udziału w badaniu. Ich nieobecność w próbie, albo zastąpienie ich innymi respondentami, którzy najprawdopodobniej byliby zwolennikami innych partii, w oczywisty sposób zniekształci obraz preferencji wyborczych społeczeństwa.

Innym źródłem nielosowego błędu w badaniach opinii mogą być źle sformułowane i w niewłaściwej kolejności postawione pytania. Zamiast przywoływać z literatury zasady, jakich należy przestrzegać przy formułowaniu pytań - posłużę się przykładem. Jest on dość spektakularny, bo dotyczy błędów popełnionych przez uznane ośrodki badawcze: TNS-OBOP i sopocką Pracownię Badań Społecznych. Zimą 1999 r.,

w czasie protestów rolniczych na drogach, oba ośrodki wykonały badania opinii, pytając o zasadność protestów. Prasa donosiła: “Sondaż »Rzeczpospolitej« przeprowadzony przez sopocką PBS przynosi zaskakujący wynik - szokująco wysokie poparcie społeczne dla blokad dróg. Pytanie brzmiało: »czy uważa Pan(i), że rolnicy mają powody, by protestować, blokować drogi?«.

78 proc. badanych odpowiedziało »tak«". Prezes konkurencyjnej firmy, TNS-OBOP, stwierdził wówczas: “Gdyby to była prawda, to by znaczyło, że mamy w kraju sytuację rewolucyjną. A to nieprawda. To pytanie jest po prostu błędem warsztatowym. Mamy tu bowiem dwa pytania: »czy rolnicy mają powód, by protestować?« i »czy rolnicy mają powody, by blokować drogi?«". Dyrektor innego ośrodka, CBOS-u, dodawał: “Pytanie zawiera szkolny błąd socjologiczny, a więc odpowiedź na nie jest nic warta". Także realizujący badanie szef PBS przyznał, że zdarzyła im się wpadka w postaci ewidentnie niefortunnego sformułowania.

Dwa dni później ukazał się sondaż TNS--OBOP-u dotyczący blokad rolniczych. Respondentom zadano pytanie: “które ze stwierdzeń jest Panu(i) bliższe?: blokujący drogi rolnicy nie mają innego wyjścia, bo tylko tak mogą skłonić rząd do zajęcia się sprawami wsi, więc można ich usprawiedliwić; czy też: blokujący drogi rolnicy działają bezprawnie i dezorganizują życie kraju, nic ich nie usprawiedliwia".

Wynik okazał się szokujący - aż 81 proc. wybrało pierwsze stwierdzenie, czyli poparło rolników. Szef OBOP-u, który ledwie dwa dni wcześniej mówił o błędzie warsztatowym konkurentów, przyznawał, że pytanie ma mankamenty, bo przedstawiono badanym zbyt skrajne opcje do wyboru. Oczywiście, błąd nie był zamierzony, wynikał z pośpiechu. Natomiast krytykowany wcześniej szef PBS powiedział o TNS-OBOP, że “formułując pytanie, naruszono podstawowe reguły tworzenia zestawu odpowiedzi w tzw. pytaniach zamkniętych" (informacje zaczerpnięte z “Gazety Wyborczej").

Zmiany z ostatniej chwili

Mogłoby się wydawać, że w przypadku sondaży przedwyborczych ryzyko błędnego sformułowania pytania jest mniejsze. Respondentom zadaje się wszak dość proste pytania. Okazuje się jednak, że respondenci różnią się w odpowiedziach w zależności od tego, czy poda im się listę partii (komitetów wyborczych), czy obok nazwy partii poda się nazwisko przywódcy, w jakiej kolejności podane zostaną nazwy partii itd. A jednym z najtrudniejszych problemów, doprowadzających do nielosowego błędu w przewidywaniu wyniku wyborów, jest ustalenie, którzy respondenci naprawdę pójdą do urn. Często przewidywanie, kto będzie głosował, jest trudniejsze od ustalenia, na kogo odda głos.

Niektóre zagraniczne ośrodki badania opinii, np. Gallupa, opracowały specjalne procedury i programy komputerowe pozwalające ustalić dla każdego respondenta, w oparciu o odpowiedzi na dodatkowe pytania, prawdopodobieństwo udziału w wyborach. Pytają m.in., czy indagowane osoby zamierzają głosować, czy brały udział w poprzednich wyborach, w jakim stopniu interesują się problematyką wyborczą i polityczną? Trafne wyodrębnienie wyborców, którzy pójdą oddać głos, jest istotnym warunkiem dobrego przewidywania wyników elekcji.

Innym kłopotem badaczy opinii przedwyborczych są osoby, które w przeddzień wyborów - w czasie między dniem, kiedy byli ankietowani, a dniem wyborów - zmieniają preferencje wyborcze. Aby uniknąć powodowanych tym błędów, próbuje się stworzyć możliwie bogate wspólne charakterystyki tych osób w taki sposób, by w odniesieniu do każdej z nich możliwe było określenie prawdopodobieństwa oddania głosu na partię wskazaną w badaniu.

***

Źródeł możliwych do popełnienia błędów w badaniu opinii publicznej jest wiele, wyeliminować wszystkich - nie sposób. Nawet ich zmierzenie jest trudne. W formie liczb możemy wyrazić tylko przewidywane skutki błędu losowego (najczęściej +/- 3 proc.). Właśnie z powodu tych trudności o błędach nielosowych komunikaty z badań milczą. Ale czy w takim razie twierdzenie autorów badania, że jego wyniki mogą się różnić od prawdziwego rozkładu opinii o +/- 3 proc., jest prawdziwe? Nie, po prostu taki komunikat jest niepełny. Powinien brzmieć: z powodu błędu losowego wyniki mogą odchylać się o +/- 3 proc. od rzeczywistego rozkładu opinii; dodatkowo wyniki mogą zniekształcać błędy o charakterze nielosowym.

W publikowanych w Polsce wynikach badań właśnie tego ostatniego stwierdzenia brakuje.

Prof. MIROSŁAW SZREDER (ur. 1957) jest statystykiem, wykładowcą Uniwersytetu Gdańskiego, dziekanem Wydziału Zarządzania tej uczelni. Ostatnio wydał “Metody i techniki sondażowych badań opinii" (PWE, 2004).