Badania naukowe: nie pytaj „czy?”, pytaj „o ile?”

W raportach z badań często zwracamy uwagę na samo występowanie jakiegoś zjawiska czy efektu. Rzadziej – na jego znaczenie lub siłę.

10.06.2023

Czyta się kilka minut

Mural w muzeum kawy, San Cristóbal, Meksyk, styczeń 2022 r. / ARTURA WIDAK / NUR PHOTO / GETTY IMAGES
Mural w muzeum kawy, San Cristóbal, Meksyk, styczeń 2022 r. / ARTURA WIDAK / NUR PHOTO / GETTY IMAGES

Picie gorących płynów zwiększa ryzyko raka przełyku” – kilka lat temu można było przeczytać na wielu portalach internetowych. Brzmi groźnie. Gdy dociera do nas taki komunikat, odkładamy na bok kubek gorącej herbaty, a niektórzy mogą nawet poczuć ochotę, by zainwestować w kuchenny termometr. Wyjaśnijmy: picie gorących płynów rzeczywiście zwiększa ryzyko nowotworu, ale sam ten fakt nie znaczy wiele, dopóki nie dowiemy się, w jakim stopniu wzrasta to zagrożenie. Bardzo czy tylko nieznacznie?

Krótki sen milionera

W zjawiskach otaczającego nas świata dostrzec można dwa aspekty: jakościowy i ilościowy. Gdy pytamy o ten pierwszy, interesuje nas odpowiedź typu „tak” lub „nie”: czy istnieje jakieś zjawisko albo związek między zjawiskami. Z informacjami jakościowymi mamy do czynienia w naszym życiu codziennym najczęściej. Również wśród doniesień ze świata badań naukowych nieustannie natykamy się na tego rodzaju komunikaty – przykładowo, że istnieje zjawisko dziedziczenia doświadczeń rodziców przez dzieci, że inteligencja związana jest ze skłonnością do używania wulgaryzmów czy że poeci są raczej nocnymi sowami niż rannymi skowronkami. Musimy jednak brać pod uwagę, że każde z tych zjawisk ma jakieś swoje większe lub mniejsze nasilenie.

Myślenie o rzeczywistości w binarny sposób („tak” lub „nie”) jest przydatne – wszak deszcz tylko pada lub nie, a polityk albo kłamie, albo nie kłamie – ale bez ustaleń ilościowych nie mamy szans na stworzenie sobie poprawnego obrazu świata. Rzeczywistość jest bowiem na tyle skomplikowana, że odpowiedź na nasze pytania rzadko bywa zero-jedynkowa. Ostatecznie nawet deszcz może padać z różnym natężeniem: być potężną ulewą lub niemrawym kapuśniaczkiem.

Przeskok do myślenia ilościowego – o natężeniu, stopniu, o sile wpływów i wzajemnych związków – uwydatnia sytuacja, w której musimy uwzględnić kilka czynników i porównać je ze sobą, by wybrać najlepszy wariant. Możemy czasem przeczytać, że pobyt w górach ma łagodzić objawy depresji. Ale czy jest skuteczniejszym środkiem niż terapia albo wsparcie bliskich? Podobnie pytani o klucz do swojego sukcesu biznesmeni mówią nieraz, że w zdobyciu majątku pomogło im wstawanie wcześnie rano – pewnie tak było! Są jednak inne czynniki, które pomogły im w tym bardziej, i trudno się spodziewać, że wystarczyłoby nastawiać budzik na szóstą, by wkrótce zarobić miliony. Prześledźmy tę kwestię na kilku przykładach z różnych dziedzin.

Kto lubi gorzką kawę

Zacznijmy od artykułu opublikowanego na jednym z dużych portali, w którym przedstawiono wyniki badań wskazujących na związek między zamiłowaniem do gorzkich potraw a psychopatią (jak mówią psychiatrzy: osobowością dyssocjalną). Ludzie z tym zaburzeniem osobowości okazują się częściej lubować w gorzkich potrawach i napojach. Autorzy tekstu dają czytelnikowi ich zdaniem dobrą radę, która miałaby wypływać z tych ustaleń: widzisz, że twój znajomy pije gorzką kawę? Zastanów się, czy nie masz do czynienia z psychopatą!

Kiedy jednak zajrzymy do artykułu naukowego cytowanego w tekście, zdamy sobie sprawę z niedorzeczności ­podobnego zalecenia. Rzeczywiście, im więcej osoby uczestniczące w opisywanym badaniu zdobywały punktów na skali zamiłowania do gorzkich potraw, tym więcej uzyskiwały też punktów na skali osobowości dyssocjalnej. Jednak związek odnotowany w publikacji jest bardzo słaby: siła korelacji, którą w statystyce określa się współczynnikiem r, ma tu wartość 0,14, a więc zgodnie ze standardową interpretacją – niewiele.

Warto wyraźnie pokazać, jak słaby jest to związek. Odnotujmy najpierw, że według różnych źródeł osób z dyssocjalnym zaburzeniem osobowości (psychopatów) jest w społeczeństwie około 2 proc. Jeśli więc nie wiemy absolutnie niczego o kimś, to prawdopodobieństwo, że jest on psychopatą, wynosi 2 proc. O ile zwiększy się to ryzyko, gdy dowiemy się, że ta osoba jest rozmiłowana w gorzkich smakach? Otóż założywszy, że chodzi o kogoś darzącego gorycz wyjątkowo mocnym uczuciem (silniejszym niż uczucie 98 proc. całej populacji!), to prawdopodobieństwo, że jest to psychopata, wyniesie... ok. 4 proc. A zatem wiedza o zamiłowaniach kulinarnych tylko minimalnie, o 1-2 pkt. proc., zwiększa ryzyko, że mamy do czynienia z osobą o osobowości dyssocjalnej. Zauważmy zresztą, że fakt picia gorzkiej kawy nie daje jeszcze podstaw do przekonania, że chodzi o kogoś fanatycznie uwielbiającego gorycz – a takie założenie zrobiliśmy w naszych wyliczeniach.

Wróćmy jeszcze do komunikatu o związku spożywania gorących płynów z rakiem. Nie wspomnieliśmy, że zawierał on jedną liczbę: otóż gorące napoje zwiększają ryzyko raka przełyku o 90 proc. Autorzy niniejszego tekstu zadali około setce studentów pytanie: czy w takim razie osoby pijące gorące płyny prawie na pewno (z prawdopodobieństwem 90 proc.) zachorują na raka? Zdecydowanie dominowała opinia, że tak. Tymczasem, choć z opisanego badania wynika, że picie gorących płynów rzeczywiście zwiększa ryzyko raka przełyku o 90 proc., trzeba mieć tu na uwadze, że ryzyko to jest wyjściowo niezwykle małe. Zaledwie kilka osób na tysiąc zapada w ciągu swojego życia na podobny nowotwór. Na podstawie naszych oszacowań, wśród Polaków, którzy nie piją gorących płynów, zachorowalność wynosi około 2 na 1000 osób. Pośród miłośników gorącej herbaty jest to o 90 proc. więcej, ale to wciąż poniżej 4 na 1000 Polaków. Podobnie kupienie dwóch biletów na loterię zwiększa nasze szanse na wygraną o 100 proc. (dwukrotnie!), ale prawdopodobieństwo trafienia jest wciąż śmiesznie małe.

Jak działa, to działa

Temat osobowości dyssocjalnej może wydawać się mało istotny w naszym codziennym życiu, ale myślenie jakościowe potrafi sprowadzić nas na manowce, także gdy chodzi o radzenie sobie w społeczeństwie czy o nasze zdrowie. Na rynku znajduje się dziś wielka liczba książek poradników formułujących rozmaite zalecenia wynikające jakoby z ustaleń naukowych. Obejmują one szeroki wachlarz porad: od radzenia sobie ze stresem, przez porady dotyczące rozmów kwalifikacyjnych, po sposoby na zwalczanie moli spożywczych w kuchni. Zalecenia te bardzo rzadko opatrzone są informacją o sile działania rekomendowanych środków.

Weźmy za pierwszy przykład liczne publikacje o tym, jak na podstawie „mowy ciała” odgadywać emocje i myśli naszego rozmówcy oraz sprawdzać, czy on kłamie („stań się ekspertem w rozszyfrowywaniu ludzi” – zachęcają nas tytuły książek i artykułów). Oczywiście wykrywanie kłamstwa to umiejętność bardzo atrakcyjna, którą większość ludzi chętnie by posiadła. I faktycznie, badania naukowe dostarczyły wielu dowodów na to, że osoba kłamiąca przejawia pewne charakterystyczne zachowania. Przykładowo, kłamcy częściej się śmieją, unikają spojrzenia rozmówcy albo – przeciwnie – nienaturalnie długo utrzymują kontakt wzrokowy. Problem jest taki, że związek tych oznak z kłamstwem faktycznie istnieje, ale jest bardzo słaby: wskaźniki statystyczne określające siłę związku przyjmują tu wartości uznawane przez specjalistów za niskie. Obrazowo mówiąc: kłamcy się śmieją, ale niewiele częściej od mówiących szczerze; unikają także spojrzenia rozmówcy, ale prawdomówni robią to tylko trochę rzadziej.

Znajomość oznak kłamstwa w bardzo nikłym stopniu poprawi nasze kompetencje w zakresie jego wykrywania, a na pewno nie uczyni nas mistrzami rozszyfrowywania ludzi. Jak wykazali m.in. ­Aldert Vrij i Samantha Mann w eksperymencie opisanym w 2008 r., nawet profesjonaliści zawodowo związani z wykrywaniem kłamstw (w tym przypadku policyjni śledczy), radzą sobie z tym zadaniem mniej więcej tak samo dobrze, co reszta populacji. A w zasadzie równie źle – średnia skuteczność wykrywania fałszywych zeznań wśród uczestników tego eksperymentu wynosiła 50 proc. Tyle co przy przewidywaniu wyników rzutu monetą.

Innego przykładu informacji czysto jakościowych dostarczają reklamy leków i terapii, od których nie wymaga się wzięcia pod uwagę kwestii ilościowej. Gdy kupujemy suplementy diety i lekarstwa, interesujemy się przede wszystkim tym, czy dany środek działa, a rzadziej tym, jak mocno działa. Producent może więc zgodnie z prawdą informować na opakowaniu czy w reklamie, że lek poprawia odporność, łagodzi zmarszczki czy zwalcza otyłość brzuszną, ale nie musi zaznaczać, że możliwą do stwierdzenia poprawę uzyskuje się, powiedzmy, w 5 przypadkach na 100. Warto więc pamiętać, że nawet gdy działanie leku jest wiarygodnie poświadczone, nie znaczy to jeszcze, że w ogóle odczujemy jego działanie.

Wszystko to nie świadczy, rzecz jasna, że nie warto przyjmować leków, a już w szczególności tych przepisanych przez lekarza, opartych na setkach precyzyjnych badań klinicznych, których efekt jest zazwyczaj wystarczająco silny. Sztuka medycyny często polega na dobraniu odpowiedniego leku dla danego pacjenta, biorąc pod uwagę mnogość różnic indywidualnych.

A jednak z Ziemi

Problem z myśleniem ilościowym i jakościowym przejawia się też w doniesieniach dotyczących różnic społecznych. Najbardziej bodaj jaskrawym przykładem jest tu kwestia różnic występujących między mężczyznami i kobietami, o których mawia się, że pochodzą, odpowiednio, z Marsa i Wenus. To powiedzenie zawdzięczamy książce Johna Graya z 1992 r., która wciąż cieszy się na świecie ogromną popularnością. Dała ona początek fali naśladownictw w publikacjach psychologii popularnej, dokumentujących różnorakie, jakoby fundamentalne odmienności płci. Różnice mają dotyczyć przede wszystkim sposobów komunikowania się mężczyzn i kobiet, stanowiąc jakoby przyczynę wiecznych nieporozumień. Często jednak wnioski autorów podobnych opracowań opierają się wyłącznie na osobistych obserwacjach – czy są one miarodajne i spójne z wynikami systematycznych badań?

Przeprowadzono wiele badań na temat różnic komunikowania się płci, które generalnie pokazują, że kobiety różnią się od mężczyzn pod wieloma względami. Wraca do nas jednak kluczowe pytanie: o ile? Okazuje się, że często odmienności są nieznaczne. W języku statystyki różnice oddaje się parametrem zwanym „d Cohena”. Wynik równy 0 oznacza brak różnicy, wartość między 0 a 0,1 opisywana jest zaś jako: „różnica istnieje, ale jest ona bez znaczenia”. Dopiero d = 0,5 oznacza różnicę pełnokrwistą. Przykładowo, istnieje bardzo duża różnica we wzroście mężczyzn i kobiet w Polsce – w tym przypadku d = 1,5. Kiedy losowo wybierzemy kobietę i mężczyznę, to w 92 proc. przypadków kobieta będzie niższa od mężczyzny. A jak wypada porównanie skłonności do mówienia kobiet i mężczyzn, ustalone w kilkudziesięciu badaniach?

Wbrew ustalonemu stereotypowi, według którego kobiety przejawiają większą skłonność do wielomówstwa, różnica stwierdzona w badaniach to d = 0,11 – a więc jest to różnica, której w potocznym życiu nie jesteśmy w stanie uchwycić, a którą „dostrzegamy” prawdopodobnie na bazie stereotypu. Podobnie wypada skłonność do mówienia o sobie, która według stereotypu powinna dotyczyć kobiet dużo bardziej niż mężczyzn. Otrzymujemy tutaj d = 0,18. Znowu: różnica istnieje, ale jest znikoma. Czy mężczyźni częściej przerywają rozmówcy? Tak, ale d = 0,15. Całkiem wyraźna jest jednak różnica w rozpoznawaniu sygnałów pozawerbalnych. Kobiety są trochę lepsze: d = 0,4.

Istnieją co prawda znacznie wyraźniejsze różnice w psychologii mężczyzn i kobiet, ale wygląda na to, że przynajmniej w kwestii codziennej komunikacji przedstawiciele obu płci nie różnią się tak, jakby pochodzili z różnych planet. Parafrazując jedną z badaczek komunikacji, Kathryn Dindię, która napisała obszerną recenzję książki Graya, prawdopodobnie najlepiej byłoby powiedzieć, że mężczyźni są z Gdańska… a kobiety z Gdyni.

Klątwa „może”

Na koniec chcielibyśmy wspomnieć o pewnym szczególnym znaku rozpoznawczym myślenia jakościowego, który – choć z pozoru niewinny – powoduje nie lada kłopot w przekazach medialnych. To jedno kłopotliwe słowo – „może”.

Gdy jakiś komunikat uwzględnia ilościowe aspekty danego zjawiska, to istnieje zagrożenie, że ktoś, powołując się na niego, zastąpi liczbowe wartości nieokreślonym słowem „może”. Problem polega na tym, że z „może” prawie nic nie wynika i na podstawie tego, co się może zdarzyć, nie sposób podjąć jakiejkolwiek racjonalnej decyzji. Samolot może spaść, każde lekarstwo może nas zabić, złodziej może sforsować każdy rodzaj zamka, ale to nie stanowi powodu, by nie lecieć samolotem, nie leczyć się czy nie instalować zamków w drzwiach. O wszystkim decyduje prawdopodobieństwo. Lekarstwo może nam zaszkodzić, ale prawdopodobieństwo, że to się stanie, jest znikome w porównaniu z prawdopodobieństwem, że zaszkodzi nam nieprzyjęcie lekarstwa. Myślenie jakościowe, oparte na „może”, prowadzi do zdecydowanie nieracjonalnych decyzji. Czy – przykładowo – warto nosić maseczki w czasie epidemii? Myślenie ilościowe prowadzi do zupełnie innego rozumowania niż jakościowe. „Ilościowiec” zastanowi się nad tym, o ile maseczka zmniejsza ryzyko zakażenia – o 10, 50 czy 90 proc.? „Jakościowiec” pyta natomiast: czy można się zarazić pomimo noszenia maseczki? Ponieważ odpowiedź brzmi „tak”, decyduje się na to, by jej nie zakładać.

Z niezliczonych artykułów w prasie popularnej dowiadujemy się, że lekarstwo „może zwalczać raka”, „bałaganiarstwo może świadczyć o wysokiej inteligencji” czy też, że dany suplement „może zmniejszyć ryzyko demencji”. Partykuła „może” jest o tyle szkodliwym przypadkiem myślenia jakościowego, że nie tylko zaciera informacje o sile wpływu, ale wręcz zmusza do balansowania na krawędzi istnienia i nieistnienia związku między zjawiskami. Komunikat zawierający słowo „może” jest zbyt ogólnikowy i w istocie trywialny: bo też trudno znaleźć przypadek, gdzie coś na pewno być nie może.

Racjonalnie, czyli jak?

Pytanie jak zawsze brzmi: jak żyć? Mogłoby się zdawać, że z powyższych rozważań wynika, iż nie warto zwracać uwagi na artykuły popularnonaukowe (co byłoby kłopotliwym wnioskiem wypływającym z artykułu popularnonaukowego) albo wręcz nie ufać żadnym informacjom w nich zawartym. Istnieją jednak sposoby na to, by wciąż raczyć się fascynującymi newsami ze świata nauki, zachowując ostrożność w stosunku do wyborów i decyzji, do których mogą nas one doprowadzić.

Ogólną zasadą byłoby: starać się podejmować decyzje i działania tak, by maksymalizować siłę ich efektu, zamiast opierać się tylko na informacji, że jakiś efekt zachodzi. Osobowość dyssocjalną można przewidzieć znacznie trafniej na bazie innych danych niż preferowanie gorzkiego smaku przez daną osobę, a unikanie gorących płynów obniży ryzyko nowotworu przełyku, ale w stopniu zaniedbywalnym. Zażywanie suplementów pomoże przy niedoborach składników odżywczych, ale warto upewnić się, czy znacznie bardziej nie pomogą nam inne środki – to samo tyczy się zresztą wspomnianych gór, mających łagodzić objawy depresji. Co wcale nie oznacza, że w góry chodzić nie warto – ale przecież na to nikomu nie potrzeba argumentów naukowych. ©

DR HAB. KRZYSZTOF SZYMANEK jest profesorem Uniwersytetu Śląskiego w Katowicach. Zajmuje się logiką oraz filozofią i metodologią nauki.

PIOTR SZYMANEK jest doktorantem w Szkole Doktorskiej Nauk Społecznych Uniwersytetu Jagiellońskiego. Zajmuje się religioznawstwem i kognitywistyką religii.

Dziękujemy, że nas czytasz!

Wykupienie dostępu pozwoli Ci czytać artykuły wysokiej jakości i wspierać niezależne dziennikarstwo w wymagających dla wydawców czasach. Rośnij z nami! Pełna oferta →

Dostęp 10/10

  • 10 dni dostępu - poznaj nas
  • Natychmiastowy dostęp
  • Ogromne archiwum
  • Zapamiętaj i czytaj później
  • Autorskie newslettery premium
  • Także w formatach PDF, EPUB i MOBI
10,00 zł

Dostęp kwartalny

Kwartalny dostęp do TygodnikPowszechny.pl
  • Natychmiastowy dostęp
  • 92 dni dostępu = aż 13 numerów Tygodnika
  • Ogromne archiwum
  • Zapamiętaj i czytaj później
  • Autorskie newslettery premium
  • Także w formatach PDF, EPUB i MOBI
89,90 zł
© Wszelkie prawa w tym prawa autorów i wydawcy zastrzeżone. Jakiekolwiek dalsze rozpowszechnianie artykułów i innych części czasopisma bez zgody wydawcy zabronione [nota wydawnicza]. Jeśli na końcu artykułu znajduje się znak ℗, wówczas istnieje możliwość przedruku po zakupieniu licencji od Wydawcy [kontakt z Wydawcą]
Doktorant w Szkole Doktorskiej Nauk Społecznych Uniwersytetu Jagiellońskiego. Ukończył kognitywistykę i religioznawstwo, obecnie łączy obie te dziedziny w swojej pracy badawczej, podejmując problematykę mechanizmów poznawczych, które leżą u podłoża wiary i… więcej

Artykuł pochodzi z numeru Nr 25/2023

W druku ukazał się pod tytułem: Ilość ponad jakością