Pacjenci zombie: jak w medycynie fabrykuje się dane

W 2020 r. John Carlisle, anestezjolog ze szpitala w angielskim Torquay i redaktor czasopisma „Anaesthesia”, opublikował wyniki kilkuletniego prywatnego śledztwa na temat pacjentów-zombie. Nie chodziło o makabryczne eksperymenty z ożywianiem zwłok, ale zjawiska równie przerażające – fabrykowanie danych w publikacjach medycznych.

Carlisle przeanalizował ponad 500 raportów z randomizowanych kontrolowanych badań medycznych – więcej o nich za chwilę – zgłoszonych do publikacji w „Anaesthesia”. Niemal co trzecie badanie sprawdził bardzo dokładnie – uzyskał od autorów surowe dane, dotyczące poszczególnych (zanonimizowanych) pacjentów. I ustalił, że 44 proc. przeanalizowanych raportów opierało się na danych zawierających błędy lub przekłamania – a 26 proc. na jawnie sfabrykowanych. To tę grupę zmanipulowanych badań klinicznych, które prawdopodobnie w ogóle się nie odbyły (za wymienianymi przez autorów w tabelkach pacjentami nie kryli się prawdziwi ludzie), Carlisle określił jako zombie.

Złoty standard badań medycznych

Randomizowane kontrolowane badania medyczne (znane także pod angielskim skrótem RCTs) to w teorii najwyższy standard nauki. Pacjenci przydzielani są losowo do jednej z dwóch grup: eksperymentalnej (pacjent otrzymuje lek lub terapię, których skuteczność badamy) oraz kontrolnej (pacjent otrzymuje neutralną substancję, tzw. placebo, lub inny, standardowy lek czy terapię). Skuteczność interwencji medycznej oceniamy sprawdzając, o ile częściej u pacjentów w grupie eksperymentalnej dochodzi do poprawy zdrowia w porównaniu z pacjentami z grupy kontrolnej. Pacjenci zwykle nie wiedzą, do której grupy trafili (by ich oczekiwania lub rozczarowania związane z przydziałem do grupy nie wpływały na skuteczność terapii), nie wie tego często także personel medyczny (by jego nastawienie do wszystkich pacjentów było identyczne) – wówczas mówi się o tzw. próbach podwójnie ślepych.

Raport Carlisle’a był więc potwornie niepokojący i na szczęście wywołał burzę – rozpoczęły się kolejne śledztwa i powstały zestawy dobrych praktyk. Przykładem jest zalecenie, by redakcje czasopism wymagały udostępniania przez autorów surowych danych z prowadzonych badań, bo w nich najłatwiej wychwycić manipulacje. Np. to, że dane dotyczące wielu pacjentów są powiązane albo „zbyt idealne” – tak jakby ktoś kopiował zawartość tabelek, a nie opierał się na rzeczywistych pomiarach, których wyniki w przypadku żywych ludzi muszą cechować się pewnym poziomem zmienności (każdy człowiek jest przecież niepowtarzalnym organizmem). W przypadku raportów, w których Carlisle nie miał dostępu do danych indywidualnych pacjentów, był w stanie wskazać tylko 1 proc. badań jako zombie.

Za naukowe oszustwa zapłacimy zdrowiem

Nie wszystkie przeanalizowane przez Carlisle’a raporty z badań „Anaesthesia” opublikowała, ale nawet te odrzucone w jednym czasopiśmie artykuły mogą przecież ukazać się w innym tytule – każda redakcja funkcjonuje niezależnie. Fabrykowane publikacje z pewnością więc zanieczyszczają naszą wiedzę, za co musimy płacić niższą skutecznością terapii i mniejszym ich bezpieczeństwem – a zatem ostatecznie i zdrowiem. Jak duża jest skala tych zanieczyszczeń? Nowe szersze śledztwo, zainspirowane pracą Carlisle’a, pokazuje, że niebagatelna.

Każdego roku na świecie prowadzi się kilkadziesiąt tysięcy RCTs (przykładowo: w 2015 r. zarejestrowano ponad 35 tys. takich badań) – a setki z nich mogą dotyczyć dokładnie tych samych procedur medycznych czy leków. Często – potencjalnie z wielu powodów – poszczególne zespoły badawcze uzyskują rozbieżne wyniki. Dlatego standardy postępowania organizacji i towarzystw medycznych opierają się na systematycznych przeglądach literatury naukowej i tzw. metaanalizach, a nie wynikach pojedynczych badań. Takie przeglądy zwiększają pewność naszej wiedzy medycznej, jednak tylko przy założeniu, że niewielka część badań została sfabrykowana.

Podejrzane badania w raportach Cochrane

Najbardziej cenioną organizacją udostępniającą tego rodzaju systematyczne przeglądy jest fundacja Cochrane. Właśnie jej publikacjom – dotyczącym różnych dziedzin medycyny – przyjrzeli się Jack Wilkinson z Centrum Biostatystyki na Uniwersytecie w Manchesterze razem z kilkudziesięcioma innymi badaczami. W artykule udostępnionym w serwisie medRxiv opisali zastosowanie ponad 70 testów wiarygodności (obejmowały np. analizę dorobku naukowego autorów artykułów, sposobu prezentowania wyników czy danych indywidualnych pacjentów) do badań zebranych łącznie w 50 recenzjach Cochrane’a. 25 proc. tych badań zaklasyfikowano jako podejrzane, a 6 proc. – jako bardzo podejrzane. Co gorsza, jedna piąta z przeanalizowanych recenzji Cochrane’a zawierała wyłącznie badania budzące obawy co do ich rzetelności.

Medycyna przyszłości nie może poprzestawać na wynajdywaniu nowych leków i stosowaniu nowych technologii. Musi także skuteczniej nauczyć się wykrywać naukowych oszustów.