Czy istnieje sposób na zmierzenie naukowych osiągnięć

Osoby zainteresowane nauką i sprawami środowiska akademickiego zapewne słyszały o „rankingu Uniwersytetu Stanforda najlepszych 2 proc. badaczy z całego świata”. Swoimi reprezentantami na tej liście lubią się chwalić uczelnie, ranking przywołują też publicyści – w ostatnich tygodniach np. ci, którzy komentowali polityczne zamieszanie wokół zmian na czele IDEAS NCBR. 

Obecność w „stanfordzkim” rankingu Piotra Sankowskiego, byłego już kierownika tej badawczo-rozwojowej jednostki, przywoływano jako argument za jego wysoką pozycją w świecie nauki. I choć w rzeczywistości ten „ranking” istnieje, to jest z nim wiele problemów. Przede wszystkim nie jest on zestawieniem najlepszych naukowców na świecie ani nie jest przygotowywany przez Uniwersytet Stanforda.

Ale zacznijmy od początku.

Trzy bazy danych

W 2019 r. w czasopiśmie „PLoS Biology” ukazał się artykuł Johna Ioannidisa z Uniwersytetu Stanforda, Jeroena Baasa z firmy Elsevier oraz Richarda Klavansa i Kevina Boyacka z SciTech Strategies Inc., opisujący trzy bazy danych, z których każda zawierała wybrane informacje dotyczące dorobku (publikacji naukowych) i cytowań (przywołań tych publikacji w innych pracach naukowych) ok. stu tysięcy autorów. Dane w dwóch bazach mają charakter długookresowy – pierwsza uwzględnia publikacje z lat 1960-2017 i cytowania z lat 1996-2017, a druga odpowiednio z okresów 1960-2018 i 1996-2018. Trzecia baza zawiera dane dotyczące cytowań tylko z roku 2017.

Do każdej z baz trafiło po 100 tys. autorów z dwóch grup: w jednej z nich uwzględniono autocytowania (powołanie się autora na jego własne, wcześniejsze publikacje), a w drugiej – nie. O ich pozycji decydował tzw. złożony indeks cytowań (indeks c). Wyliczany jest on przy pomocy wzoru wykorzystującego sześć różnych wskaźników związanych z liczbą cytowań prac danego naukowca, a także kolejnością, w jakiej jego nazwisko pojawia się na liście autorów (w przypadku prac napisanych przez wiele osób).

Nie we wszystkich dziedzinach ma to sens. Choć są bowiem i takie, gdzie kolejność na liście autorów oznacza stopień zaangażowania danej osoby w powstanie pracy (pierwszy z autorów jest wówczas zwykle tym głównym, a ostatni może oznaczać konsekwentnie tego z najmniejszym wkładem, ale też lidera grupy czy kierownika laboratorium), to w innych regułą jest stosowanie kolejności alfabetycznej. Jako przykład posłużyć może oświadczenie Amerykańskiego Towarzystwa Matematycznego z 2004 r., przypominające, że alfabetyczna kolejność autorów publikacji należy do tradycji i kultury matematyki. Zabawny przykład rozwiązania tej kwestii to artykuł M.P. Hassella i R.M. Maya opublikowany w 1974 r. w „Journal of Animal Ecology”, w którym o kolejności autorów zdecydowały… wyniki 25 partii krokieta.

W 2020 r. ukazał się kolejny, krótki tekst Ioannidisa, Boyacka i Baasa informujący o aktualizacji i rozszerzeniu baz danych z poprzedniego roku. Nowe bazy zawierały zarówno – tak jak w 2019 r. – listy „top sto tysięcy” naukowców z najwyższym indeksem c, jak i – po raz pierwszy – listy „top 2 proc.”, czyli wykaz tych autorów, których indeks c mieścił się w górnych 2 proc. w jednej ze 174 poddyscyplin 22 dziedzin naukowych. Tym razem uwzględniono więc nieco specyfikę różnych dziedzin badań i w efekcie „zdemokratyzowano” wykazy. Przykładowo, na jednej z pierwszych długookresowych list „top sto tysięcy” (nieuwzględniającej podziału na dyscypliny) znalazło się ponad 40 tys. autorów przypisanych do dziedziny medycyny klinicznej, ok. tysiąca reprezentantów matematyki i statystyki, a także zaledwie 70 przedstawicieli filozofii i teologii. Oczywiście, zmiana ta doprowadziła do znacznego (o ponad połowę) wzrostu liczby autorów w obu bazach.

W 2021 r. Baas, Boyack i Ioannidis udostępnili kolejne edycje baz, a od 2022 r. robi to już sam John Ioannidis. Do ostatnich baz trafiło po ok. 220 tys. autorów, spośród których ok. 1300 osób ma polską afiliację.

Jak oszukać system

Podkreślmy, że opisywane bazy danych nigdy nie były i nadal nie są listami „top 2 proc.”. Pierwsze – te udostępnione w 2019 r. – to listy „top sto tysięcy” (osób z najwyższym indeksem c), a kolejne to zestawienia obejmujące oprócz autorów z „top sto tysięcy” także tych z „top 2 proc.”.

Co istotne, list tych nie należy utożsamiać z rankingiem „najlepszych naukowców na świecie”. Po pierwsze, do baz trafiają bowiem również osoby niebędące naukowcami, np. dziennikarka medyczna „The BMJ” Elisabeth Mahase, która w jednorocznej bazie z 2022 r. uplasowała się na 217. miejscu, wyprzedzając wielu noblistów – a także wszystkich autorów z Polski. Jest tak, ponieważ wiele najsłynniejszych czasopism naukowych ma sekcję publicystyczną, w której drukuje się zwykłe teksty dziennikarskie, jak newsy, reportaże czy recenzje książek.

Po drugie i ważniejsze, indeks c nie mówi nic o jakości prowadzonych badań i uzyskanych w ich efekcie wyników. Opiera się on wyłącznie na wspomnianych sześciu wskaźnikach dotyczących cytowań, które nie mówią nic o ich „jakości”. Nie wiemy w szczególności, kto i gdzie nas cytuje, a nawet czy w pozytywnym kontekście. Druzgocąca krytyka to też cytowanie.

Nie wszyscy autorzy, którzy pojawiają się w bazach, zawdzięczają to rozpoznawalności swoich prac. W przypadku części osób decydują o tym autocytowania (w 2022 r. do wykazu jednorocznego trafiło dwóch autorów, na których publikacje nie powołał się nikt inny – wyłącznie oni sami). Odwoływanie się do swoich prac to oczywiście nic złego, nie jest to też jednak powód do chwały. Niestety zdarzają się osoby, które wykorzystują to do nierzetelnej „autopromocji”. Bardziej wyrafinowanym i efektywnym sposobem nieuczciwego windowania sobie indeksów cytowań są tzw. „spółdzielnie”, czyli międzynarodowe grupy wspólnie publikujących i wzajemnie cytujących się autorów.

Innym problemem jest obecność na listach ewidentnych naukowych oszustów. Otóż w najnowszej edycji baz uwzględniono także dane dotyczące wycofanych publikacji (redakcje czasopism formalnie wycofują publikacje po stwierdzeniu w nich poważnych uchybień). Niechlubnym rekordzistą w przypadku bazy jednorocznej jest japoński anestezjolog Hironobu Ueshima, z którego 276 artykułów opublikowanych w latach 2011-2023 aż 140 zostało później wycofanych: Ueshima dopuszczał się różnych rodzajów oszustw – m.in. fabrykował dane.

Nobel z matematyki

Gdyby uznać, że publikowane przez Johna Ioannidisa bazy danych stanowią ranking najlepszych naukowców na świecie, to trudno byłoby wytłumaczyć brak w nich badaczy uzyskujących ważne wyniki i prestiżowe naukowe wyróżnienia.

Zacznijmy od rodzimego podwórka i laureatów „polskich Nobli” – Nagród Fundacji na rzecz Nauki Polskiej. Jak wyliczałem w 2021 r. w „Forum Akademickim”, blisko połowa z tego grona (52 na 106) nie znalazła się w długookresowej bazie uwzględniającej cytowania z lat 1996-2019. Przyjrzałem się także obecności w bazach afiliowanych w polskich instytucjach laureatów prestiżowych grantów Europejskiej Rady ds. Badań Naukowych (ERC). W wykazie długookresowym znalazł się zaledwie co piąty z nich, a w jednorocznym – co czwarty.

Ograniczmy się teraz do matematyki, za to w ujęciu globalnym.

W udostępnionej w 2022 r. długookresowej bazie wśród blisko 2,5 tys. autorów reprezentujących dyscyplinę „matematyka i statystyka” nie znalazło się aż 25 laureatów Medalu Fieldsa (najważniejszej, obok przyznawanej corocznie od 2003 r. Nagrody Abela, matematycznej nagrody naukowej), który od 1936 r. wręczono zaledwie 64 uczonym.

Medal Fieldsa przyznaje się stosunkowo młodym naukowcom (do 40. roku życia), więc nieobecność części najmłodszych laureatów tej nagrody w długoterminowych bazach można zrozumieć. Ale są też ciekawsze przykłady. Do żadnej z baz nie trafili m.in. twórca teorii katastrof René Thom (laureat Medalu Fieldsa z 1958 r.), Paul Cohen (medalista z 1966 r.), znany z wkładu w rozwiązanie pierwszego z 23 słynnych problemów sformułowanych w 1900 r. przez Davida Hilberta, czy genialny (i nieco ekscentryczny) Grigori Perelman (laureat z 2006 r.), który jako jedyny w historii odmówił przyjęcia Medalu, podobnie zresztą jak miliona dolarów, jaki należał mu się za potwierdzenie – po blisko stu latach – tzw. hipotezy Poincarégo, dotyczącej pewnego zagadnienia topologii geometrycznej.

W długookresowej bazie zabrakło też miejsca dla 4 z 25 laureatów Nagrody Abela: Johna Nasha Jr., Andrew Wilesa, Yvesa Meyera i Roberta Langlandsa. To wielkie postaci nauki: Nash – bohater książki i filmu „Piękny umysł” – uhonorowany został m.in. ekonomicznym Noblem za osiągnięcia w teorii gier, Langlands otrzymał także Nagrody Shawa i Wolfa, a Wiles, który w wieku 41 lat udowodnił słynne wielkie twierdzenie Fermata z XVII w., otrzymał całą stertę nagród, w tym jako jedyny w historii specjalne wyróżnienie zamiast Medalu Fieldsa, którym z racji wieku nie mógł już być uhonorowany.

Trzymajmy się faktów

Zauważmy jeszcze, że chwalenie się przez uczelnie obecnością swoich naukowców w „rankingu stanfordzkim” jest do pewnego stopnia specyfiką lokalną. Robi to wiele polskich uczelni (w tym te najlepsze), często bez rozróżniania, czy ktoś jest w „top sto tysięcy” czy w „top 2 proc.”, ani tego, czy trafił tam dzięki cytowaniu przez innych autorów, czy przez samego siebie. Przykładowo, powodem do dumy dla jednej z poznańskich uczelni jest jej emerytowany pracownik, którego indeks c bez autocytowań plasuje się w okolicach połowy szóstego miliona rankingu. Trudno znaleźć podobne informacje na stronach najbardziej prestiżowych uczelni europejskich czy amerykańskich, które mają dużo więcej realnych sukcesów niż nasze (a być może także lepiej orientują się, czym są i czym nie są bazy Ioannidisa).

W 2020 r. zwracałem uwagę w „Forum Akademickim”, że tylko jeden (Ioannidis) z twórców baz jest pracownikiem Uniwersytetu Stanforda. Sugerowałem w związku z tym, że zbyt silne wiązanie Uniwersytetu Stanforda z „listami” wydaje się nieco przesadzone.

I nawet dziś, gdy bazy sygnowane są wyłącznie nazwiskiem Ioannidisa, określanie ich mianem „rankingu” czy „list Uniwersytetu Stanforda” jest nieuzasadnionym wykorzystywaniem prestiżu tej słynnej uczelni. Uniwersytet ten ich nie publikuje, nie finansuje specjalnie, a nawet nie udostępnia na nie miejsca (bazy są dostępne w repozytorium firmy Elsevier).

Ile jesteśmy warci

Skoro bazy Ioannidisa niezbyt się do tego nadają, to jak bez specjalistycznej wiedzy stwierdzić, którzy naukowcy należą do ścisłej czołówki w danej dziedzinie? Wydaje się, że nie ma innego rozwiązania, niż zdać się na opinię specjalistów, której emanacją są różne nagrody, członkostwo w naukowych korporacjach, wystąpienia na najważniejszych kongresach i konferencjach, publikacje w najbardziej prestiżowych czasopismach naukowych na świecie czy pozyskiwanie na badania uznanych grantów.

Zacznijmy od nagród. Laureatów najbardziej znanych poznaliśmy w październiku – nie ma wątpliwości, że laureaci Nagród Nobla należą do najwybitniejszych uczonych świata. Oczywiście Noble są przyznawane tylko w wybranych dziedzinach, ale niektóre inne mają ich „odpowiedniki”. W informatyce jest nią Nagroda Turinga, a w matematyce wspomniane już Medal Fieldsa i Nagroda Abela. Są też inne niezwykle prestiżowe (i związane z wysokimi gratyfikacjami pieniężnymi) wyróżnienia, jak choćby „Nobel Wschodu”, czyli przyznawana m.in. w naukach przyrodniczych Nagroda Shawa (jej jedynym polskim laureatem jest pracujący od lat w USA matematyk Henryk Iwaniec), Nagroda Kioto honorująca osiągnięcia w zaawansowanej technologii, naukach podstawowych oraz sztuce i filozofii (w tej ostatniej kategorii wyróżniono Andrzeja Wajdę i Witolda Lutosławskiego) czy „Naukowy Oskar”, jak nazywana jest niekiedy najhojniej premiowana (trzema milionami dolarów) Breakthrough Prize.

Jest jasne, że laureatów takich nagród jest niewielu (a Polaków wśród nich, niestety, jak na lekarstwo). Jest jednak wiele innych międzynarodowych nagród naukowych, co prawda nie aż tak prestiżowych, ale też bardziej specjalistycznych, niekiedy zawężonych dodatkowo geograficznie czy wiekowo. No i są nagrody krajowe – u nas np. wspomniane już „polskie Noble”, nagrody wydziałów PAN czy wyróżnienia przyznawane przez towarzystwa naukowe.

Inną formą wyróżnienia dla naukowca jest jego członkostwo w korporacji uczonych. W Polsce mamy członków PAN – krajowych (których może być maksymalnie 350) i zagranicznych. Jest przy tym jasne, że szczególną wagę mają w tym przypadku członkostwa nadawane poza własnym krajem.

Wyrazem uznania środowiska dla osiągnięć naukowców może być również zaproszenie ich do wygłoszenia odczytu na najważniejszych kongresach czy konferencjach poświęconych danej dziedzinie. W matematyce otrzymanie zaproszenia w charakterze prelegenta na odbywający się co cztery lata Międzynarodowy Kongres Matematyków jest nazywane wręcz niekiedy „wprowadzeniem do galerii sław”. Na kongresie w Rio de Janeiro w 2018 r. zaszczytu tego dostąpiło 200 matematyków, z czego dwudziestu wyróżniono dodatkowo wykładami plenarnymi. W XXI w. na kongresach wykłady (sekcyjne) wygłosiło siedmioro uczonych zatrudnionych w Polsce, z których tylko jeden, Tomasz Łuczak, trafił do ostatnich baz Ioannidisa. Polskich prelegentów było jednak więcej, ale pracowali już za granicą. Wspomniany Henryk Iwaniec jako ostatni z Polaków wygłosił w 2006 r. na kongresie wykład plenarny.

Tym, co pokazuje, że ktoś prowadzi badania naukowe na najwyższym poziomie, jest również publikowanie ich wyników w najbardziej prestiżowych czasopismach na świecie. Dwa powszechnie znane z nich to „Nature” i „Science”. Według bazy Scopus, autorzy z polskimi afiliacjami opublikowali w tych pismach w ostatnich dziesięciu latach 274 z ponad 20 tys. artykułów (co daje nam 26. miejsce na świecie). Wiele dyscyplin i poddyscyplin naukowych ma także swoje własne specjalistyczne prestiżowe czasopisma. Ich listę znaleźć można m.in. w Global Ranking of Academic Subjects, czyli jednej z wersji popularnego rankingu szanghajskiego. Nie wiem, czy na tej liście można polegać w każdej dziedzinie – w matematyce moim zdaniem tak – ale z pewnością jest to bardziej wiarygodne źródło niż nasza ministerialna lista czasopism punktowanych, zdewastowana przez poprzedniego szefa resortu nauki Przemysława Czarnka, który zrównał lokalne polskie periodyki z zagranicznymi czasopismami o globalnym zasięgu i renomie.

Europejskie ambicje

Granty ERC zapewniają ich beneficjentom międzynarodowy prestiż i wysoki budżet (w przypadku Advanced Grant sięga on 2,5 mln euro z możliwością zwiększenia o dodatkowy milion), zabiegają więc o nie naukowcy z najlepszych europejskich instytutów badawczych i uczelni, które chętnie chwalą się sukcesami swoich pracowników na tym polu (stosowne informacje można znaleźć na stronach m.in. Uniwersytetu w Cambridge, Uniwersytetu Oksfordzkiego czy paryskiego Sorbonne Université). Od 2007 r. ERC wybrała do finansowania ponad 16 tys. projektów, z czego jedynie nieco ponad 80 w polskich jednostkach (około 40 proc. z nich w Uniwersytecie Warszawskim). O ile fakt, że od gigantów europejskiej nauki – Niemiec i Wielkiej Brytanii (uzyskały już po ponad 2 tys. grantów) – dzieli nas przepaść, może specjalnie nie dziwić, o tyle pół tysiąca grantów w Austrii, dwa razy więcej niż u nas w Portugalii czy porównywalne z naszymi liczby w Czechach i na Węgrzech muszą martwić.

W tym kontekście doskonale widać, jak dużym osiągnięciem jest otrzymanie przez wspomnianego Piotra Sankowskiego aż czterech grantów ERC, z których ostatni przeznaczony był na projekt realizowany w IDEAS NCBR (choć dwa z nich to granty Proof of Concept w wysokości 150 tys. euro przeznaczone na komercjalizację wyników badań osiągniętych w trakcie realizacji poprzednich, „podstawowych” grantów ERC).

Dodajmy jeszcze, że w ostatnim konkursie dla naukowców od 2 do 7 lat po doktoracie 2 spośród 494 Starting Grants uzyskali uczeni zatrudnieni w Polsce. To trzy razy mniej niż z samego Uniwersytetu Oksfordzkiego, ale też – jak policzyła redakcja „Forum Akademickiego” – cztery razy mniej niż młodzi polscy badacze otrzymali na realizację swoich projektów w innych krajach.

***

Nie jest łatwo porównywać osiągnięcia czy pozycję w świecie akademickim poszczególnych uczonych. Na pewno niewiele w tym pomagają bazy Johna Ioannidisa, mylnie nazywane rankingiem Uniwersytetu Stanforda. Niestety, znaczenie tych list przeceniają nie tylko laicy. W grudniu ubiegłego roku Prezydium PAN zaproponowało, by w ewaluacji jakości działalności naukowej jednostek uwzględnić m.in. liczbę pracowników znajdujących się w rankingu „top 2 proc.”.

Musimy rozmawiać o jakości polskiej nauki i sposobach jej oceny – ale nie tędy droga.