Poprzeczka listy filadelfijskiej

Prędzej kot zaprzyjaźni się z myszą niż polscy humaniści i przyrodnicy uzgodnią wspólne stanowisko w kwestii oceny dorobku naukowego. Przedmiotem sporu jest m.in. stosowanie jako kryterium liczby cytowań i publikacji w renomowanych czasopismach naukowych, głównie zagranicznych, wymienionych na tzw. liście filadelfijskiej. Podoba się to wielu przyrodnikom, ale nie podoba się znacznej części humanistów.

Prace naukowe cytuje się głównie dlatego, że uważa się informacje w nich zawarte za oryginalne, prawdziwe i ważne, oraz przypuszcza, że podobne zdanie o cytowanej pracy mają redaktor i potencjalni recenzenci. Dlatego też dobre publikacje mają na ogół więcej cytowań niż te średnie lub słabe. Dobrego naukowca i dobre czasopismo poznaje się zaś po tym, że publikują dobre (a więc cytowane) prace.

Armia średniaków

Podział cytowań między poszczególne publikacje jest nierównomierny i przebiega według reguły 80/20 (tzw. zasady Pareto): 20 proc. najważniejszych prac uzyskuje 80 proc. wszystkich cytowań. Większość publikacji uzyskuje jednocyfrową liczbę cytowań. Opublikowanie choćby jednej pracy posiadającej ponad sto cytowań jest uważane za sukces. Najczęściej cytowaną publikacją polskiego naukowca jest praca prof. Grzegorza Grynkiewicza (18 617 razy). To więcej niż łączny dorobek średniej wielkości ośrodka akademickiego, np. Radomia, w całej jego historii.

Nawet najwięksi entuzjaści liczenia cytowań nie twierdzą, że naukowiec, który ma ich więcej, powinien automatycznie uzyskiwać granty, awanse lub nagrody. Warto natomiast odróżnić świadomość rzeczywistych wad i ograniczeń tych wskaźników od ich całkowitego odrzucenia. Choćby dlatego, że korzysta z nich cały świat i kondycja nauki polskiej jest postrzegana m.in. na podstawie liczby cytowań.

Polscy naukowcy stosunkowo dużo publikują, ale są rzadko cytowani. Polska opinia publiczna zupełnie się nie orientuje, jak funkcjonują czołowe czasopisma naukowe za granicą, i wiedzę na ten temat czerpie z "ludowych mądrości", czyli stereotypów na temat funkcjonowania czasopism z listy filadelfijskiej.

Dylemat autora

Autorzy, redaktorzy i recenzenci czołowych czasopism naukowych postępują według specyficznych reguł, które trudno wyjaśnić w kilku zdaniach. Zwłaszcza komuś, kto z góry zakłada, że są oni cynicznymi karierowiczami. Warto samemu przeżyć radość po akceptacji pracy w dobrym czasopiśmie (lub ból odrzucenia), by naprawdę wiedzieć, co to znaczy. Trudno też nie odczuwać emocji, kiedy jako anonimowy (na ogół) recenzent lub nieanonimowy redaktor musimy napisać, że praca (zwłaszcza kolegi, którego skądinąd lubimy) nie nadaje się do druku. Jak w każdym fachu, tak wśród redaktorów, recenzentów i autorów zdarzają się wirtuozi, średniacy i partacze, co przekłada się na renomę poszczególnych czasopism. Najlepsi nie pojawiają się w byle jakich.

Już sam wybór czasopisma jest dla autora dużym wyzwaniem. Dobre oznacza wielką konkurencję i spore prawdopodobieństwo, że nawet niezła praca zostanie odrzucona. Z kolei wybór gorszego daje większą pewność publikacji, co jednak może zostać niezauważone. Autorzy na ogół przeceniają doniosłość własnych publikacji. Skoro więc sam autor uznaje, że praca jest marna (bo wysłał ją do słabego pisma), to szkoda czasu na jej czytanie.

Słabe czasopisma też mają swoją rolę: tu stawiają pierwsze kroki mniej doświadczeni naukowcy, a raz na jakiś czas ukazują się w nich prawdziwe perełki. O rozwoju nauki decydują dziś jednak publikacje w najlepszych tytułach. Zdarzają się wyjątkowi naukowcy, np. Grigorij Perelman, którzy zdobyli uznanie bez zabiegania o publikację w prestiżowych pismach, ale geniuszowi ekstrawagancja nie szkodzi. Tylko że akurat prawdziwych geniuszy brakuje wśród tysięcy polskich profesorów tytularnych, z których niewielu jest przyzwoitymi rzemieślnikami, osiągającymi cytowalność na średnim poziomie światowym. Każdy może zlekceważyć listę filadelfijską i publikować w lokalnych pismach, ale taka postawa nie przysporzy mu prestiżu. A tym bardziej nie uczyni go geniuszem.

Ludowe opowieści

Stosunki między redaktorami, autorami i recenzentami bardzo się zmieniły w ciągu ostatnich kilkudziesięciu lat. Profesorowie zbliżający się obecnie do emerytury orientują się, że ich doświadczenia z czasów młodości są zupełnie nieadekwatne do dzisiejszej rzeczywistości.

Przede wszystkim publikowanie w międzynarodowych czasopismach straciło elitarny charakter. W PRL można było zostać profesorem chemii bez publikacji w nich. Obecnie bez takiego dorobku nie ma co marzyć nawet o doktoracie.

Środki techniczne usprawniły pracę. Teraz redaktor może ściągnąć z bazy danych wydawcy listę potencjalnych recenzentów danej pracy według własnych kryteriów (w większości są to ludzie, których nigdy nie widział) i za pomocą jednego kliknięcia wysłać do nich uprzejme listy opracowane przez specjalistów PR, z prośbą o recenzje. Po podjęciu decyzji system automatycznie powiadamia o niej autora i recenzentów.

Większość redaktorów i recenzentów w tytułach z listy filadelfijskiej pracuje rzetelnie i uczciwie. Recenzje bywają lakoniczne, nawet jednozdaniowe, ale długość i rzetelność to dwa odrębne zagadnienia. Jeżeli autor popełnił elementarny błąd lub plagiat, nie ma potrzeby pisania elaboratu. Czasami jednak łączna objętość wypowiedzi autora i recenzentów w dyskusji poprzedzającej przyjęcie pracy do druku bywa porównywalna z objętością samej pracy.

Redaktorom zdarzają się potknięcia, ale życzyłbym wszystkim, aby w konstrukcjach naszych budowlańców czy diagnozach naszych lekarzy było tak niewiele błędów, jak w przeciętnym czasopiśmie z listy filadelfijskiej.

W "ludowych opowieściach" chętnie podkreśla się przypadki nieetycznego zachowania zaangażowanych w powstawanie publikacji na łamach międzynarodowych tytułów, np. wymuszanie na autorach cytowania określonych prac celem uzyskania własnych korzyści. To się zdarza, jednak jako patologiczny margines, a nie reguła. Na mnie takie cytowanie próbowano wymusić raz, bezskutecznie.

Negatywne cytowania, czyli przypadki, gdy cytujący krytykuje cytowaną pracę, są w "ludowych mądrościach" leitmotivem, mającym dowodzić braku korelacji między liczbą cytowań a doniosłością publikacji. Badania pokazują jednak, że zaledwie 1 do 15 proc. cytowań jest negatywnych - liczby wahały się w zależności od próbki i metody, przy czym według większości analiz cytowań negatywnych jest mniej niż 6 proc. Ponadto nie zawsze wiadomo, czy krytykujący miał faktycznie rację.

Popularna teza, że publikując nieprawdziwe dane można sobie zapewnić wielką liczbę cytowań, jest więc całkowicie bezpodstawna. W najnowszej historii nauki odnotowano jedną taką pracę, przy czym jej autorzy działali prawdopodobnie w dobrej wierze.

Przeciwnicy listy filadelfijskiej wysuwają słuszną poniekąd tezę o swoistej autocenzurze, którą stosują autorzy, dostosowując tematykę badań do domniemanych oczekiwań redaktorów i recenzentów. Jednak każdy z kilku tysięcy redaktorów czasopism z tej listy ma inne preferencje badawcze, a więc nie mamy do czynienia z jednym intelektualnym kagańcem, lecz raczej z możliwością doboru takiego kagańca, który nas najmniej uwiera. Z drugiej strony, perspektywa recenzowania pracy przez osobę z krótkiej listy krajowych ekspertów (prawdopodobnie więc uwikłaną w zawodowe lub personalne relacje z autorem) stwarza jeszcze większy dyskomfort twórczy niż ewentualna recenzja anonimowego Francuza lub Hindusa.

***

Współczesne metody ewaluacji badań naukowych osadzone są w dzisiejszych realiach i nie służą do oceny wielkich naukowców sprzed wielu lat. Kopernik miałby problemy z uzyskaniem tytułu profesora we współczesnej Polsce, podobnie jak Napoleon nie zrobiłby kariery w dzisiejszej armii francuskiej, zaś Cervantes mógłby pozostać niezauważony na hiszpańskim rynku wydawniczym.

Ale to nie oznacza, że świat zwariował. Po prostu się zmienił. Od naukowców, dowódców i pisarzy oczekuje się czegoś innego niż kilka wieków temu. Zresztą niewykluczone, że gdyby za czasów Kopernika stosowano dzisiejsze kryteria, to system heliocentryczny, a także rachunek różniczkowy czy szczepionki wymyślono by znacznie wcześniej niż w rzeczywistości.

Gdyby zaś oceniać Kopernika według liczby cytowań, to wypadłby lepiej niż większość współczesnych polskich profesorów astronomii i pobiłby na głowę innych naukowców swojej epoki. W bazie danych Web of Knowledge naliczyłem ok. 900 odwołań do dzieła "O obrotach sfer niebieskich". Są to tylko cytowania, w których Kopernik występuje w spisie literatury. Kilkakrotnie częściej autorzy indeksowanych publikacji powoływali się na to dzieło w tekście, bez umieszczania go w bibliografii.

O prawdziwej wielkości naukowej świadczy właśnie taki typ cytowań. Kiedy mówimy o przestrzeniach Banacha czy metodzie Czochralskiego, nie trzeba się powoływać na konkretną publikację, gdyż obrażałoby to inteligencję czytelnika. Ten bez sięgania do literatury będzie wiedział, o co chodzi. Takiej wielkości wypada życzyć naszym pogrążonym w sporach humanistom i przyrodnikom.

MAREK KOSMULSKI przeczytał kilka tysięcy, napisał około 140 i recenzował ponad 500 artykułów w czasopismach z listy filadelfijskiej. Był członkiem komitetów redakcyjnych "Journal of Colloid and Interface Science" i "Colloids and Surfaces A" (oba czasopisma wydawane przez Elsevier).

Spis czasopism z listy filadelfijskiej: http://ip-science.thomsonreuters.com/mjl/