Te same dane, różne wyniki? Polscy badacze współautorami artykułu w „Nature”

Artykuł, który właśnie ukazał się w prestiżowym periodyku naukowym, dotyczy powtarzalności wyników badań w dziedzinie nauk społecznych i behawioralnych. Chodzi o psychologię, socjologię czy ekonomię. Powodem powstania tej pracy jest coś, co można określić kryzysem replikacyjnym. Nauka co prawda kojarzy się z konkretnymi wynikami ogłaszanymi w artykułach, które uznaje się za fakt, to okazuje się, że nie zawsze tak musi być. Okazało się, że wiele wniosków i ustaleń, o których piszą badacze, trudno jest powtórzyć w nowym badaniu.

Eksperyment na gigantyczną skalę i polski ślad

W badanie zaangażowało się aż 865 naukowców z całego świata, którzy wzięli pod lupę blisko 3,9 tysiąca artykułów naukowych z lat 2009–2018. Co ważne, w tym elitarnym gronie znaleźli się Polacy. Są wśród nich badaczki z Uniwersytetu Jagiellońskiego w Krakowie: dr Aneta Czernatowicz-Kukuczka oraz dr Ewa Szumowska, a także naukowcy z Uniwersytetu SWPS (Kamil Izydorczak) i PAN (Marta Kołczyńska).

– To jak dotąd największy na świecie projekt badawczy, badający wiarygodność zgłaszanych wyników naukowych i przykład tego, jak współpraca na dużą skalę może pomóc w rozwiązaniu pytań, na które żadna pojedyncza grupa badawcza nie byłaby w stanie odpowiedzieć samodzielnie – komentuje współautor analizy Gustav Nilsonne z Instytutu Karolinska. Naukowcy nie tylko sprawdzali, czy stare wyniki da się powtórzyć, ale zrobili coś dodatkowego. Grupa blisko 500 niezależnych analityków dostała te same surowe dane i to samo pytanie, ale każdy mógł je przeanalizować po swojemu.

Gorzka pigułka. Liczby, które dają do myślenia

Wyniki opublikowane w „Nature” są jak zimny prysznic. Okazało się, że zaledwie 49% badanych twierdzeń z nauk społecznych udało się pomyślnie zreplikować, czyli powtórzyć z podobnym skutkiem przy użyciu tych samych danych.

Jeszcze bardziej niepokojący jest spadek tzw. wielkości efektu. Mediana siły zjawisk opisanych przez naukowców spadła z 0,25 w oryginałach do zaledwie 0,10 w nowych próbach. To oznacza, że wiele opisywanych w mediach „rewelacji” w rzeczywistości jest znacznie słabszych i mniej istotnych, niż sądzono.

Badanie pokazało też, że naukowcy patrząc na te same liczby, wyciągają różne wnioski. Wystarczy, że jeden badacz inaczej „oczyści” dane lub użyje innego programu statystycznego, a wynik może diametralnie się zmienić.

Czy nauce można jeszcze ufać? Nowy standard prawdy

Czy to oznacza, że nauka to tylko zgadywanka? Absolutnie nie. Naukowcy z projektu SCORE wskazali rozwiązanie: otwartość danych. Jeśli autorzy badania udostępniają swój kod i surowe wyniki, szansa na poprawne odtworzenie ich sukcesu wzrasta z 74% do aż 91%. Główny wniosek jest jasny: obiektywizm w nauce nie polega na znalezieniu jednej „świętej” interpretacji, ale na pokazaniu wszystkich możliwych ścieżek, którymi można dojść do prawdy.

– Wyniki te nie podważają wiarygodności wcześniejszych badań, lecz zwracają uwagę na to, że przedstawianie pojedynczej analizy często nie odzwierciedla faktycznego stopnia niepewności empirycznej, a ignorowanie zmienności analitycznej może prowadzić do nieuzasadnionego zaufania do uzyskanych wyników – tłumaczy Balázs Aczél z Uniwersytetu Loránda Eötvösa w Budapeszcie, jeden z kierowników badania. Drugi kierownik badań, Barnabás Szászi z Uniwersytetu Loránda Eötvösa oraz Uniwersytetu Korwina w Budapeszcie zwraca uwagę na to, że konieczne jest szersze stosowanie podejścia, które ukazuje wiele możliwych konkluzji, zwłaszcza w kwestiach o dużym znaczeniu naukowym czy społecznym.

Źródło: Nature

Nasz autor

Szymon Zdziebłowski

Dziennikarz naukowy i podróżniczy, z wykształcenia archeolog śródziemnomorski. Przez wiele lat był związany z Serwisem Nauka w Polsce PAP. Opublikował m.in. dwa przewodniki turystyczne po Egipcie, a ostatnio – popularnonaukową książkę „Wielka Piramida. Tajemnice cudu starożytności” o największej egipskiej piramidzie. Miłośnik niewielkich, lokalnych muzeów. Uwielbia długie trasy rowerowe, szczególnie te prowadzące wzdłuż rzek. Lubi poznawać nieznane zakamarki Niemiec, zarówno na dwóch kółkach, jak i w czasie górskiego trekkingu.