Przypadkowo w strumieniu wiadomości i informacji natknąłem się na artykuł w Nature Scientific Reports. Przedstawia dane z ankiety przeprowadzonej wśród 1500 naukowców na temat powtarzalności wyników badań. Jeśli wcześniej ten problem był poruszany dla badań biologicznych i medycznych, gdzie można go z jednej strony wytłumaczyć (fałszywe korelacje, ogólna złożoność badanych systemów, czasami zarzuca się nawet oprogramowanie naukowe), to z drugiej ma on charakter fenomenologiczny (np. Myszy zachowują się inaczej u naukowców różne płcie (1 i 2)).
Jednak nie wszystko idzie gładko w przypadku większej liczby nauk przyrodniczych, takich jak fizyka i inżynieria, chemia, ekologia. Wydawać by się mogło, że te właśnie dyscypliny opierają się na "absolutnie" powtarzalnych eksperymentach przeprowadzanych w najbardziej kontrolowanych warunkach, niestety zdumiewający - w każdym znaczeniu tego słowa - wynik ankiety: aż 70% badaczy spotkało się z niepowtarzalnymi eksperymentami i wynikami uzyskanymi nie tylko przez inne grupy naukowców, ALE także przez autorów / współautorów opublikowanych prac naukowych!
Czy każdy brodziec chwali swoje bagno?
Chociaż 52% respondentów wskazuje na kryzys odtwarzalności w nauce, mniej niż 31% uważa opublikowane dane za zasadniczo niepoprawne, a większość wskazała, że nadal ufa opublikowanej pracy.
Pytanie: Czy występuje kryzys odtwarzalności wyników?
Oczywiście nie należy odrywać się od ramienia i zlinczować całej nauki jako takiej tylko na podstawie tego badania: połowa respondentów nadal była naukowcami związanymi w taki czy inny sposób z dyscyplinami biologicznymi. Jak zauważają autorzy, w fizyce i chemii poziom powtarzalności i zaufania do uzyskanych wyników jest znacznie wyższy (patrz wykres poniżej), ale wciąż nie 100%. Ale w medycynie sytuacja wygląda bardzo źle w porównaniu z resztą.
Film promocyjny:
Przychodzi do głowy anegdota:
Marcus Munafo, psycholog biologiczny z Uniwersytetu w Bristolu w Anglii, od dawna interesuje się odtwarzalnością danych naukowych. Wspominając dni studenckie, mówi:
Pytanie: Ile prac opublikowanych w Twojej branży można odtworzyć?
Głębokość problemu szerokości i długości geograficznej
Wyobraź sobie, że jesteś naukowcem. Trafiłeś na ciekawy artykuł, ale wyników / eksperymentów nie da się odtworzyć w laboratorium. Logiczne jest pisanie o tym autorom oryginalnego artykułu, proszenie o radę i zadawanie pytań wyjaśniających. Według sondażu mniej niż 20% uczyniło to w dowolnym momencie swojej kariery naukowej!
Autorzy badania zwracają uwagę, że być może takie kontakty i rozmowy są dla samych naukowców zbyt trudne, ponieważ ujawniają ich niekompetencję i niekonsekwencję w pewnych kwestiach lub ujawniają zbyt wiele szczegółów bieżącego projektu.
Co więcej, przytłaczająca mniejszość naukowców próbowała opublikować zaprzeczenie niemożliwym do odtworzenia wynikom, napotykając sprzeciw redaktorów i recenzentów, którzy domagali się bagatelizowania porównań z pierwotnym badaniem. Czy można się dziwić, że szansa na stwierdzenie braku odtwarzalności wyników naukowych wynosi około 50%.
Pierwsze pytanie: czy próbowałeś odtworzyć wyniki eksperymentu?
Drugie pytanie: czy próbowałeś opublikować swoją próbę odtworzenia wyników?
Może więc w laboratorium przynajmniej przeprowadzić test odtwarzalności? Najsmutniejsze jest to, że jedna trzecia respondentów NIGDY nie pomyślała o stworzeniu metod sprawdzania odtwarzalności danych. Tylko 40% wskazało, że regularnie stosuje takie techniki.
P: Czy kiedykolwiek opracowałeś specjalne techniki / procesy techniczne, aby poprawić powtarzalność wyników?
Inny przykład, biochemik z Wielkiej Brytanii, który nie chciał ujawnić swojego nazwiska, mówi, że próby powtórzenia, odtworzenia pracy w ramach jej projektu laboratoryjnego po prostu podwajają czas i koszty materiałów, nie dając ani niczego nowego do pracy. Dodatkowe kontrole są przeprowadzane tylko w przypadku innowacyjnych projektów i nietypowych wyników.
I oczywiście odwieczne rosyjskie pytania, które zaczęły dręczyć zagranicznych kolegów: kto jest winny i co robić?
Kto jest winny?
Autorzy pracy zidentyfikowali trzy główne problemy powtarzalności wyników:
- Presja przełożonych, aby prace zostały opublikowane na czas
- Raportowanie selektywne (najwyraźniej oznacza to tłumienie niektórych danych, które „psują” cały obraz)
- Niewystarczająca analiza danych (w tym statystyczna)
Pytanie: Jakie czynniki są odpowiedzialne za niepowtarzalne wyniki naukowe?
Odpowiedzi (od góry do dołu): –Raportowanie próbek –Ciśnienie szefów –Słaba analiza / statystyki –Niewystarczająca powtarzalność eksperymentu w laboratorium –Niewystarczający nadzór –Brak metodologii lub kodu –Zły projekt eksperymentu –Brak surowych danych z laboratorium podstawowego –Oszustwo –Niewystarczająca weryfikacja przez ekspertów / recenzentów –Problemy z próbami reprodukcji –Do odtworzenia wymagana jest wiedza techniczna –Różnorodność standardowych odczynników - "Neddachka i Pichalka"
Co robić?
Spośród 1500 ankietowanych ponad 1000 specjalistów opowiedziało się za ulepszeniem statystyk w zakresie gromadzenia i przetwarzania danych, poprawą jakości nadzoru ze strony szefów oraz bardziej rygorystycznym planowaniem eksperymentów.
P: Jakie czynniki pomogą poprawić odtwarzalność?
Odpowiedzi (od góry do dołu): - Lepsze zrozumienie statystyk - Bardziej rygorystyczny nadzór - Lepszy projekt eksperymentu - Szkolenie - Wewnętrzny przegląd laboratoryjny - Udoskonalone umiejętności praktyczne - Zachęcanie do formalnego sprawdzania danych - Przegląd międzylaboratoryjny - Przeznaczenie więcej czasu na zarządzanie projektami - Zwiększenie standardów czasopism naukowych - Przydzielanie więcej czasu na pracę z dokumentacją laboratoryjną
Wniosek i osobiste doświadczenie
Po pierwsze, nawet dla mnie, jako naukowca, wyniki są oszałamiające, chociaż przyzwyczaiłem się już do pewnego stopnia ich nieodwracalności. Jest to szczególnie widoczne w pracach wykonywanych przez Chińczyków i Hindusów bez zewnętrznego „audytu” w postaci amerykańskich / europejskich profesorów. Dobrze, że problem został rozpoznany i przemyślany nad jego rozwiązaniem (ami). Będę taktownie milczeć na temat rosyjskiej nauki w związku z ostatnim skandalem, chociaż wielu uczciwie wykonuje swoją pracę.
Po drugie, artykuł pomija (a raczej nie rozważa) roli metryk naukowych i recenzowanych czasopism naukowych w powstawaniu i rozwoju problemu nieodtwarzalności wyników badań. W pogoni za szybkością i częstotliwością publikacji (czytaj, wzrost wskaźników cytowań) jakość gwałtownie spada i nie ma czasu na dodatkową weryfikację wyników.
Jak mówią, wszystkie postacie są fikcyjne, ale oparte na prawdziwych wydarzeniach. Jakoś jeden student miał okazję zrecenzować artykuł, bo nie każdy profesor ma czas i energię na przemyślane przeczytanie artykułów, dlatego zbierana jest opinia 2-3-4 studentów i lekarzy, z której powstaje recenzja. Napisano recenzję, w której wskazano na nieodtwarzalność wyników zgodnie z metodą opisaną w artykule. Zostało to wyraźnie zademonstrowane profesorowi. Aby jednak nie zepsuć relacji z „kolegami” - w końcu wszystko im się udaje - recenzja została „poprawiona”. Opublikowano 2 lub 3 takie artykuły.
Okazuje się, że jest to błędne koło. Naukowiec przesyła artykuł do redakcji czasopisma, gdzie wskazuje „pożądanych”, a przede wszystkim „niechcianych” recenzentów, czyli de facto pozostawiając tylko tych, którzy są pozytywnie nastawieni do zespołu autorów. Przeglądają pracę, ale nie mogą „srać w komentarzach” i starają się wybrać mniejsze zło - oto lista pytań, na które trzeba odpowiedzieć, a następnie opublikujemy artykuł.
Innym przykładem, o którym redaktor Nature mówił zaledwie miesiąc temu, są panele słoneczne Grazel. Ze względu na olbrzymie zainteresowanie tym tematem w środowisku naukowym (w końcu wciąż chcą artykułu w Nature!), Redaktorzy musieli stworzyć specjalny kwestionariusz, w którym musieli wskazać wiele parametrów, dostarczyć kalibracje sprzętu, certyfikaty itp., Aby potwierdzić, że metoda pomiaru wydajności panele są zgodne z niektórymi ogólnymi zasadami i standardami.
I po trzecie, kiedy znowu słyszysz o cudownej szczepionce, która podbija wszystko i wszystkich, nową opowieść o pracy w spódnicy, nowych bateriach lub niebezpieczeństwach / korzyściach GMO lub promieniowania smartfonów, zwłaszcza jeśli była promowana przez żółtych pisarzy z dziennikarstwa, wtedy bądź wyrozumiały i nie wyciągaj pochopnych wniosków. Poczekaj na potwierdzenie wyników przez inne grupy naukowców, nagromadzenie macierzy i próbek danych.