Dlaczego wiele badań jest błędnych?
- Stronniczość
Literatura zawiera wiele nieprawidłowych informacji przede wszystkim z racji tego, że mamy tutaj do czynienia ze stronniczością publikacji. Jeśli dane czasopismo trzyma daną stronę, czerpie z niej korzyści, a do tego daje możliwość wzbudzenia sensacji u czytelnika, to właśnie to robi. I choć często sam badacz nie opublikowałby rzeczy, które są nieprawdą, to jednak wyniki bez względu czy są prawdą czy nie, są wynikami danego badania i z tego też wielu korzysta, by je rozpowszechnić. Stronniczość ma tutaj zasadnicze znaczenie, stąd też nawet jeśli pojawią się kolejne badania, które obalą daną tezę, bardzo często nie są one dalej publikowane, by w końcu ukazać prawdę. I trzeba tutaj pamiętać o jednej zasadniczej kwestii – nieprawidłowe publikacje nie są winą naukowców, bo ci nie zawsze podczas badań muszą w 100% trafić z danymi wnioskami w dziesiątkę. Winne są czasopisma i wydawcy, którzy takich sztuczek się dopuszczają, by osiągnąć swój cel i mieć zysk. Czynniki wpływu czasopisma okazują się być dużo bardziej istotne, niż same ważne i istotne fakty!
- P – hakowanie
Jest to drugi z czynników wpływających na publikowanie nieprawdziwych informacji. P – hakowanie częściowo motywowane jest uprzedzeniami do publikacji. Metodą p – hakowania jest zbieranie obciążenia zmiennych wynikowych. Im więcej ich musimy przeanalizować, tym lepsze to przyniesie efekty. Jeśli postawimy tezę, że czekolada pozwala schudnąć, któż nie będzie w tym temacie zagłębiał się dalej? W p – Hackingu wykorzystuje się także sub-analizy. Porównujemy ze sobą różne informacje, sprawdzamy, wyciągamy wnioski. Mając zestaw danych, mamy możliwość analizowania tego, co daje nam szansę na kontrolowanie tego, co jest fałszywe. Analizując dane, musimy zdać sobie sprawę z tego, że można mieć podejście liberalne lub bardziej konserwatywne. I co istotne, idąc tym torem działania i patrząc na p – hakowanie, można odrzucić jedne wnioski danych badaczy, skupiając się na tych, na którym nam zależy.
- Niechlujstwo
Do nieprawidłowych wyników badań z całą pewnością może przyczynić się również i niechlujstwo. Jeśli bowiem zbieramy dane niedokładnie, nie analizujemy konkretnych informacji tak, jak powinniśmy, wówczas bardzo łatwo o błędy, które automatycznie wpływają na stawianie złych diagnoz. Podczas projektowania eksperymentu najważniejsze jest to, aby stawiać w pełni na dokładność.
- Brak jasno określonego punktu końcowego
Każdy, kto otwiera badanie powinien mieć określony punkt końcowy, do którego zmierza. Jeśli nie mamy tego punktu końcowego, wówczas zdecydowanie łatwiej i szybciej można popełnić błąd.
Czym jest HARKing i dlaczego ma znaczenie dla badań i ich rzetelności lub kłamstwa?
HARKing jest to hipoteza po poznaniu danych wyników. Nie tworzymy więc projektu badania, by go przeprowadzić i wysnuć hipotezę, ale przeprowadzamy eksperyment i patrzymy, jakie możemy z tego wyszukać znaczące wyniki. W ten sposób piszemy manuskrypt w taki sposób, aby badanie miało na celu zbadanie danej zmiennej. Taka metoda ma za zadanie zwiększyć wydajność. Tworząc badania należy zebrać jak najwięcej zmiennych i odpowiednio je przeanalizować za pomocą testów t. Przy takim badaniu nie stawiamy konkretnej hipotezy, ale podajemy istotne wyniki, tak aby badanie wyglądało, że patrzyliśmy na konkretne zmienne.
- Niska moc
Niska moc zwiększa ryzyko fałszywych trafień i fałszywych wyników negatywnych. Dzięki takiej mocy można wykryć prawdziwy efekt, jeśli taki istnieje. Warto połączyć małą moc z nieetycznymi praktykami badawczymi, by w ten sposób móc zwiększyć szansę na znalezienie fałszywych trafień. Duże rozmiary próbek powinny zbiegać się z prawdziwym rozmiarem efektu równym 0, jednak trzeba pamiętać, że zanim efekt osiągnie 0, może się znacznie wahać.
- Oszustwo
Choć jest to najmniej powszechne, to jednak oszustwo zdarza się również i na polu badawczym. Poprzez określony odsetek oszukanych informacji, zwiększa się liczba nieprawidłowych wyników badań.
Istotne rzeczy, na jakie należy zwrócić uwagę podczas czytania informacji odnośnie badań
- Biologiczna wiarygodność
Warto porównywać teorię i wynik, tak by mieć pewność, że dane badania mają sens. Jeśli dla przykładu coś wiemy przed przeprowadzeniem eksperymentu, mamy już jakieś na ten temat informacje i tego się spodziewamy. Porównujemy więc teorię do wyników i to właśnie widzimy. Jeśli zobaczymy jakiekolwiek nowe informacje, z pewnością będziemy zaskoczeni, bowiem nie będziemy takiego wyniku oczekiwać. Każdy może więc być sceptycznie nastawiony do danych wyników.
- Porównania z wcześniejszymi badaniami
Jeśli badamy coś, czego wcześniej nie badaliśmy, nie możemy tego z niczym porównać. Większość jednak badań wcześniej była już sprawdzana, co sprawia, że można je porównać. Jeśli wyniki są podobne, wiemy przynajmniej że istnieje duże prawdopodobieństwo, że są one wiarygodne. Jeśli są inne, należy napisać skąd może wynikać ta rozbieżność.
- Zachęty finansowe i źródła finansowania
Wiadomo, iż większość przeprowadzanych badań ma duże znaczenie dla aspektu finansowego. Zachęty finansowe wpływają w dużej mierze na projekt badania. Należy zadać sobie tutaj pytanie, czy protokół został stworzony tak, aby pokazać efekt, czy inny był tego zamysł? Niekoniecznie musimy mieć do czynienia z nieprawdą.
- Zgłoszone wartości p
Wydawać by się mogło, że skoro przeprowadzamy badania, chcielibyśmy otrzymać pełną wiarygodność danego rozwiązania. Prawda jest jednak taka, że przystępując do badań, określa się istotność statystyczną na podstawie progów wartości p, a te zazwyczaj są bliskie p < 0,05. Istnieje duże prawdopodobieństwo, że bardzo niskie wartości p mogą wskazywać na prawdziwe pozytywne wyniki, aczkolwiek nie gwarantują, że te wyniki są na pewno dobre.
- Wielkości efektów
Dzięki wielkości efektów, można otrzymać wiele dodatkowych informacji, a także dają możliwość ustalenia prawdopodobieństwa fałszywych trafień. Wielkości efektów mogą również pomóc nam sprawdzić, czy dane odkrycie może być fałszywie dodatnie. W momencie, kiedy łączymy dużą moc statystyczną z nielosowym próbowaniem, wówczas mamy wysokie ryzyko fałszywych wyników pozytywnych.
- Rejestracja wstępna
Jeśli wykonujemy jakieś badanie, musimy dokonać jego rejestracji wstępnej. Informujemy więc, jak chcemy przeprowadzić badanie, jak zebrać dane. Dzięki temu zmniejszamy ryzyko p – hackingu i HARKingu, a nasze wyniki mogą być jak najbardziej pewne. Gorzej w przypadku, gdy badanie jest wstępnie zarejestrowane, ale metody i analizy różnią się od zarejestrowanego konta. Rzadko się to zdarza, ale ma miejsce. Co daje rejestracja wstępna? Łatwość w przeprowadzeniu badania, która jednocześnie pozwala nam skrócić czas jego trwania.
Jakie są dowody na to, że nastąpił p – hacking lub HARKing?
Jeśli na przykład prowadzone jest badanie i wykazuje się bardzo mało pomiarów wyników, istnieje duże prawdopodobieństwo, że wiele danych zostało ukrytych i ich nie zgłoszono, a to oznacza, iż takie badanie zostało p – hackowane.
Jeśli ktoś zgładza znaczące różnice, jeśli chodzi o średnią moc i prędkość szczytową z wartościami p pomiędzy 0,03 i 0,05, ale jednocześnie nie zgłasza innych miar kinetyki pręta, istnieje duże prawdopodobieństwo, że zostało to p – hackowane.
Jak wyglądają prognozy?
W większości prognozy pokazują, że badacze mają pojęcie, które badanie będą się powtarzać i jednocześnie, które są fałszywymi pozytywami. Powstał trend, w który naukowcy tworzą rynki zakładów i sami mogą oni obstawiać te zakłady, które według nich wykazują największe prawdopodobieństwo, że się powielają. Nie zawsze jest czas, aby stworzyć rynek zakładów, ale na pewno warto zapytać ekspertów, które wyniki są podejrzane.
Podsumowując
Wyniki badań nie są tak wiarygodne, jak większości z nas się wydaje. Wiele jest bowiem sposobów, by móc uzyskać wynik fałszywie dodatni, a ze względu na to, że system wydawniczy nagradza pozytywne wyniki, pojawiają się nieproporcjonalnie duże liczby wyników fałszywie dodatnich. Wiedząc, czego szukamy mamy duże prawdopodobieństwo, że odnajdziemy te wyniki nieprawidłowe. Szukamy więc przede wszystkim dużych efektów, małych wartości p i takich wyników, które mogą zostać wyjaśnione znanymi mechanizmami. Dobrze jest sprawdzić, czy badanie zostało wstępnie zarejestrowane, jakie są w nim zachęty finansowe i czy istnieją dowody na p – hacking i HARKing. Wniosek jest jeden, nie wystarczy przeczytać dokładnie tekst, by dowiedzieć się, czy coś jest prawdą, czy nie. Czasami potrzeba szeregu działań i czasu, by móc poznać odpowiedz na nurtujące nas pytania.
