Was uns beschäftigt
Im Gegensatz zu Journalisten scheinen Autoren wissenschaftlicher Artikel gute Nachrichten den schlechten vorzuziehen. Sie zitieren Studien mit positiven Ergebnissen signifikant häufiger als Studien, die nichts Neues gefunden haben. Ist dieses Verhalten wissenschaftlich verwerflich?
Eine niederländische Studiengruppe (Duyx et al. 2017) hat in einer Metaanalyse von Review-Artikeln überprüft, ob die Anzahl der Zitationen abhängig davon ist, ob die Studienergebnisse positiv oder negativ waren. Obwohl die Autoren auch Daten aus den Sozial- und Naturwissenschaften einschlossen, stellen biomedizinische Publikationen 73 % aller Studien und 86 % der in die Metaanalyse einbezogenen Arbeiten dar. Somit spiegeln die Ergebnisse hauptsächlich die Sachlage in der Medizin wieder. Die Autoren fanden heraus, dass Studien mit statistisch signifikanten Ergebnissen 1,6-mal häufiger zitiert wurden als die ohne Nachweis signifikanter Effekte. Zudem werden Studien 2,7-mal häufiger zitiert, wenn sie die Hypothese der Autoren bestätigten.
Die Metaanalyse von Duyx et al. zeigte auch, dass der Impact Factor der Zeitschrift, in der die Studie publiziert wurde, den höchsten Einfluss auf die Zitationshäufigkeit hat, noch vor den positiven Studienergebnissen. Doch da der Impact Factor die Zitationshäufigkeit der Zeitschrift widerspiegelt, ist er kein wirklich unabhängiger Einflussfaktor für die Zitationshäufigkeit einzelner Zeitschriftenartikel. Nachgeordnete Faktoren für die Zitationshäufigkeit waren Forschungsqualität, Stichprobenumfang und Forschungsdesign.
Nach Ansicht der niederländischen Forscher führt die Fokussierung von Zitationen auf Studien mit signifikanten Ergebnissen zu einem Zitationsbias, weil Studien ohne signifikante Ergebnisse nur aufgrund dieser Tatsache weniger häufig zitiert werden. Die Forscher behaupten, dass dies zu dem bekannten Publikationsbias beiträgt und zu einer übermäßigen Präsenz von positiven Ergebnissen und unbegründeten Überzeugungen führt („an over-representation of positive results and unfounded beliefs”). Sie schließen daraus auch, dass Studien vorwiegend aufgrund der Schlussfolgerungen der Autoren und nicht der zugrundeliegenden Daten zitiert werden („our results suggest that citations are mostly based on the conclusion that authors draw rather than the underlying data.”).
Nach der ersten, spontanen Zustimmung fragt man sich dann aber doch, ob die Autoren der Metaanalyse tatsächlich der Meinung sind, dass die bevorzugte Zitierung von Studien mit signifikanten Ergebnissen dazu führt, dass es viele Meinungen gibt, die nicht auf Tatsachen beruhen („unfounded beliefs“). Ich bin mir nicht sicher, ob das so verallgemeinert werden kann. Denn wenn eine Studie signifikante Ergebnisse hervorbringt, ist dann nicht gerade diese Tatsache der Grund dafür, dass sie häufiger zitiert wird? Und dass die Wahrscheinlichkeit von Zitierungen steigt, wenn die Autoren der Studie die Ergebnisse als Beweis ihrer Hypothese betrachten, deutet eher auf die klinische Relevanz der Ergebnisse hin, was die Arbeit wiederum attraktiver für Zitierungen macht.
Tatsächlich sind es doch die randomisierten, kontrollierten Studien mit signifikanten Ergebnissen, die kausale Zusammenhänge identifiziert. Damit wird ein wesentlicher Beitrag zum wissenschaftlichen Fortschritt geleistet, der es auch verdient, zitiert zu werden. Und signifikant können durchaus auch negative Ergebnisse sein, z.B. eine Übersterblichkeit. Eine Studie ohne signifikante Ergebnisse hingegen lässt Autoren und Leser oft ratlos zurück: Ist der untersuchte Effekt gar nicht vorhanden? Oder gibt es ihn, aber das Studiendesign war nicht ausreichend, um ihn nachzuweisen? Aufgrund dieser Tatsachen sind nicht-signifikante Ergebnisse einer einzelnen Studie oft weniger relevant für andere Autoren. Gut möglich, dass es sich hier nicht um ein Problem mit kritiklos zitierenden Wissenschaftlern handelt, sondern einfach nur um die Beschreibung der Tatsache, dass Studien mit signifikanten Ergebnissen mehr zum wissenschaftlichen Fortschritt beitragen als solche ohne signifikante Resultate.