WAS UNS BESCHÄFTIGT
Eine Metaanalyse oder auch eine andere systematische Zusammenfassung hinsichtlich ihrer Aussagekraft zu beurteilen, ist nicht einfach, denn letztendlich beruht ihre Qualität auf der Zuverlässigkeit der eingeschlossenen Studien und einer sinnvollen Auswahl für die Analyse. Aber es gibt einige grundlegende Punkte, deren Überprüfung einen Hinweis auf die Qualität liefern:
Planung:
Wurden folgende Dinge im Voraus festgelegt?
• Vorgehen bei der Studienauswahl, z.B. nach den PRISMA-Empfehlungen: PRISMA
• Untersuchte Fragestellung – wer aufs Geratewohl sucht, wird auch irgendwann fündig.
• Schlüssige Ein- und Ausschlusskriterien für die untersuchten Studien
Durchführung:
• Genaue Beschreibung der Literaturrecherche
Welche Datenbanken wurden durchsucht, wer hat gesucht und wer hat die Studien ausgewählt?
• Verfahren zur Studienauswahl transparent, systematisch und angemessen dargestellt?
• Vorgehen bei der statistischen Auswertung beschrieben?
• Heterogenität zwischen den Studien überprüft und berücksichtigt?
• Ergebnisse der Studien methodisch sauber zusammen geführt?
Wenn beispielsweise das Schmerzempfinden in mehreren Studien mit verschiedenen kontinuierlichen Skalen erfasst wurde, kann es nicht direkt verglichen werden. Stattdessen muss zunächst für jede Studie die standardisierte Mittelwertsdifferenz berechnet werden (mittlere Differenz zwischen den Behandlungsgruppen geteilt durch die Standardabweichung). Diese standardisierte Mittelwertsdifferenz ist unabhängig von der ursprünglichen Skala und erlaubt daher den Vergleich verschiedener Studien.
Ergebnisse:
• Unterschiede bei den Wirkgrößen auch klinisch relevant?
Ein Unterschied im Blutverlust von 70 ml kann statistisch relevant sein, aber klinisch ist er bei Erwachsenen bedeutungslos.
• Beeinflusst eine Studie das Ergebnis der Metaanalyse sehr stark aufgrund Ihrer Größe? Wurde geprüft, wie sich die Ergebnisse ohne diese Studie ändern?
Diskussion:
• Diskussion der Limitationen der Metaanalyse? Beschreiben die Autoren, in wie weit diese Limitationen die Aussagekraft Ihrer Analyse einschränken?
• Ist das, was die Autoren in der Schlussfolgerung behaupten, auch aus den präsentierten Ergebnissen ableitbar?
Wenn mehrere Fragen verneint werden müssen, sollten die Ergebnisse der Metaanalyse kritisch hinterfragt werden. Sauber durchgeführt kann eine Metaanalyse jedoch sehr aufschlussreich sein, beispielsweise wenn es zu einer Fragestellung mehrere sehr kleine Studien gibt, die für sich genommen keine Signifikanz erreichen, in der Summe aber durchaus große Relevanz haben können.