WAS UNS BESCHÄFTIGT
Wenn Reviewer aus dem Nähkästchen plaudern: die häufigsten Fehler bei Studienprotokollen
„Publish or perish“ – mit diesem Spruch werden wir in der Wissenschaft eher früher als später konfrontiert. Umso ärgerlicher ist es, wenn nach der Einreichung der Peer Review dann Mängel an der Arbeit offenbart, über die sogar Dick und Doof gestolpert wären. In der Medizin sollten Autorinnen und Autoren den EQUATOR Network-Guidelines folgen, um sicherzustellen, dass zumindest alle essentiellen Informationen für den jeweiligen Studientyp im Manuskript vorhanden sind. Speziell für Protokolle klinischer Studien hat sich das „Standard Protocol Items: Recommendations for Interventional Trials“ (SPIRIT)-Statement als international anerkannter Standard etabliert. Die 33 Punkte der SPIRIT-Checkliste umfassen Themen von administrativen Informationen bis hin zu methodischen und ethischen Aspekten. Eine Publikation des „Trials“-Journals zeigt allerdings, dass von 150 eingesandten Studienprotokollen im Jahr 2019 nur 57 % der Protokolle alle Punkte der SPIRIT-Checkliste adäquat adressieren. Woran liegt’s?
Dieser Frage gingen Qureshi et al. nach, welche als Editoren eingesandte Protokolle speziell auf die SPIRIT-Konformität überprüfen. Nach 2 Jahren Erfahrung und ca. 1900 Reviews von 1100 Studienprotokollen haben die Autoren die häufigsten Mängel und Lieblingsärgernisse zusammengefasst. Die Autoren haben zunächst unabhängig voneinander die 12 Punkte der SPIRIT-Checkliste aufgelistet, welche ihrer Ansicht nach am häufigsten unzureichend adressiert werden. Die finale Liste der häufigsten Mängel umfasst alle zwei- oder dreimal genannten Punkte. Gehen wir also zusammen den Walk of Shame und schauen uns einmal 5 ausgewählte Punkte näher an. Eine vollständige Auflistung finden Sie hier.
SPIRIT Punkt 14: „Estimated number of participants needed to achieve study objectives and how it was determined, including clinical and statistical assumptions supporting any sample size calculations.”
Grundsätzlich geben die meistens Protokolle die wichtigsten Eckdaten hierzu an, d.h. die Stichprobenzahl, das Signifikanzniveau, die statistische Power und die zugrunde liegenden Annahmen. Doch oft fehlen weiterführende Angaben, etwa die verwendete Software und Hypothesentests, Quellen oder ob die Stichprobenzahlen bereits einen Loss-to-Follow-up berücksichtigen. Fehlende Angaben zur Stichprobengrößen sollten Autoren begründen. Wer überprüfen will, ob ein Protokoll alle relevanten Informationen zu diesem Punkt liefert, muss sich folgende Frage stellen: „Reichen die Angaben im Protokoll, damit ein unbeteiligter Dritter die Schätzparameter (annähernd) reproduzieren kann?”
SPIRIT Punkt 21b: „Description of any interim analyses and stopping guidelines, including who will have access to these interim results and make the final decision to terminate the trial.”
Wer führt die Interimanalysen durch? Wie wird an Hand der Ergebnisse entschieden, ob die Studie fortgesetzt oder terminiert wird? Autoren sollten prüfen, ob ihr Protokoll diese Fragen adressiert und die Terminierungskriterien klar definiert. Autoren sollten in dieser Hinsicht auch daran denken, ob sie eine Studie wegen unerwartet hoher Wirksamkeit einer Intervention abbrechen, da das Vorenthalten der Intervention der Placebogruppe ethisch nicht vertretbar wäre.
SPIRIT Punkt 25: „Plans for communicating important protocol modifications (e.g., changes to eligibility criteria, outcomes, analyses) to relevant parties (e.g., investigators, REC/IRBs, trial participants, trial registries, journals, regulators).”
In vielen Protokollen steht bei diesem Punkt „not applicable.” Allerdings stellen die Reviewer klar, dass dieser Punkt immer zutrifft – schließlich kann niemand den Studienverlauf vorhersagen. Autoren sollten zudem überprüfen, ob das Protokoll festlegt, dass wirklich alle relevanten Instanzen bei einer Änderung informiert werden: Oft werden hier die Investigatoren vergessen, was besonders in Protokollen für groß angelegte, multizentrische Studien etwas peinlich ist.
SPIRIT Punkt 26b: „Additional consent provisions for collection and use of participant data and biological specimens in ancillary studies, if applicable.”
Viele Autoren scheinen misszuverstehen, dass Punkt 26b neben biologischen Proben auch erhobene Daten betrifft, welche ja ebenfalls in Folgestudien Verwendung finden könnten. Die Reviewer geben 2 Empfehlungen: Erstens, falls keine biologischen Proben entnommen werden, sollten Autoren anstatt „not applicable” besser schreiben: „This trial does not involve collecting biological specimens for storage.” Zweitens sollen Autoren angeben, ob sie die erhobenen Daten für weitere Studien verwenden und ob sie dafür eine Einwilligung der Patienten einholen.
SPIRIT Punkt 31c: „Plans, if any, for granting public access to the full protocol, participant-level dataset, and statistical code.”
Auch dies ist ein Punkt, bei dem Protokolle oft „not applicable” angeben, obwohl dies nie korrekt ist. Die Reviewer mutmaßen, dass Autoren hier nur an die Veröffentlichung des Protokolls denken, aber natürlich müssen Autoren angeben, ob Studiendaten öffentlich gemacht werden oder nicht.
Sonstige Ärgernisse für Editoren in klinischen Studienprotokollen
Unabhängig von der SPIRIT-Checkliste gibt die Publikation noch weitere Hinweise, worauf Autoren klinischer Studienprotokolle achten sollten. So zeigt eine Stichprobe von 90 Protokollen, dass 14 % der Einsendungen keine Angaben über Versionsnummer und -datum machen. Auch so banale Aspekte wie fehlerhafte Seitenangaben oder fehlende Seitenzahlen gehören zu den liebsten Ärgernissen der Reviewer. Weiter empfehlen die Reviewer ein professionelles Prüfen und Editieren des Englisch, da dieses oft nicht auf Publikationsniveau ist.
Fazit
Die Publikation von Qureshi et al. ist ein Literaturtipp für alle Autoren klinischer Studienprotokolle. Die zahlreichen Hinweise und Empfehlungen könnten das Zünglein an der Waage sein, dass diese zu Publish statt Perish ausschlägt.
Quelle
Qureshi R, Gough A and Loudon K. The SPIRIT Checklist-lessons from the experience of SPIRIT protocol editors. Trials 2022; 23(1): 359.