Von Äpfeln und Birnen 

Ein Cochrane Review hat gezeigt...“ – wenn ein Artikel so beginnt, traut man sich fast nicht zu widersprechen. Gelten doch systematische Übersichtsarbeiten im Allgemeinen und Cochrane Reviews im Besonderen als eine verlässliche Form von zusammengefasster Evidenz, die einen guten Überblick über die Studienlage bietet. 

Allerdings kann sich bei dem komplexen Prozess der Erstellung von systematischen Übersichtsarbeiten leicht eine Verzerrung einschleichen. Deshalb sollte man es sich zur Gewohnheit machen, bei systematischen Übersichtsarbeiten und auch bei Cochrane Reviews genau hinzuschauen. Bei der kritischen Prüfung helfen die Kriterien der „guten Review-Praxis“, wie sie etwa im Cochrane Handbuch oder dem entsprechenden Standard „Finding what works in healthcare“ des US-amerikanischen National Academy of Medicine (früher Institute of Medicine) festgehalten sind.

Prozess bestimmt das Produkt

Die Idee eines systematischen Reviews ist eigentlich ganz einfach: Für eine bestimmte Fragestellung suchen die Autoren nach allen relevanten Studien, bewerten diese und fassen sie zusammen. Diese Zusammenfassung besteht entweder nur aus einer qualitativen Synthese, dann fassen die Autoren die Studien beschreibend zusammen und analysieren eventuelle Unterschiede und Auswirkungen auf das Ergebnis verbal. Manche systematische Übersichtsarbeit enthält aber auch eine quantitative Zusammenfassung, eine so genannte „Metaanalyse“ – dann berechnen die Autoren mit statistischen Verfahren aus allen Studien einen gemeinsamen Effektschätzer, also etwa die Größe eines Therapieeffekts.

Dem fertigen Produkt – also dem Ergebnis des systematischen Reviews – lässt sich meist nicht ohne Weiteres ansehen, ob es vertrauenswürdig ist. Deshalb gehört es zur Qualitätssicherung, dass die Autoren den Prozess vorab begründet festlegen, diese Regeln bei der Erstellung des Reviews befolgen und das Ganze transparent dokumentieren. Wie auch bei der Herstellung von Arzneimitteln gehört bei kritischen Prozessschritten das „Vier-Augen-Prinzip“ dazu.