FRANKFURT. Eine neue Studie, die in Nature unter dem Titel „Investigating the analytical robustness of the social and behavioural sciences” veröffentlicht wurde, kommt zu dem Ergebnis, dass wissenschaftliche Schlussfolgerungen davon abhängen können, wer die statistische Analyse durchführt. Die Ergebnisse stammen aus einer groß angelegten internationalen Zusammenarbeit unter der Leitung von Balázs Aczél und Barnabás Szászi (Eötvös Loránd Universität und Corvinus Universität), die im Rahmen des Programms „Systematizing Confidence in Open Research and Evidence” (SCORE) durchgeführt wurde. Ein Team von 457 unabhängigen Analysten aus Institutionen auf der ganzen Welt, davon etwa 60 aus Deutschland und vier von der Goethe Universität Frankfurt, führte 504 Reanalysen von Daten aus 100 zuvor veröffentlichten Studien aus den Sozial- und Verhaltenswissenschaften durch. Je fünf Analysten erhielten denselben Datensatz und dieselbe zentrale Forschungsfrage, konnten jedoch die Analyse nach eigenem Ermessen durchführen.

Das Projekt knüpft konzeptuell an umfangreiche Reformen der letzten zehn Jahre in den Sozial- und Verhaltenswissenschaften an, die wissenschaftliche Forschung transparenter, vertrauenswürdiger und zuverlässiger machen sollen. Vorabregistrierung von empirischen Studien, registrierte Berichte („Registered Reports“), Replikationsstudien und Überprüfungen der analytischen Reproduzierbarkeit zielen alle darauf ab, die Häufigkeit von Zufallsbefunden und verzerrten Ergebnissen zu reduzieren. Eine wichtige Frage hat jedoch bislang relativ wenig Beachtung gefunden: Inwieweit hängen Forschungsergebnisse von der spezifischen Art und Weise ab, wie Daten analysiert werden?

In der wissenschaftlichen Standardpraxis wird ein Datensatz in der Regel von einem einzelnen Forscher oder einem Forschungsteam analysiert, und die daraus resultierende Veröffentlichung präsentiert das Ergebnis eines bestimmten Analysepfades. Während Peer-Review Verfahren die methodische Akzeptierbarkeit des gewählten Analysepfads bewerten, decken sie i.d.R. nicht auf, welche Ergebnisse unter alternativen, aber ebenso vertretbaren statistischen Entscheidungen hätten erzielt werden können.

Empirische Forschung beinhaltet jedoch zahlreiche Entscheidungspunkte: wie Daten bereinigt werden, wie Variablen definiert oder transformiert werden, welche statistischen Modelle oder welche Software verwendet werden und wie Ergebnisse interpretiert werden. Zusammen bilden diese Entscheidungen die sogenannte analytische Variabilität – die Flexibilität, die die endgültigen Schlussfolgerungen grundlegend beeinflussen kann.

Wichtigste Ergebnisse
Die aktuelle Nature Publikation zeigt, dass erhebliche Abweichungen in den Ergebnissen unabhängiger Analysen derselben Fragestellung unter Verwendung derselben Daten in 100 Studien auftreten. Obwohl die meisten Reanalysen die Hauptthesen der Originalstudien weitgehend bestätigten, unterschieden sich die Effektgrößen, statistischen Schätzungen und Unsicherheitsgrade oft erheblich. Nur in etwa einem Drittel der Fälle kamen alle Analysten zu dem gleichen Ergebnis wie die ursprünglichen Autoren.

Wichtig ist, dass diese Diskrepanzen nicht auf mangelnde Fachkenntnisse zurückzuführen waren. Erfahrene Forscher mit fundierten statistischen Kenntnissen kamen ebenso häufig zu abweichenden Ergebnissen wie andere. Gleichzeitig erwiesen sich Beobachtungsstudien als weniger robust als experimentelle Studien, was darauf hindeutet, dass komplexere Datenstrukturen eine größere analytische Flexibilität – und damit eine größere Unsicherheit – ermöglichen.

Prof. Dr. Jan Landwehr von der Goethe-Universität Frankfurt, der als Analyst an der Studie beteiligt war, kommentiert das Ergebnis so: „Ebenso wie man wichtige Entscheidungen nicht durch eine einzelne Studie begründen sollte, erscheint es bedeutsam, nicht nur das Ergebnis einer Datenanalyse heranzuziehen. Nur wenn unterschiedliche, gut begründbare Analyseansätze ein konsistentes Muster zeigen, erscheint ein empirisches Ergebnis wirklich belastbar zu sein. Unsere Studie ist damit auch ein Aufruf zu verstärkter wissenschaftlicher Zusammenarbeit unterschiedlicher Forschungsgruppen und zur Intensivierung des wissenschaftlichen Austauschs.“