Budapest/Hamburg. Wie stark wissenschaftliche Ergebnisse von analytischen Entscheidungen abhängen können, zeigt eine internationale Großstudie, die jetzt im wissenschaftlichen Fachmagazin Nature veröffentlicht wurde. An der Untersuchung war auch die Helmut-Schmidt-Universität/Universität der Bundeswehr Hamburg (HSU/UniBw H) beteiligt. In der Studie Investigating the analytical robustness of the social and behavioral sciences analysierten Forschende weltweit identische Datensätze – kamen dabei jedoch häufig zu unterschiedlichen Schlussfolgerungen, obwohl sie dieselben Forschungsfragen bearbeiteten und jeweils methodisch vertretbare Vorgehensweisen wählten.
Die Untersuchung entstand im Rahmen des von der US‑Forschungsagentur DARPA geförderten SCORE‑Programms, einer internationalen Initiative zur Stärkung der Robustheit sozial‑ und verhaltenswissenschaftlicher Forschung, und wurde von Balázs Aczél und Barnabás Szászi von der Eötvös Loránd University und der Corvinus University koordiniert. Zu den Koautoren zählt auch Brian A. Nosek vom Center for Open Science. Insgesamt führten 457 unabhängige Analystinnen und Analysten weltweit 504 Reanalysen von Datensätzen aus 100 bereits publizierten Studien der Sozial‑ und Verhaltenswissenschaften durch. Obwohl die zentralen Aussagen der Originalstudien häufig grundsätzlich bestätigt wurden, unterschieden sich Effektstärken, statistische Schätzungen und Unsicherheiten teils deutlich. Nur in rund einem Drittel der Fälle stimmten die Schlussfolgerungen vollständig überein.
Reanalysen zeigen methodische Unsicherheiten in der Forschung
An der Studie war auch Dr. Shiva Pauer (HSU/UniBw H) als Koautor beteiligt. Er steuerte eine eigenständige, fortgeschrittene Mehrebenenanalyse zu den Effekten negativer Einstellungen gegenüber Migration auf politisches Vertrauen über mehrere Jahre und europäische Länder hinweg bei. Die Ergebnisse dieser Analyse wurden systematisch mit den Befunden des jeweiligen Originalpapers verglichen.
Die zentrale Erkenntnis der Studie: Wissenschaftliche Ergebnisse sind stärker von analytischen Entscheidungen geprägt, als es einzelne Veröffentlichungen häufig erkennen lassen. Für den Forschungsstandort Hamburg unterstreicht die Arbeit die Bedeutung transparenter und methodisch reflektierter Forschung. Ansätze wie Multi‑Analyst‑Studien, Multiverse‑Analysen und Registered Reports können dazu beitragen, analytische Unsicherheiten sichtbar zu machen und Überinterpretationen einzelner Befunde zu vermeiden.