DFP-FORTBILDUNG & KLINIK |  Forschung

Gleiche Hypothese, gleiche Daten – variable Ergebnisse?

Eine Metastudie zeigt, wie sich Wissenschaft selbst kritisch hinterfragen und kontrollieren kann.

Kritische Selbstreflexion im Wissenschaftsbetrieb ist unabdingbar. In einem Experiment haben rund 200 internationale Forscher unabhängig voneinander denselben Datensatz über Gehirnaktivität während einer Magnetresonanztomographie analysiert. Ziel war es abzuschätzen, wie variabel die Ergebnisse der bildgebenden Hirnforschung sein können. Zudem sollte überprüft wer- den, inwiefern sowohl die beteiligten als auch an den Auswertungen unbeteiligte Wissenschafter die Ergebnisse vorhersagen konnten. Der Datensatz wurde an 70 Analyseteams aus der ganzen Welt verteilt. Aus Österreich beteiligt war die Universität Wien mit den Neuropsychologen Univ.-Prof. Dr. Claus Lamm, Dr. Lei Zhang, MSc, und Annabel Loosecat Vermeer, MSc, PhD, sowie die Mitinitiatoren des Projektes um die Behavioral-Finance-Gruppe von Univ.-Prof. Dr. Michael Kirchler von der Universität Innsbruck. Jedes Team analysierte unabhängig voneinander die gleichen Daten, wobei sie ihre jeweiligen Standard-Methoden zur Prüfung von neun vordefinierten Hypothesen einsetzen. Bei jeder dieser Hypothesen wurde gefragt, ob sich die Aktivität in einem bestimmten Teil des Gehirns in Bezug auf einen bestimmten Aspekt der Entscheidungen verändern würde.

Wichtigste Erkenntnis des NARPS-Projektes: Die beträchtliche Varianz, was die Beantwortung der Hypothesen als zutreffend oder nicht betrifft, wenn derselbe komplexe Bildgebungs-Datensatz mit verschiedenen Analyse-Ansätzen analysiert wurde. Bei gleich fünf der Hypothesen gab es erhebliche Unterschiede in der Beantwortung. Dieser Unterschied lässt sich durch die unter- schiedlichen Ansätze in der Beantwortung der Hypothesen erklären. Bei einer binären Entscheidung mit Ja oder Nein geht viel Information verloren, während bei der Meta-Analyse durch die Aggregierung von Daten mehr Information vorliegt. Die Meta-Ana- lyse der individuellen Ergebnisse bestätigte jedoch eine hohe Konvergenz zwischen den Ergebnissen der 70 Teams. Zudem wa- ren die Gehirnaktivierungskarten relativ konsistent über die 70 Analysen hinweg.


rh


Publikation in Nature: Variability in the analysis of a single neuroimaging dataset by many teams, Tom Schonberg et.al. DOI: 10.1038/s41586-020-2314-9