Psychologische Studien erwiesen sich in mehr als 50 % der Fälle als falsch

2024 Autor: Seth Attwood | [email protected]. Zuletzt bearbeitet: 2023-12-16 16:01

Es gibt „starke Körperhaltungen“, die Vertrauen aufbauen und Stresshormone abbauen. Wenn Menschen eine Tasse warmes Getränk in den Händen halten, werden sie freundlicher zu ihren Mitmenschen. Willenskraft ist eine Ressource, die wir ausgeben, wenn wir der Versuchung widerstehen. Die Fähigkeit, die Belohnung aufzuschieben, bestimmt den zukünftigen Erfolg des Kindes.

Diese Aussagen sind sich sehr ähnlich: Dahinter stecken bekannte psychologische Forschungen, populärwissenschaftliche Bestseller, Kolumnen in populären Zeitschriften und TED-Talks.

Sie haben noch eines gemeinsam: Sie haben sich alle als falsch herausgestellt.

Die Reproduzierbarkeitskrise hat ganze Wissenschaftsbereiche in Zweifel gezogen. Viele der in den Medien vielfach zitierten Ergebnisse gelten heute als übertrieben oder falsch. Als Wissenschaftler versuchten, sowohl klassische als auch neuere psychologische Experimente zu replizieren, waren die Ergebnisse überraschend konsistent, wobei etwa die Hälfte der Fälle erfolgreich war und die andere Hälfte fehlschlug.

Die Krise wurde schließlich 2015 deutlich, als Wissenschaftler um Brian Nosek 100 psychologische Studien überprüften. Nur in 36 Fällen konnten sie erste Ergebnisse erzielen. Der Lancet-Chefredakteur Richard Horton erklärte bald:

„Die Vorwürfe gegen die Wissenschaft sind ganz einfach: Mindestens die Hälfte der wissenschaftlichen Literatur ist schlichtweg falsch. Unter Studien mit geringer Stichprobengröße, dürftiger Wirkung und falschen Analysen sowie einer Besessenheit von Modetrends von zweifelhafter Bedeutung ist die Wissenschaft in die Ignoranz gewendet.

Reproduzierbarkeit ist eine der wichtigsten Voraussetzungen für wissenschaftliche Erkenntnisse. Je besser das Ergebnis reproduziert wird, desto zuverlässiger ist es – nur so lassen sich echte Muster von einfachen Zufällen trennen

Es stellte sich jedoch heraus, dass diese Voraussetzung nicht immer erfüllt ist.

Die Krise begann mit der Medizin, am stärksten war jedoch die Psychologie betroffen. Im Sommer 2018 versuchten Wissenschaftler, eine Auswahl psychologischer Studien zu replizieren, die in Science and Nature, den renommiertesten wissenschaftlichen Zeitschriften der Welt, veröffentlicht wurden. Von 21 Experimenten wurden nur 13 bestätigt – und selbst in diesen Fällen wurden die ursprünglichen Ergebnisse um etwa 50 % übertrieben.

Der Reproduzierbarkeitstest scheitert oft an den Studien, die in den Medien breit repliziert wurden und das öffentliche Bewusstsein beeinflussen konnten. Zum Beispiel die Werke, die Suchmaschinen das Gedächtnis beeinträchtigen, und das Lesen von Belletristik entwickelt die Fähigkeit zur Empathie. Wenn wiederholte Experimente fehlschlagen, bedeutet dies nicht, dass die ursprünglichen Hypothesen wertlos sind. Aber es bedarf jetzt besserer Forschung, um sie zu beweisen.

Wie man mit Statistiken die Zukunft vorhersagt

Im Jahr 2011 veröffentlichte der berühmte amerikanische Psychologe Daryl Boehm einen Artikel, der die Möglichkeit des Hellsehens bewies. Diese Schlussfolgerung war kein Produkt seiner gewalttätigen Fantasie, sondern basierte auf jahrzehntelanger Forschung, an der Hunderte von Menschen beteiligt waren. Viele vermuteten, dass Boehm beschlossen hatte, so etwas wie Sokals Betrug zu arrangieren und die Psychologie mit einem gefälschten Artikel mit bewusst absurden Schlussfolgerungen aufzudecken. Aber nach allen methodischen Maßstäben war der Artikel sehr überzeugend.

In einem von Behms Experimenten wurden zwei Bildschirme vor die Teilnehmer gestellt – sie mussten erraten, welches Bild sich dahinter verbarg. Das Bild wurde unmittelbar nach der Auswahl zufällig generiert. Wenn die Teilnehmer gute Arbeit geleistet haben, würde dies darauf hindeuten, dass sie die Zukunft irgendwie antizipieren können. Für das Experiment wurden zwei Arten von Bildern verwendet: neutral und pornografisch.

Boehm schlug vor, dass der sechste Sinn, wenn er existiert, wahrscheinlich einen alten evolutionären Ursprung hat. Wenn ja, dann ist es wahrscheinlicher, dass es auf unsere ältesten Bedürfnisse und Triebe abgestimmt ist

Die Teilnehmer haben in 53 % der Fälle pornografische Bilder erraten – etwas häufiger, als sie sollten, wenn sie rein zufällig wären. Angesichts der Vielzahl von Experimenten könnte Boehm behaupten, dass es Weitsicht gibt.

Später stellten Experten fest, dass er bei der Analyse der Ergebnisse nicht ganz korrekte Methoden anwendete. In der Regel gilt ein Forschungsergebnis als zuverlässig, wenn die Wahrscheinlichkeit, dass es zufällig zustande gekommen ist, 5 % nicht überschreitet. Es gibt jedoch viele Möglichkeiten, diesen Wert auf das erforderliche Niveau zu reduzieren: Ändern Sie die Anfangsparameter der Analyse, fügen Sie die erforderliche Anzahl von Beispielen hinzu oder entfernen Sie sie aus der Stichprobe, verwenden Sie nach dem Sammeln der Daten erfolgreichere Hypothesen.

Das Problem ist, dass nicht nur Böhm, sondern auch viele andere Wissenschaftler die gleichen Techniken verwendeten. Laut einer Umfrage aus dem Jahr 2011 gab fast die Hälfte der Psychologen dies zu

Als der hellseherische Artikel herauskam, erkannten die Sozialwissenschaftler Joseph Simmons, Leaf Nelson und Uri Simonson, dass die Wissenschaft auf ihren eigenen Untergang zusteuerte. Sie erstellten mehrere Computermodelle und stellten fest, dass Sie mit relativ standardmäßigen statistischen Techniken das Niveau der falsch-positiven Ergebnisse um ein Vielfaches erhöhen können. Das bedeutet, dass formal wissenschaftliche Methoden leicht zu völlig absurden Schlussfolgerungen führen können.

Um dies zu veranschaulichen, führten Wissenschaftler ein Experiment durch, das bestätigte, dass das Hören des Songs "When I'm Sixty-four" den Hörer eineinhalb Jahre jünger macht.

„Jeder wusste, dass es falsch war, solche Techniken zu verwenden, aber sie hielten dies für eine Verletzung ihrer Bedeutung – als würde man die Straße an der falschen Stelle überqueren. Es stellte sich eher wie ein Banküberfall heraus“, schloss Simmons.

Wie man schlechte von guten Forschungen unterscheidet

Schnell wurde klar, dass Fragen der Reproduzierbarkeit nicht auf die Psychologie beschränkt waren. In der Krebsforschung wird die wissenschaftliche Evidenz in 10-25% der Fälle unterstützt. In den Wirtschaftswissenschaften konnten 7 von 18 Laborexperimenten nicht repliziert werden. Auch die Forschung zur Künstlichen Intelligenz weist Anzeichen einer Krise auf.

Aber das Vertrauen in die Wissenschaft zu verlieren, scheint es immer noch nicht wert zu sein. Wissenschaftler haben bereits mehrere Wege gefunden, die die Zuverlässigkeit und Qualität neuer Forschungen erheblich verbessert haben

Vor einigen Jahren veröffentlichte fast niemand die Ergebnisse wiederholter Experimente, selbst wenn sie durchgeführt wurden. Dies wurde nicht akzeptiert, brachte keine Stipendien und trug nicht zu einer erfolgreichen wissenschaftlichen Karriere bei. Laut einer Nature-Umfrage haben mehr als 70 % der Psychologen versucht, die Forschung anderer Leute zu reproduzieren, und etwa die Hälfte war nicht in der Lage, ihre eigenen zu wiederholen, und fast niemand hat versucht, diese Ergebnisse zu veröffentlichen.

Als die Krise der Reproduzierbarkeit auftauchte, hat sich vieles verändert. Wiederholte Recherchen wurden nach und nach alltäglich; experimentelle Daten wurden immer häufiger öffentlich veröffentlicht; Zeitschriften begannen, negative Ergebnisse zu veröffentlichen und den Gesamtplan der Forschung festzuhalten, noch bevor sie begonnen hatten.

Die Forschung ist umfangreicher geworden – eine Stichprobe von 30–40 Personen, die in der Psychologie durchaus Standard war, passt heute nur noch zu wenigen Personen. Große internationale Organisationen – wie der Psychological Science Accelerator – testen dieselben Hypothesen in mehreren Labors auf der ganzen Welt.

Vor der Überprüfung der Artikel aus Nature and Science, über die wir eingangs geschrieben haben, wurden Wissenschaftler gebeten, auf das Gewinnspiel zu wetten. Sie mussten vorhersagen, welche Forschung den Test bestehen würde und welche nicht. Insgesamt waren die Preise sehr genau. „Das bedeutet erstens, dass die wissenschaftliche Gemeinschaft vorhersagen kann, welche Werke wiederholt werden können, und zweitens, dass die Unmöglichkeit, die Studie zu reproduzieren, kein Zufall war“, so die Organisatoren des Experiments.

Wissenschaftler sind im Allgemeinen gut darin, zuverlässige von unzuverlässigen Forschungen zu unterscheiden – das sind gute Nachrichten. Nun versuchen Experten des Center for Open Science gemeinsam mit der Agentur DARPA, einen Algorithmus zu entwickeln, der die gleiche Aufgabe ohne menschliches Zutun erledigt.

Jedes Jahr werden zu viele Artikel veröffentlicht, um auch nur einen kleinen Teil davon manuell zu überprüfen. Wenn Künstliche Intelligenz zur Sache geht, wird alles viel einfacher.

Bereits in den ersten Tests hat die KI die Vorhersagen in 80% der Fälle erfolgreich gemeistert.

Was macht Forschung am häufigsten unzuverlässig? Kleine Stichproben, Inkonsistenzen in Zahlen, zu schöne Bestätigung von Hypothesen. Und auch - der Wunsch nach Sensationen und zu einfachen Antworten auf schwierige Fragen.

Zu schön um wahr zu sein

Der einfachste Weg, aufsehenerregende Forschung zu betreiben, ist die Täuschung. Der berühmte Sozialpsychologe Diederik Stapel hat in mehreren Dutzend wissenschaftlichen Artikeln fabrizierte Daten verwendet. Stapels Forschung verbreitete sich mit großer Geschwindigkeit in Zeitungen und Zeitschriften, er erhielt mehrere renommierte wissenschaftliche Auszeichnungen, wurde in Science veröffentlicht und galt als einer der größten Spezialisten auf seinem Gebiet.

Es stellte sich heraus, dass Stapel lange Zeit überhaupt nicht forschte, sondern einfach Daten erfand und den Studenten zur Analyse zur Verfügung stellte.

Dies ist in der Wissenschaft sehr selten. Viel häufiger laute, aber falsche Aussagen entstehen aus anderen Gründen. Menschen suchen verzweifelt nach einfachen, verständlichen und effektiven Antworten auf spannende Fragen. Es kann sehr leicht sein, zu glauben, dass Sie diese Antworten haben, selbst wenn Sie dies nicht wirklich tun. Das Streben nach Einfachheit und Sicherheit ist einer der Hauptgründe, warum viele Studien die Reproduzierbarkeit nicht testen. Hier sind einige bemerkenswerte Beispiele.

Marshmallow-Experiment

In einem Experiment wurden die Kinder gebeten, zwischen einer kleinen Belohnung – wie Marshmallows – die sofort empfangen werden konnte, und einer doppelten Belohnung zu wählen, wenn sie etwas warten konnten. Später stellte sich heraus, dass Kinder, die die zweite Auszeichnung erhielten, im Erwachsenenalter erfolgreicher waren. Die Studie wurde sehr populär und beeinflusste einige Lehrpläne.

Im Jahr 2018 wurde das Experiment an einer breiteren Stichprobe wiederholt. Es stellte sich heraus, dass der Reichtum in der Familie ein viel wichtigerer Faktor ist, von dem auch die Selbstkontrolle abhängt.

"Posen der Stärke" und "Posen der Schwäche"

Die Versuchsteilnehmer nahmen zwei Minuten lang eine von zwei Posen ein: Sie lehnten sich auf einem Stuhl zurück und warfen die Beine auf den Tisch („Kraftpose“) oder verschränkten die Arme vor der Brust („Schwächenpose“). Infolgedessen fühlten sich die Teilnehmer der ersten Gruppe selbstbewusster und stimmten häufiger zu, beim Glücksspiel Risiken einzugehen. Diejenigen, die in einer starken Position saßen, erhöhten ihren Testosteronspiegel, und diejenigen, die in einer schwachen Position saßen, erhöhten den Cortisolspiegel. In wiederholten Experimenten konnte nur ein Effekt reproduziert werden: "Krafthaltungen" halfen den Teilnehmern, sich sicherer zu fühlen, veränderten jedoch weder ihr Verhalten noch ihre hormonellen Parameter.

Assoziationen mit dem Alter lassen dich langsamer bewegen

Die Teilnehmer des Experiments wurden gebeten, mehrere Rätsel zu lösen. Wurden Wörter eingefügt, die mit dem Alter in Verbindung gebracht werden – „vergessen“, „älter“, „einsam“– verließen die Teilnehmer langsamer den Raum.

In neueren Versuchen konnte das Experiment nur in einem Fall erfolgreich reproduziert werden: wenn die Experimentatoren selbst wussten, dass die Versuchspersonen in den Tests auf das Alter hindeuteten. Die Wirkung selbst blieb bestehen, aber die Gründe waren bereits andere.

Warme Gegenstände machen Menschen freundlicher

Die Teilnehmer des Experiments durften für kurze Zeit eine Tasse heißen oder kalten Kaffee halten und wurden dann gebeten, die Persönlichkeit der Person anhand einer kurzen Beschreibung zu bewerten. Teilnehmer, die eine heiße Tasse Kaffee in der Hand hielten, bewerteten die Person als sympathischer. In einem anderen Experiment erhielten die Teilnehmer einen Gegenstand in einer warmen oder kalten Verpackung und wurden dann gebeten, ihn zu behalten oder einem Freund zu geben. Wenn der Artikel warm verpackt war, wählten die Teilnehmer eher die zweite Option. Wiederholte Experimente mit einer breiteren Stichprobe führten nicht zu solchen Ergebnissen. Es sieht so aus, als ob warme Kleidung dich nicht zu einem Altruisten macht.

Willenskraft ist erschöpft, wenn wir Versuchungen widerstehen

Vor den Versuchsteilnehmern wurden zwei Teller platziert - mit Keksen und Radieschen. In der ersten Gruppe durften die Teilnehmer Kekse essen, in der zweiten nur Radieschen. Dann wurde jeder Teilnehmer gebeten, ein unmögliches Rätsel zu lösen. Teilnehmer, die im ersten Teil des Experiments nur Radieschen aßen, gaben viel früher auf als andere. In wiederholten Experimenten wurden die Ergebnisse nicht bestätigt.

In einigen Fällen wurde die Fähigkeit zur Selbstkontrolle nicht erschöpft, sondern im Laufe der Zeit sogar intensiviert. Viele Psychologen halten das Konzept der „Willenskraft“mittlerweile für zu simpel.

In der Weltpsychologie wurde bereits viel getan, um die Forschung zuverlässiger und reproduzierbarer zu machen. In Russland muss dieses Problem noch erfasst werden.

„In der russischen Psychologie betreffen die Probleme der Krise hauptsächlich die wissenschaftliche Jugend, die sich weitgehend an der westlichen Wissenschaft orientiert“, sagte Ivan Ivanchey, außerordentlicher Professor bei RANEPA, gegenüber dem Messer. - Die Kontrolle über die Qualität der Veröffentlichungen in russischer Sprache ist im Allgemeinen nicht sehr hoch. Die Zeitschriften lehnen selten Artikel ab, daher wird viel Forschung von geringer Qualität veröffentlicht. Oft werden kleine Stichproben verwendet, was auch die Wahrscheinlichkeit einer erfolgreichen Reproduktion verringert. Es besteht der Verdacht, dass, wenn man sich ernsthaft mit der Frage der Reproduzierbarkeit russischsprachiger Werke befasst, viele Probleme aufgedeckt werden können. Aber daran ist niemand direkt beteiligt."

Im Januar 2019 wurde bekannt, dass die russische Regierung die Anforderungen an Wissenschaftler hinsichtlich der Zahl der Publikationen deutlich ausweiten wird: Die Mindestzahl der pro Jahr veröffentlichten Artikel soll um 30-50% steigen.

Wissenschaftler des einflussreichen Akademikers "1. Juli Club" kritisierten die Initiative: "Die Aufgabe der Wissenschaft ist es nicht, die maximale Anzahl an Publikationen zu produzieren, sondern das Universum zu erforschen und von den gewonnenen Erkenntnissen für die Menschheit zu profitieren." Höchstwahrscheinlich werden die neuen Anforderungen das Problem nur noch vergrößern.

Die Geschichte über die Krise der Reproduzierbarkeit ist keine Geschichte über die kommende Apokalypse und die Invasion der Barbaren. Wäre die Krise nicht eingetreten, wäre alles noch viel schlimmer gewesen: Wir würden immer noch im vollen Vertrauen, die Wahrheit zu kennen, auf fehlerhafte Forschung verweisen. Vielleicht geht die Zeit mutiger Schlagzeilen wie "britische Wissenschaftler haben es bewiesen" zu Ende. Aber Gerüchte, dass die Wissenschaft tot ist, sollten als etwas übertrieben angesehen werden.