Etwa 50 % der wissenschaftlichen Experimente erwiesen sich als NICHT reproduzierbar

2024 Autor: Seth Attwood | [email protected]. Zuletzt bearbeitet: 2023-12-16 16:01

Durch Zufall stieß ich in einem Strom von Nachrichten und Informationen auf einen Artikel in Nature Scientific Reports. Es präsentiert Daten aus einer Befragung von 1.500 Wissenschaftlern zur Reproduzierbarkeit wissenschaftlicher Forschungsergebnisse. Wurde dieses Problem früher für die biologische und medizinische Forschung aufgeworfen, wo es einerseits erklärbar ist (falsche Korrelationen, die allgemeine Komplexität der untersuchten Systeme, manchmal sogar wissenschaftliche Software wird vorgeworfen), hat es andererseits eine phänomenologische Charakter (zum Beispiel neigen Mäuse dazu, sich bei Wissenschaftlern unterschiedlichen Geschlechts unterschiedlich zu verhalten (1 und 2)).

Allerdings ist nicht alles glatt und mit mehrNaturwissenschaften wie Physik und Ingenieurwissenschaften, Chemie, Ökologie. Es scheint, dass gerade diese Disziplinen auf "absolut" reproduzierbaren Experimenten basieren, die unter den kontrolliertesten Bedingungen durchgeführt wurden, leider ein im wahrsten Sinne des Wortes erstaunliches Ergebnis der Umfrage: bis zu 70%Forscher konfrontiert Nicht reproduzierbarExperimente und Ergebnisse, die nicht nur von anderen Wissenschaftlergruppen, ABER und von den Autoren / Co-Autoren veröffentlichter wissenschaftlicher Arbeiten!

Lobt jeder Strandläufer seinen Sumpf?

Obwohl 52 % der Befragten auf eine Reproduzierbarkeitskrise in der Wissenschaft hinweisen, halten weniger als 31 % die veröffentlichten Daten für grundsätzlich falsch und die Mehrheit gab an, der veröffentlichten Arbeit weiterhin zu vertrauen.

Natürlich sollte man sich nicht nur aufgrund dieser Umfrage die gesamte Wissenschaft als solche auf die Schulter hacken: Die Hälfte der Befragten waren immer noch Wissenschaftler, die auf die eine oder andere Weise mit biologischen Disziplinen zu tun hatten. Wie die Autoren anmerken, ist die Reproduzierbarkeit und das Vertrauen in die erhaltenen Ergebnisse in Physik und Chemie viel höher (siehe Grafik unten), aber immer noch nicht 100%. Aber in der Medizin steht es im Vergleich zum Rest sehr schlecht.

Mir fällt ein Witz ein:

Marcus Munafo, Biopsychologe an der University of Bristol, England, hat ein langjähriges Interesse an der Reproduzierbarkeit wissenschaftlicher Daten. In Erinnerung an seine Studienzeit sagt er:

Einmal habe ich versucht, ein Experiment aus der Literatur zu reproduzieren, das mir einfach vorkam, aber es gelang mir einfach nicht. Ich hatte eine Vertrauenskrise, aber dann wurde mir klar, dass meine Erfahrung gar nicht so selten war.

Breiten- und Längengrad-Tiefenproblem

Stellen Sie sich vor, Sie sind Wissenschaftler. Sie stoßen auf einen interessanten Artikel, aber die Ergebnisse / Experimente sind im Labor nicht reproduzierbar. Es ist logisch, den Autoren des Originalartikels darüber zu schreiben, um Rat zu fragen und klärende Fragen zu stellen. Laut der Umfrage, weniger als 20 %haben dies jemals in ihrer wissenschaftlichen Karriere getan!

Die Autoren der Studie stellen fest, dass solche Kontakte und Gespräche für die Wissenschaftlerinnen und Wissenschaftler vielleicht selbst zu schwierig sind, weil sie ihre Inkompetenz und Inkonsistenz in bestimmten Fragen offenbaren oder zu viele Details des aktuellen Projekts preisgeben.

Darüber hinaus versuchte eine absolute Minderheit von Wissenschaftlern, eine Widerlegung nicht reproduzierbarer Ergebnisse zu veröffentlichen, stieß jedoch auf den Widerstand von Herausgebern und Gutachtern, die verlangteVergleich mit der ursprünglichen Forschung herunterspielen. Kein Wunder, dass die Wahrscheinlichkeit, die Nichtreproduzierbarkeit wissenschaftlicher Ergebnisse zu melden, bei etwa 50 % liegt.

Vielleicht lohnt es sich also, zumindest einen Reproduzierbarkeitstest im Labor durchzuführen? Das Traurigste ist, dass ein Drittel der Befragten sogar NOCH NIEund dachte nicht daran, Methoden zur Überprüfung der Reproduzierbarkeit von Daten zu entwickeln. Nur 40%gaben an, dass sie solche Techniken regelmäßig anwenden.

Ein anderes Beispiel, eine Biochemikerin aus Großbritannien, die ihren Namen nicht preisgeben wollte, sagt, dass Versuche, Arbeiten für ihr Laborprojekt zu wiederholen, zu reproduzieren, einfach den Zeit- und Materialaufwand verdoppeln, ohne der Arbeit etwas Neues zu geben oder hinzuzufügen. Zusätzliche Kontrollen werden nur bei innovativen Projekten und ungewöhnlichen Ergebnissen durchgeführt.

Und natürlich die ewigen russischen Fragen, die ausländische Kollegen zu quälen begannen: Wer ist schuld und was ist zu tun?

Wer ist schuldig?

Die Autoren der Arbeit identifizierten drei Hauptprobleme der Reproduzierbarkeit der Ergebnisse:

• Druck von Vorgesetzten, die Arbeit rechtzeitig zu veröffentlichen
• Selektive Berichterstattung (anscheinend bedeutet dies die Unterdrückung einiger Daten, die das ganze Bild "verderben")
• Unzureichende Datenanalyse (einschließlich statistischer Daten)

Was zu tun ist?

Von 1.500 befragten Fachleuten sprachen sich mehr als 1.000 für eine Verbesserung der Statistik bei der Erhebung und Verarbeitung von Daten, eine bessere Qualität der Aufsicht durch die Chefs und eine strengere Planung von Experimenten aus.

Fazit und einige persönliche Erfahrungen

Erstens, selbst für mich als Wissenschaftler sind die Ergebnisse verblüffend, obwohl ich eine gewisse Unreproduzierbarkeit der Ergebnisse gewohnt bin. Besonders deutlich wird dies in den Werken der Chinesen und Inder ohne fremde „Audit“in Form von amerikanischen/europäischen Professoren. Gut, dass das Problem erkannt und über seine Lösung(en) nachgedacht wurde. Über die russische Wissenschaft werde ich im Zusammenhang mit dem jüngsten Skandal taktvoll schweigen, obwohl viele ihren Job ehrlich machen.

Zweitens, ignoriert (oder besser gesagt, nicht berücksichtigt) der Artikel die Rolle wissenschaftlicher Metriken und von Experten begutachteter wissenschaftlicher Zeitschriften bei der Entstehung und Entwicklung des Problems der Nichtreproduzierbarkeit von Forschungsergebnissen. Im Streben nach Geschwindigkeit und Häufigkeit der Veröffentlichungen (Lesen, Erhöhung der Zitationsindizes) sinkt die Qualität stark und es bleibt keine Zeit für eine zusätzliche Überprüfung der Ergebnisse.

Wie sie sagen, sind alle Charaktere fiktiv, basieren aber auf realen Ereignissen. Irgendwie hatte ein Student die Möglichkeit, einen Artikel zu rezensieren, da nicht jeder Professor die Zeit und Energie hat, die Artikel nachdenklich zu lesen, so wird die Meinung von 2-3-4 Studierenden und Ärzten gesammelt, aus der die Rezension gebildet wird. Es wurde ein Review verfasst, der die Nichtreproduzierbarkeit der Ergebnisse gemäß der im Artikel beschriebenen Methode anzeigte. Dies wurde dem Professor deutlich gezeigt. Aber um die Beziehungen zu "Kollegen" nicht zu verderben - immerhin gelingt ihnen alles -, wurde die Bewertung "korrigiert". Und es werden 2 oder 3 solcher Artikel veröffentlicht.

Es stellt sich ein Teufelskreis heraus. Der Wissenschaftler schickt den Artikel an den Herausgeber der Zeitschrift, wo er angibt „ gewünscht „Und hauptsächlich“ ungewollt »Rezensenten, d. h. es bleiben nur diejenigen übrig, die dem Autorenteam positiv gegenüberstehen. Sie überprüfen die Arbeit, können aber nicht „in die Kommentare scheißen“und versuchen, das kleinere von zwei Übeln zu wählen - hier ist eine Liste von Fragen, die beantwortet werden müssen, und dann werden wir den Artikel veröffentlichen.

Ein weiteres Beispiel, über das der Redakteur von Nature erst vor einem Monat sprach, sind die Sonnenkollektoren von Grazel. Aufgrund des enormen Interesses an diesem Thema in der wissenschaftlichen Community (immerhin wollen sie noch einen Artikel in Nature!), mussten die Redakteure einen speziellen Fragebogen erstellen, in dem sie viele Parameter angeben, Gerätekalibrierungen, Zertifikate vorlegen müssen, usw., um zu bestätigen, dass die Methode zur Messung von Effizienzpanels einigen allgemeinen Grundsätzen und Standards entspricht.

UND, Drittens, wenn man mal wieder von einem Wunderimpfstoff hört, der alles und jeden erobert, eine neue Geschichte über Jobs im Rock, neue Batterien oder die Gefahren/Vorteile von GVO oder die Strahlung von Smartphones, besonders wenn sie von gelben Journalisten beworben wurde, dann mit Verständnis behandeln und keine voreiligen Schlüsse ziehen. Warten Sie auf die Bestätigung der Ergebnisse durch andere Wissenschaftlergruppen, die Ansammlung des Arrays und der Datenproben.

PS:Der Artikel wurde eilig übersetzt und geschrieben, bei allen aufgefallenen Fehlern und Ungenauigkeiten bitte ins LAN schreiben.