Experimente zu wiederholen ist eines der wichtigsten Merkmale von Wissenschaft. Dass dies jedoch nur sehr selten gemacht wird, zeigt nun eine US-Studie: In den vergangenen 100 Jahren seien in der Psychologie nur etwas mehr als ein Prozent aller Forschungen reproduziert worden, erklären die Forscher.
Im Gegensatz zu früheren Annahmen würden diese Wiederholungen jedoch immerhin tendenziell zu den gleichen Ergebnissen gelangen wie ihre Vorgänger, schreiben der Psychologe Matthew Makel von der Duke University und Kollegen in einer Studie.
Ihrer Untersuchung voran stellen sie ein Zitat des US-Mathematikers und -Statistikers John Tukey, der 1969 schrieb: „Bestätigung erfolgt durch Wiederholung. Jeder Versuch, diese Aussage zu vermeiden, führt zu Versagen und noch wahrscheinlicher zu Zerstörung“.
In der Wiederholung (Reproduktion) von Experimenten sehen viele Forscher einen „Goldstandard“: Wiederholungen können dabei helfen, mögliche Fehler in den Grundannahmen oder Arbeitshypothesen zu entdecken und zu beheben. Das gilt für alle Wissenschaftsdisziplinen, aber speziell auch für die Psychologie, deren Forschungsbereich der methodisch besonders schwierig zu fassende Mensch ist.
So eindeutig dies für Wiederholungen von Studien spricht, so wenig attraktiv sind solche Reproduktionen in der Realität. Entsprechende Arbeiten haben nicht gerade ein „sexy“ Image, dabei wird auf den ersten Blick kein neues Wissen gewonnen, das sich dann medial gut „verkaufen“ lässt. „Wiederholungsforscher“ gelten darum eher als Handwerker, denen die Kreativität abgeht. Dass das nicht erst ein Phänomen der vergangenen Jahre und Jahrzehnte ist, belegt nun die Studie von Makel und seinen Kollegen.
Wiederholungsrate von 1,07 Prozent
Sie haben die Frage der Wiederholungen in der Psychologie mit statistischen Mitteln unter die Lupe genommen. Zu diesem Zweck durchkämmten sie die online zur Verfügung stehende Forschungsliteratur seit 1900 und durchsuchten die 100 bedeutendsten Fachzeitschriften nach dem Ausdruck „replicat*“, wobei das Sternchen für alle möglichen Wortendungen steht.
Nach Korrektur einiger Fehlerquellen errechneten die Forscher für den Gesamtzeitraum seit 1900 eine Wiederholungsrate von 1,07 Prozent.
Andere Wissenschaftler, andere Resultate
Ab den 1960er Jahren ist die Anzahl der wissenschaftlichen Veröffentlichungen im Bereich Psychologie geradezu explodiert. Auch die Wiederholungsrate stieg an, jedoch nicht in im gleichen Ausmaß.
Im Gegensatz zu früheren Untersuchungen zeigten die Auswertungen von Makel und Kollegen, dass der Großteil der Reproduktionen „erfolgreiche Wiederholungen“ waren, dass die Resultate also den ursprünglichen Studien entsprachen. Allerdings: Wenn keiner der ursprünglichen Autoren an der Wiederholungsstudie beteiligt war, reduzierte sich die Wahrscheinlichkeit einer „erfolgreichen Replikation signifikant“ – andere Wissenschaftler kommen also auch im gleichen Setting zu eher anderen Resultaten.
Betrifft auch andere Disziplinen
Die Psychologie stehe mit ihrer Wiederholungsrate von knapp über einem Prozent keineswegs allein, schreiben die Wissenschaftler. Zwar gebe es keine vergleichbaren umfassenden Studien wie die aktuelle in anderen Wissenschaftsdisziplinen. Einzelstudien in den Bereichen Wirtschaft, Marketing und Kommunikation würden jedoch ebenfalls auf Raten zwischen einem und drei Prozent kommen.
Quelle:
http://science.orf.at/stories/1707700/
Die Studie:
„Replications in Psychology Research: How Often Do They Really Occur?“ von Matthew Makel und Kollegen ist in der November-Ausgabe der „Perspectives on Psychological Science “ publiziert worden.
http://pps.sagepub.com/content/7/6/537.full
Kommentar & Ergänzung:
Interessant wäre es zu erfahren, wie hoch die Wiederholungsraten bei Studien in den Bereichen Medizin und Pharmakologie sind.
Auch hier gilt nämlich, dass eine einzelne Studie zu einem bestimmten Verfahren oder Medikament noch kein eindeutiger Beleg ist und erst die Wiederholung ausreichend Glaubwürdigkeit schafft. Es ist nützlich, sich dieses Qualitätsmerkmal der wissenschaftlichen Arbeit immer wieder klar zu machen. Das schützt davor, jede Sensationsmeldung über neueste Forschungsergebnisse ungefiltert für bare Münze zu nehmen. Die Meldungen sind auch im Gesundheitsbereich voll mit Berichten über Erststudien, die nie wiederholt oder später durch Wiederholung widerlegt werden, wobei das zweite negative Resultat es dann kaum mehr in die Medien schafft.
Dass Fachzeitschriften und Publikumsmedien so stark das Sensationelle und Neue vorziehen, tut der Wissenschaft nicht gut.
Zudem sind die meisten Empfängerinnen und Empfänger von Meldungen viel stärker interessiert an Bestätigungen als an Widerlegungen.
Ein Vortrag, ein Buch, ein Kurs zum Thema „XY wirkt nicht wie versprochen“ stösst auf sehr mässiges Interesse.
Ein Vortrag, ein Buch, ein Kurs zum Thema „XY wird gegen…“ zieht dagegen.
Ein Vortrag, ein Buch, ein Kurs zum Thema „XY wirkt wunderbar gegen….“ wird zum Renner.
Daraus entsteht eine Einseitigkeit in der Aufnahme und Bewertung von Informationen, die ich für ausgesprochen ungesund halte.
Martin Koradi, Dozent für Phytotherapie / Pflanzenheilkunde
Winterthur / Kanton Zürich / Schweiz
Phytotherapie-Ausbildung für Krankenpflege und andere Gesundheitsberufe
Heilpflanzen-Seminar für an Naturheilkunde Interessierte ohne medizinische Vorkenntnisse
Kräuterexkursionen in den Bergen / Heilkräuterkurse
Weiterbildung für Spitex, Pflegeheim, Psychiatrische Klinik, Palliative Care, Spital:
Interessengemeinschaft Phytotherapie und Pflege: www.ig-pp.ch
Schmerzen? Chronische Erkrankungen? www.patientenseminare.ch