270 forskare gjorde om 100 studier – resultatet kommer att tråka ut dig fullständigt

Replicate All The Studies

Ett av de mest intressanta projekten inom den psykologiska forskningen är nu avslutat. 270 forskare har gjort om hundra gamla studier för att se om effekterna verkligen håller.

Resultatet? 39 av 100 studier replikerades framgångsrikt, enligt forskarnas egna bedömningar.

Att replikeringar misslyckas är dock inget argument för att forskning inte fungerar.

I så fall skulle vi ju omöjligt kunna upptäcka att effekterna inte finns, utan det beror snarare på publiceringsbias, statistiska oregelbundenheter där 1 av 20 resultat beror på slumpen, att vi räknar i sannolikheter snarare än eviga sanningar med mera.

I bilden nedan ser man samtliga studier och vilka effekter de fått. Helst ska alla bubblor hamna på eller över linjen som går snett uppåt. Bubblorna bör även vara så stora som möjligt.

Replikeringar

Själva artikeln går att läsa i tidskriften Science: Open Science Collaboration. Estimating the reproducibility of psychological science. Men det mest intressanta är ändå att all data och liknande kan laddas ned från webbplatsen Open Science Framework.

Fler borde ta efter modellen med att göra sin forskning helt öppen för allmänheten på detta vis. Om det betalas med skattepengar så bör ju forskningen rimligen också vara öppen för medborgarna.

Så här beskriver forskarna resultatet i sin slutsats:

After this intensive effort to reproduce a sample of published psychological findings, how many of the effects have we established are true? Zero. And how many of the effects have we established are false? Zero. Is this a limitation of the project design? No. It is the reality of doing science, even if it is not appreciated in daily practice.

Det är helt enkelt svårt att hålla på med forskning, vilket förklaras utmärkt i artikeln Science Isn’t Broken: It’s just a hell of a lot harder than we give it credit for. Där ges exempel på hur man kan dra olika slutsatser av samma data.

Samma data, olika slutsatser

Några av studierna med misslyckade replikeringsförsök har vi redan skrivit om i boken Påverkan och manipulation, till exempel om studien som testade stereotyp priming, där människor går långsamt efter att de har sett eller hört något som har med äldre att göra. Priming i sig är dock väl etablerat och det är endast specifika typer av priming som ifrågasatts.

Men det finns säkert anledning att revidera fler av de resultat vi hänvisar till.

Det vore helt klart önskvärt att fler discipliner inom samhällsvetenskapen försöker ta reda på om deras studier håller för granskning.

Läs mer

Det finns redan så mycket intressant skrivit, både på enkel prosa och obegriplig teknisk jargong. Du hittar några här: