Kort svar
En robusthetskontroll testar om en slutsats håller när man ändrar förutsättningarna. Man byter urval, byter mått eller delar upp datan i grupper och ser om resultatet står kvar. Om slutsatsen vänder vid ett rimligt byte är den inte robust, och då bör den formuleras försiktigare.
Tre vanliga sätt att testa robusthet
| Kontroll | Fråga den ställer |
|---|---|
| Byt urval | håller resultatet om vi tar bort mycket små skolor? |
| Byt mått | håller det med median i stället för medelvärde? |
| Dela i grupper | gäller mönstret i alla grupper eller bara en? |
Robust betyder alltså stabil vid rimliga förändringar, inte stor eller viktig.
Vad stratifiering är
Ett vanligt sätt att kontrollera robusthet är stratifiering, alltså att dela upp datan i grupper (strata) och titta på varje grupp för sig. Enligt Matteboken innebär ett stratifierat urval att populationen delas in i grupper så att viktiga skillnader mellan grupperna inte döljs i ett samlat genomsnitt.
I skolanalys kan grupperna vara skolstorlek, programbredd eller huvudmannatyp. Poängen är att ett mönster som ser tydligt ut i hela materialet ibland försvinner när man delar upp det, eller tvärtom bara finns i en enda grupp.
Ett samlat genomsnitt kan dölja att:
- ett mönster bara gäller stora skolor,
- en skillnad försvinner när små skolor hanteras separat,
- två grupper rör sig åt olika håll men jämnar ut varandra.
Varför robusthet spelar roll
Enligt SCB bygger tillförlitlig statistik på att man förstår hur urval och metodval påverkar resultatet. Ett enda tal kan se övertygande ut, men om det bygger på ett känsligt urval kan slutsatsen vara skör.
En robusthetskontroll gör osäkerheten synlig. Om en skillnad mellan skolor krymper till nästan noll så fort man tar hänsyn till skolstorlek, då var skillnaden troligen kopplad till storlek snarare än till huvudman.
När du ser en robusthetskontroll i en analys kan du läsa den som ett kvitto på hur mycket du kan lita på slutsatsen. Den hjälper dig att skilja en stabil slutsats från en som bara råkade se tydlig ut i ett visst urval, så att du inte bygger ditt eget resonemang på en skör siffra.
Robust betyder inte bevisad orsak
| Missförstånd | Bättre läsning |
|---|---|
| Robust = orsakssamband | robust = stabilt vid rimliga byten av metod |
| Robust = stor effekt | robust säger inget om storlek, bara om stabilitet |
| Ett test räcker | flera oberoende kontroller ger tryggare slutsats |
Så använder vi robusthetskontroller i Faktakollen
I Faktakollen låter vi flera analyser stå och falla med robusthetskontroller. I Syns en stabil skillnad i betygspoäng mellan huvudmannatyper? hanterar vi skolstorlek och programbredd separat, och den råa skillnaden mellan huvudmän krymper när vi gör det. Slutsatsen blir att skillnaden inte är robust.
I Säger antagningspoäng något om skolans resultat? upprepar vi analysen per huvudmannatyp och skolstorlek för att se om sambandet håller i olika grupper. I Examen inom tre år — vad hänger det ihop med? testar vi flera faktorer och delar upp materialet, och ser att inget enskilt mått förklarar mer än en liten del.
När en slutsats bara håller i ett enda urval markerar vi det med en tydlig varning i stället för att skriva ett skarpt svar.
Vanliga missförstånd
Det vanligaste missförståndet är att en robust slutsats är bevisad. Robusthet gör en slutsats tryggare, men den ersätter inte en orsaksanalys.
Ett annat missförstånd är att robust betyder stor. En liten skillnad kan vara robust, och en stor skillnad kan vara skör. De två sakerna beskriver olika saker.
Ett tredje missförstånd är att ett enda test räcker. Flera oberoende kontroller, gärna med olika mått och urval, ger en tryggare bild än ett enskilt värde.
Ett fjärde missförstånd är att en kontroll som får en skillnad att försvinna innebär att analysen var felaktig. Oftast betyder det i stället att skillnaden hörde ihop med något annat, till exempel skolstorlek, och att den ursprungliga tolkningen var för snabb. Att fånga det är precis vad kontrollen är till för.
Vanliga frågor
Är en robust slutsats samma sak som ett orsakssamband?
Nej. Robusthet betyder att resultatet står kvar när urval eller mått ändras. Det säger inte varför sambandet finns.
Vad är skillnaden mellan robusthet och stratifiering?
Stratifiering är ett av flera sätt att kontrollera robusthet. Du delar upp datan i grupper och ser om mönstret gäller i varje grupp eller bara i en del av materialet.
Betyder icke-robust att analysen är fel?
Nej. Det betyder att slutsatsen är känslig för hur man räknar, och att du bör läsa den försiktigt. Det är en ärlig signal, inte ett misslyckande.
Nästa steg
Läs regression i skolanalys för hur modeller hanterar flera faktorer, och varför kan modeller ge olika svar om samma skola? för hur metodval påverkar resultat. Se även hur vi tar fram Faktakollens svar.