Kort tids hukommelse

Elisabeth Aspaker var statssekretær for Kristin Clemet i perioden 2001-2005. Hun var en helt sentral skikkelse i utformingen og fremleggingen av Kunnskapsløftet, gjennom arbeidet med Kvalitetsutvalget. Kvalitetsutvalget, på sin side, var helt klinkende klar i hva grunnlaget for vurdering i fremtidens skole skulle være: kompetanse.

Dette var heller ingen ny, norsk særidé. Hele den vestlige verden, ledet an av OECD, gikk omtrent samtidig i retning av dette systemet. Kompetansebegrepet favner om mer enn kunnskap, men mindre enn «helheten»: kompetanse er kunnskaper og ferdigheter, anvendt i en kontekst og et samfunn. For å være en kompetent frisør må du både kunne klippe (teoretisk og praktisk), men også være i stand til å faktisk gjennomføre en hårklipp på en kunde, hele veien fra kunden ankommer salongen til kunden forlater — fornøyd. Ideen bak kompetansebaserte læreplaner var altså at vi skulle vurdere elevenes faktiske «brukbarhet» der ute i verden, og ikke bare deres tekniske ferdigheter.

Viktigst for denne fortellingen: Clemet og Aspaker, og resten av Stortinget, stilte seg helhjertet bak denne ideen.

Nest viktigst for denne fortellingen: Systemet vi gikk bort fra da disse læreplanene ble innført, var ikke et system der innsats skulle telle med. Innsats har aldri telt med i karakterfastsettingen i skolen (med ett unntak: gym). Det skulle da også tatt seg ut. «Roger kan alle læreplanmålene i engelsk, men fordi han ikke rekker opp hånda like ofte som Petter, får han fire. Mens Petter får fem, selv om han svarer feil.»

Men nå skal plutselig Elisabeth Aspaker, av alle, ta en omkamp på dette fordi «Utdanningsdirektoratet» har bestemt at vi skal bruke kompetanse som målestokk i den norske skolen. Er det virkelig mulig å jobbe et sted i fire år, og likevel glemme den øverste overskriften på det første lysbildet om den viktigste saken på hele arbeidsplassen? I lysbildeshowet du selv har vist utallige ganger?

Jeg tror ikke det. Hvis noen lurer på hvorfor lærere etterhvert har utviklet reformangst og utpreget hat mot politikere som blander seg inn i skolen, er det ikke nødvendig å se lengre enn til Aspaker. Hun vil spille et politisk spill og «ta» regjeringen i en sak der vi akkurat har begynt å få ro, orden og forståelse rundt et regelverk som har vært et mareritt for lærerne i alle år.

Reklame

Desimaler og presisjonsnivå

Utdanningsdirektoratet publiserte resultater fra nasjonale prøver for lesing i går. Det var interessante tall. Oslo går frem, og har flatet ut eller kanskje til og med redusert trenden i retning av mer fritak. Men da jeg så nærmere på tallene, oppdaget jeg at Utdanningsdirektoratets presentasjon er alt annet enn perfekt.

Nasjonale prøver-skåren i Skoleporten angis som et tall med én desimal, f.eks. 2,2. «Karakterskalaen» i Nasjonale prøver går fra 1 til 3 i femte klasse (1 til 5 i åttende), og det oppgis også hvor mange elever som fikk hver av disse karakterene. Elevene får selvsagt diskrete tall som karakterer, ikke «2.1» men 2.

Tallet som oppgis som samleskår er et vektet gjennomsnitt. Hvis ti elever i en klasse fikk 1, seks elever fikk 2 og 6 elever 3, ville det vektede snittet være lik .

Veldig mange elever tar prøven, og den er normert til å ha gjennomsnittlig prestasjon lik 2.0. For store kommuner som Oslo blir det veldig små variasjoner fra år til år. Likevel oppgir altså Utdanningsdirektoratet en avrundet karakter. I stolpediagrammene er også karakterene avrundet, noe som gir enda mindre mening. I en prøve der det maksimale utslaget vi kan forvente er ± 0.2, er det absurd å bare få informasjon om endringer i hele tideler!

Omregnet til skikkelige desimaltall, basert på prosentsatsene som har oppnådd hver karakter, viser det seg at Oslo slett ikke har gått frem 0.2 i lesing, 5. klasse, men 0.105 — omtrent akkurat halvparten! De gikk fra 2.048, som ble rundet av til 2.0, til 2.153, som blir rundet av til 2.2.

Forskjellen i et stolpediagram på disse to måtene å se dataene på er ganske stor, og skoleportens tall og diagrammer blir nærmest villedende.

Uforklarte økninger i fritak

Oslo-skolene fritar flere og flere elever fra nasjonale prøver, og dette har resultert i en tall-krangel mellom Utdanningsetaten og Aftenposten. Mens Aftenposten slår tabloid opp at noen skoler fritar en firedel av elevene, hevder Utdanningsetaten at alt er i sin skjønneste orden.

Begge tar feil.

Bevisgjenstand 1: vi skal se på råskårene — hvor mange elever har blitt fritatt i 2007-2009? Tallene viser at Oslo fritar fler, og ikke minst viser de at Oslo har en skarpt økende tendens.

Men Oslo er bedre på å registrere alle elever i prøvesystemet, og har blitt veldig mye flinkere på dette fra 2008 til 2009. Det gjør at tallene ikke er helt sammenlignbare. I andre kommuner er det som oftest mottaksklasser og andre som ikke tar nasjonale prøver som ikke registreres. For å kunne sammenligne, har jeg derfor slått sammen tallene for fritak og ikke registrert for nasjonale prøver i femte klasse. Mønsteret som viser seg, er at fritaksregelen var vesentlig mer i bruk i Oslo i 2009 enn 2008:

Videre er trenden kraftig økende i Oslo, mens den er synkende for landet som helhet i matematikk og norsk, men synkende stigende i engelsk.

Hvorfor kan dette skje? Det kan være en endring i elevsammensetning (men det har ikke skjedd), en endring i regelverk eller en endring i praksis.

Kommunerevisjonens rapport og Utdanningsetatens forklaringer gir ingen gode svar på hvorfor dette har skjedd. Det virker, med tanke på at landet som helhet ikke fritar fler enn før, usannsynlig at årsaken finnes i endrede regler eller signaler fra sentrale myndigheter. Det har, såvidt meg bekjent, heller ikke blitt utviklet noen nye regler.

Jeg antar derfor at det finnes en årsak i Oslo-skolesystemet. Det er i hvert fall klart at denne endringen i praksis utgjør et klart brudd i tidsserien for resultatene fra nasjonale prøver i Oslo. Det er synd, fordi det gjør tallene bortimot uinteressante til bruk i skoleutvikling.

Tallene er hentet fra Kommunerevisjonens rapport 15/2010, Bruk av fritaksbestemmelsene ved nasjonale prøver – konsekvenser for styringsinformasjon om skolene i Oslo.

Frafall, et internasjonalt problem

Det er unison enighet om at frafall fra videregående skole er et stort problem i Norge. I så fall er det kanskje en trøst at vi langt fra er alene. OECDs Education at a glance sammenligner fullføring av videregående skole mellom medlemslandene.

Lønn etter innsats?

I Nord-Carolina, USA, publiserer myndighetene en statistisk oversikt over hvor stor andel av skolene innenfor hver størrelsesgruppe som hadde vært blant de beste skolene i staten de siste fire årene, selvsagt målt ved hjelp av denne magiske og treffsikre proxyvariabelen for kvalitet: skår på nasjonale prøver. De belønner de tjuefem beste med banketter. De straffer de verste ved å sette dem under administrasjon.

Det viste seg at de små skolene gjorde en ypperlig jobb med å komme inn på topplista. Blant den minste tidelen av skoler, hadde 27 % vært innom topplista. I den største tidelen av skoler var det bare 1,2 %.  Det må vel skyldes at små skoler er mye bedre enn store, eller hva?

Nei. Ikke i det hele tatt. Det er en statistisk artefakt, et biprodukt av mangelfull opplæring i statistisk metode. På de minste skolene er utvalgene også minst. Vi ser her på skoler med 20, 50 eller 100 elever. Når man måler «kvalitet» ved å se på nasjonale prøver, vil dermed et par svært flinke studenter være nok til å dra opp snittet.

Dette er grunnleggende statistikk: det estimerte standardavviket for et utvalg på n personer finnes ved å dele den målte variansen på kvadratroten av n. Når n er liten, vil dermed et utvalgs-standardavvik bli ganske så stort. Det er dette som er årsaken til at en spørreundersøkelse med 10 respondenter har mye større feilmarginer enn en med 1000.

En annen måte å se det samme på: hvis man sammenligner skårene for to år på rad, finner vi at 90 % av endringen ett år er borte neste år. Det skyldes ikke at skolene skifter ut hele staben og kulturen for hvert år, det skyldes at de konkrete testskårene i hver klasse påvirkes langt mer av elevene enn av skolen. Disse tilfeldige fluktuasjonene i karakterer er derfor et dårlig grunnlag for å belønne og berømme skolen.

Den amerikanske No Child Left Behind Act (2001) pålegger statene å belønne skoler som gjør det bra på slike tester, og å straffe og intervenere for de som gjør det dårlig. Slike tiltak vil, på grunn av disse statistiske artefaktene, først og fremst påvirke små skoler. De vil gjennomgående oftere havne i de to kategoriene, fordi 90 % av variasjonen i testskårer er ren statistisk støy.

I Norge må vi også være obs på dette. Store skoler vil sjelden havne på listene over veldig gode eller veldig dårlige skoler, enten vi ser på gjennomsnittlige testskårer eller på forbedring av testskårer fra år til år. Det betyr ikke at de gjør noen dårligere jobb. Hvis man absolutt må analysere data på dette nivået, bør man dra ut gjennomsnitt av endringer over flere år.

Mer om temaet i en artikkel jeg skulle ønske var pensum på både journalist- og skolebyråkratutdanningen, Thomas J. Kane og Douglas O. Steiger (2002): «The Promise and Pitfalls of Using Imprecise School Accountability Measures», Journal of Economic Perspectives 16(4), s. 91–114 (doi:10.1257/089533002320950993).

Interessant trend i PC-dekning

Det foregår en svært rask dataifisering av grunnskolen. I løpet av de siste fem skoleårene har vi gått fra 6,3 til 3,3 elever per datamaskin med internettilgang.

Oslo var svært tidlig ute med å bygge opp datamaskintilgangen, men er nå i ferd med å bli tatt igjen av resten av fylkene. Som eneste fylke synker nå datamaskintilgangen i Oslo, dog med temmelig marginale 0,1 prosentpoeng.

Kan noe av Oslos dominans på nasjonale sammenligninger forklares av en tidlig satsing på godt utstyr i grunnskolen? I så fall kan noe av dette gapet være i ferd med å tettes.

Kilden er Statistisk sentralbyrå, grafikken er ved Elev- og lærlingombudet i Oslo.

Gull av gråstein

Gudmund Hernes (Fafo) har skrevet rapporten Gull av gråstein, om frafall i videregående opplæring. Her er mine notater fra lesingen.

Lekser: ingen løsning

Lekser har en intuitiv appell. Ved å utvide skoledagen til å også gjelde kveldstid, kan elevene gjøre alenearbeid mens læreren har fri, og dermed utnytte lærertiden best mulig. I den tradisjonelle, akademiske forståelsen av læring og skole skal elevene lese hjemme og få forelesning over det samme stoffet dagen etter.

For leksenes del kommer kritikken fra tre hold. For det første slår enkelte forskningsrapporter sprekker i antakelsen om at lekser gir mer læring (punktum). For det andre øker lekser foreldrenes betydning for resultater. For det tredje kan verdien av lekser diskuteres opp mot andre fritidsaktiviteter.

Utdanning 2009: Om internasjonale undersøkelser

For en skolenerd er det julaften når SSB lanserer et helt kompendium om utdanningsstatistikk. Her finnes artikler om internasjonale undersøkelsesdata (Turmo), familiestruktur og utdanningsresultater (Lauglo), kompensasjon for sosial bakgrunn (Bakken), ressursbruk og resultater (Borge og Rønning), lærerrekruttering og konjunkturer (Falch/Strøm) og mer til.

Jeg har ikke lest alt, men jeg har tenkt å kommentere noen av artiklene. Det mest påfallende så langt er formen. Disse artiklene er ikke forskningsartikler, men artikler som tar mål av seg å presentere data og delvis analysere dem. Det er en pussig sjanger, fordi forskerne tvinges til å innlede om temaet. Så langt ser jeg mye å henge meg opp i i disse innledningene.

ITU Monitor: problematisk kompetansedefinisjon?

Først av alt: ITU Monitor er en veldig viktig og bra survey-undersøkelse. Den viser i hvor stor grad IKT-bruk adopteres av skolen, og muligheten til å koble data om digitale ferdigheter opp mot hjemmebakgrunn og andre elevvariable er uvurderlig informasjon og nybrottsarbeid. Grunnen til at jeg begynner med denne hyllesten, er at resten av denne artikkelen kommer til å inneholde kritikk.

I årets utgave av ITU Monitor har ITU gjennomført en ferdighetsprøve i såkalt digital kompetanse. Ideen er enkel: de vil se hvorvidt det er sammenhenger mellom skolenes bruk av IKT og elevenes digitale kompetanse; altså hvilke variable som korrelerer med god IKT-læring.

Problemet er definisjonen av digital kompetanse. Eller, egentlig, operasjonaliseringen av begrepet.