Evalueringsportefølje
Vi bruker porteføljebegrepet for å poengtere at evalueringene bør sees i sammenheng, og at det må gjøres prioriteringer ved utarbeidelse av planene. Evaluering kan være et kostbart tiltak, og det er viktig å vise hvordan slike prioriteringer er gjort.
En plan kan typisk være for de neste ett til to år og vil vise:
- status på evalueringsporteføljen fra forrige periode
- hvilke evalueringer som allerede er igangsatt og som skal videreføres
- hvilke nye evalueringer som skal igangsettes i perioden
- om det er planlagt rom for ad hoc-evalueringer i perioden
- hvilke evalueringer som planlegges sluttført i perioden.
Å lage en plan for sammensetningen av evalueringsporteføljen kan for eksempel gjøres ved at de enkelte avdelingene utarbeider forslag til hvilke evalueringer de ønsker å gjennomføre. Virksomheten må så gjøre en samlet prioritering blant disse ut fra hva som allerede pågår av evalueringsaktivitet, hva som er behovet og hvilken kapasitet virksomheten har til å gjennomføre dem. I planen beskrives hver konkrete evaluering med sammenhengen den inngår i (konteksten), begrunnelse, formål, tidsperspektiv og hvilke prosesser i virksomheten den eventuelt skal koples mot. Det er viktig at dette er en overordnet plan for gjennomføringen. I mange virksomheter vil det være behov for fleksibilitet til også å iverksette evalueringer på kort varsel, for eksempel ved uforutsette hendelser eller initiativ utenfra (politisk, media). For noen virksomheter kan det være lurt å planlegge med at det kan dukke opp behov for igangsetting av en evaluering ad hoc.
For virksomheter som bestiller mange eksterne evalueringer, kan det være en god ide å gjøre evalueringsplanen tilgjengelig for eksempel på internett. Det kan gjøre det lettere for ulike utredningsmiljøer å forberede hvilke evalueringer de ønsker å legge inn tilbud på. Økt forutsigbarhet for potensielle utførere kan bidra til å utvikle et mer velfungerende tilbydermarked.
Valg av tilnærming for den enkelte evaluering
I prosessen med å utarbeide tilnærming og oppdragsbeskrivelse for den enkelte evaluering er det en rekke avveininger som må gjøres. Her følger eksempler på spørsmål det vil være viktig å diskutere i forbindelse med denne prosessen:
- Hvilke tidsrammer og økonomiske rammer har vi for evalueringen?
- Er fokuset primært kontroll eller læring?
- Bør evalueringen utføres av interne eller eksterne ressurser?
- Er det behov for bredde- eller dybdekunnskap?
- Er temaet mulig å evaluere?
- Finnes det tilsvarende evalueringer på fagfeltet eller fra tilgrensende fagfelt i Norge eller fra utlandet?
- Hva finnes av datagrunnlag og eksisterende kunnskap? Hvilken type metodekompetanse det vil være behov for?
- Hvilke evalueringsspørsmål er det realistisk å finne svar på?
- Hvilken ekspertise finnes på området? Vil det være lett å identifisere gode potensielle evaluatorer, gitt den tilnærmingen en ønsker? Krever gjennomføringen av evalueringen for eksempel forskerkompetanse?
- Hvor stor er interessen blant berørte aktører, og hvor viktig vil det være å involvere dem tidlig i prosessen? I noen tilfeller vil slik involvering være avgjørende for muligheten for å få gjennomslag for anbefalingene i etterkant.
- Er det konkrete beslutninger som skal fattes som avhenger av evalueringen?
- Er det ønskelig og forventet at evalueringen inneholder anbefalinger, eller bør evalueringen bare inneholde konklusjoner og overlate til virksomheten selv å gi anbefalinger?
Innholdselementene i en oppdragsbeskrivelse
Dette er elementer som ofte inkluderes i en oppdragsbeskrivelse:
- Bakgrunn/kontekst/avgrensning
- Formål og mål
- Innretning, evalueringskriterier og evalueringsspørsmål
- Ansvar og roller
- Hvem har bestilt evalueringen?
- Hvem skal bruke resultatene?
- Hva skal de bruke resultatene til?
- Metode (eventuelt)
- Datagrunnlag (eventuelt)
- Tidsramme
- Ressursramme
- Organisering
- Prosess (tidsfrister, deltakelse, rapport, formidling)
- Krav til rapport, presentasjon/anbefalinger
For mer informasjon om arbeidet med enkeltevalueringer og oppdragsbeskrivelse, se DFØs sjekkliste for planlegging, gjennomføring og oppfølgning av evalueringer (2007). Når det gjelder utlysning og anskaffelsesprosessen, viser vi til informasjon på doffin.no og anskaffelser.no.
Kvalitetssikring underveis og godkjenning av rapporten
Mange virksomheter har vært opptatt av uavhengighet og avstand mellom evaluator og oppdragsgiver. Begrunnelsen for ønsket om avstand har blant annet vært å sikre objektivitet i konklusjonene. Formålet for evalueringen har da ofte vært kontroll. I dag er mange evalueringsprosesser mer preget av tett involvering og kommunikasjon, fordi læring i større grad vektlegges i prosessen.
Uavhengig av om virksomheten velger å utføre evaluering med interne eller eksterne ressurser, bør det være en klar ansvars- og rollefordeling i hele evalueringsprosessen. Begrepet evaluator brukes her både for interne og eksterne utførere av evalueringen. Kvalitetssikring av rapporten og kommunikasjon med evaluator gjelder således for begge variantene.
Spesielt ved evalueringer som utføres av eksterne er det viktig at kompetansen og læringen underveis i prosessen blir værende i virksomheten også etter at evalueringsrapporten foreligger. Det er verdifullt at oppdragsgivere eller brukeren av rapporten kan øke egen kompetanse ved å være involvert i prosessen. Dette kan gjøre oppfølgingen av evalueringsresultatene bedre. Møter og kommunikasjon underveis kan i tillegg gi begge parter fleksibilitet til å justere kursen. Det kan for eksempel være at evaluator ønsker å informere og drøfte løsninger dersom det oppdages problemer i datagrunnlaget eller at sammenhengen evalueringen inngår i endres vesentlig. Hvor mye involvering og kommunikasjon man skal ha underveis, avhenger i stor grad av om formålet med evalueringen er kontroll eller læring.
