JavaScript is disabled in your web browser or browser is too old to support JavaScript. Today almost all web pages contain JavaScript, a scripting programming language that runs on visitor's web browser. It makes web pages functional for specific purposes and if disabled for some reason, the content or the functionality of the web page can be limited or unavailable.

Fagfellevurdert artikkel

Læring underveis og vansker med å leve opp til dette idealet

Eldbjørg Ribe

08.06.2016
21.08.2023 17:14

Sammendrag

Forskning viser at tilbakemeldinger er en av de mest kraftfulle og samtidig minst forståtte funksjoner ved læring. I denne artikkelen har jeg intervjuet studenter og lærere ved bachelorutdanningen i sosialt arbeid ved VID vitenskapelige høgskole for å finne ut hva de tenker bør ligge i gode tilbakemeldinger på skriftlig arbeid. Jeg har diskutert innholdet i tilbakemeldinger i form av mappevurdering, som et overordnet pedagogisk prinsipp ved utdanningen. Informantene peker på at målene for tilbakemeldingen er uklare, og at kombinasjonen summativ og formativ vurdering (avsluttende og underveisvurdering) er utfordrende. Det viser seg også å være vanskelig for lærerne å tilpasse tilbakemeldingen til den enkelte student. Artikkelen argumenterer for at en god relasjon mellom lærer og student ville gitt bedre læring. Det siste reises blant annet som et ressursspørsmål både av lærere og studenter.

Nøkkelord: tilbakemelding, læring, skriftlig arbeid, prosess, formativ

Summary

Continuous learning and difficulties in complying with this ideal

Feedback is one of the most powerful and least understood features of learning. The basis of this article is interviews with students and teachers at a college university in Norway. I asked informants to describe what constitutes constructive feedback on written assignments, and discuss findings in light of the general educational principle of portfolio assessment. Informants evaluated the goals of feedback as unclear, and experienced the combination of summative and formative assessments as challenging. In addition, teachers found it difficult to adjust the feedback to every single student. I identify a good relationship between teacher and student as a factor to improve feedback and promote better learning. Both teachers and students raise this partly as a question of resources.

Keywords: feedback, learning, written work, process, formative

Referanser

Black, Paul & William, Dylan (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5 (1), 7-74.

Dysthe, Olga & Engelsen, Knut Steinar (2005). Mapper som pedagogisk redskap. Perspektiver og erfaringer. (2. utg.) Oslo: Abstrakt forlag.

Ellmin, Roger (2000). Mappemetodikk. Oslo: Kommuneforlaget.

Gibbs, Graham (2006). How assessment frames student learning. I Bryan, C. & Clegg, K. (red.), Innovative assessment in higher education. London: Routledge.

Hattie, John & Timperley, Helen (2007). The power of feedback. Review of Educational Research, 77 (1), 81-112.

Hattie, John & Yates, Gregory (2014). Synlig læring. Hvordan vi lærer. Oslo: Cappelen Damm.

Herrebrøden, Henrik (2014). Tester og tilbakemeldinger som direkte bidragsytere til dypere læring blant studenter. Uniped. 37 (4), 3-18.

Kvale, Steinar (2009). Det kvalitative forskningsintervju. (2.utg.) Oslo: Gyldendal akademisk.

Sadler, Royce D. (2009). Beyond feedback: Developing student capability in complex appraisal. Assessment & Evaluation in Higher Education, 35 (5), 535-550.

Säljö, Roger (2010). Læring i praksis. Et sosiokulturelt perspektiv. (9.utg.) Oslo: Cappelen Akademisk forlag.

Shute, Valerie J. (2008). Focus on Formative Feedback. Review of Educational Research, 78 (1), 153-189.

Sylte, Ann-Lisa (2013). Profesjonspedagogikk: profesjonsretting/yrkesretting av pedagogikk og didaktikk. (1.utg.). Oslo: Gyldendal Akademisk.

Thagaard, Tove (2013). Systematikk og innlevelse. En innføring i kvalitativ metode. (4.utg.) Bergen: Fagbokforlaget.

Taasen, Inger, Havnes, Anton & Lauvås, Per (2004). Mappevurdering. Av og for læring. (1.utg.). Oslo: Gyldendal Akademisk forlag.

Vygotskij, Lev S. (2001). Tenkning og tale. Oslo: Gyldendal Akademisk forlag.

Ellen Syrstad

Høgskolelektor, VID vitenskapelige høgskole

ellen.syrstad@vid.no

Artikkel i PDF-format

Les artikkelen i PDF-format

Nyere forskning viser at dagens studenter skriver mer og får flere skriftlige tilbakemeldinger på sine arbeider enn tidligere (Sylte, 2013). Dette er i tråd med politiske føringer og forskning som viser at formativ vurdering (underveisvurdering) på skriftlig arbeid er et av de mest kraftfulle virkemidlene for å oppnå læring (Black & William, 1998; Hattie & Timperley, 2007). Ifølge denne forskningen er det stor forskjell på tilbakemelding på innholdet i tilbakemeldingene og på måten tilbakemelding gis på. Dermed varierer effekten og læringen av slik tilbakemelding (Black & William, 1998; Gibbs, 2006; Hattie & Timperley, 2007). Forvirring mellom summativ og formativ vurdering kan gi grobunn for uklare forventninger til hva tilbakemeldinger på arbeidskrav (obligatoriske oppgaver og andre krav) skal og bør være. Et hovedpoeng blir dermed at dersom man klarte å tydeliggjøre dette skillet, og skape en bevissthet rundt hva og hvorfor man gir og får tilbakemelding, vil det kunne øke læringsutbyttet.

Den problemstillingen jeg vil drøfte i artikkelen er: Hva ligger i gode, læringsfremmende tilbakemeldinger? Har det sammenheng med hva det gis tilbakemeldinger på og hvordan den gis? Mitt engasjement for dette springer ut av egne erfaringer som høgskolelektor ved VID vitenskapelige høgskole. Jeg har avgrenset problemstillingen til å gjelde kun skriftlig tilbakemelding i form av mappevurdering, som er den overordnede pedagogiske føringen ved dette studiet.

Mappevurdering er en vurderingsform som betrakter studentenes arbeidskrav som en prosess, der målet er at kommentarene studenten får på ett arbeidskrav skal kunne videreutvikle deres læring til neste arbeidskrav (Dyste & Engelsen, 2005). Mappen blir dermed en samling studentarbeid gjort over tid, og tanken er at studentens egenaktivitet, refleksjon og selvvurdering blir fremtredende i denne prosessen. Innenfor mappevurdering vil særlig formativ vurdering vektlegges (Taasen, Havnes & Lauvås, 2004). Dette er underveisvurdering av et uferdig produkt, slik at vurderingen rettes mot studentens lærings- og utviklingsprosess frem mot det ferdige produktet.

I artikkelen vil jeg først redegjøre for teori og forskning om hva som fremmer læring. Deretter vil jeg vise de metodiske grepene jeg har foretatt. Empiri og diskusjonen vil bli presentert hver for seg, og deretter drøftet.

Teori og forskning

Vurdering innenfor høyere utdanning har i stor grad vært dominert av den summative formen (Ellmin, 2000). Tidligere forskning definerte tilbakemeldinger kun av testresultater, og utforsket deres effektivitet fra et behavioristisk perspektiv (Sadler, 2009). I et slikt perspektiv er det viktigste å belønne studenter ved å gi gode karakterer på eksamen. Belønningen skal i seg selv bidra til læring (Herrebrøden, 2014). Innenfor dette synet er studenten en passiv mottaker av kunnskap, som betraktes som noe utenfor studenten (Säljö, 2010). Senere forskning har innlemmet formativ vurdering, og dermed samhandlingen mellom lærer og student som et viktig element i studentens læringsprosess. De læringsteoretiske begrunnelsene for mappevurdering bygger på humanisme, konstruktivisme og et sosiokulturelt læringssyn (Dysthe & Engelsen, 2005). Alle de tre læringssynene ser mennesket som aktivt handlende, der læring skjer gjennom deltakelse. Humanistisk teori vektlegger det Atkinson kaller prestasjonsmotivasjon. Den fremhever støtte og ros som viktig for å styrke studentens motivasjon gjennom troen på egen mestring, som igjen vil øke sjansen for å lykkes (Atkinson gjengitt etter Sylte, 2013; Hattie & Yates, 2014). Innenfor det konstruktivistiske synet anses kunnskap som en subjektiv størrelse, der studenten er en aktiv deltaker, ikke bare i å tilegne seg, men også i å skape kunnskap (Säljö, 2010). En slik måte å tenke på åpner opp for flere måter å forstå verden, og gir dermed rom for en bredere fortolkning av virkeligheten. Jean Piaget (1896-1980) mente at ethvert menneske har en spontan tendens til å tolke og organisere verden rundt seg i tråd med den erfaringen de på forhånd har. Det sosiokulturelle læringsperspektivet deler denne tanken, men fremhever i tillegg fellesskapet som viktig for læring. Læring kan forstås som en sosial prosess (Säljö, 2010), og i denne prosessen er språket den viktigste redskapen for å tilegne seg kunnskap. Siden læring henger sammen med studentens forforståelse, mente Lev Vygotskij (1896-1934) at de språklige begrepene studenten eksponeres for, må samsvare med begreper studenten allerede kan, for at læring skal gi mening (Vygotskij, 2001). Den russiske psykologen, som la grunnlaget for det sosiokulturelle læringssynet, kalte de hverdagslige begrepene vi allerede besitter for spontane begreper. De vitenskapelige begrepene tilhører et fagfelt som viser innsikt og nyanseringer utviklet innenfor nettopp dette faget. Generalisert viten er når de spontane og de vitenskapelige begrepene kobles. Dette gapet mellom studentens aktuelle og potensielle utviklingsnivå kaller han den proksimale utviklingssonen (Vygotskij, 2001). For å kunne være i denne sonen er språket vi bruker et viktig verktøy. Säljö (2010) skriver at kommunikativ støtte fra lærer vil kunne hjelpe studentene til å strukturere, uten å ta fra dem muligheten til selv å oppdage. På denne måten vil læring skje i et sosialt fellesskap, samtidig som studenten selv skaper sin kunnskap. Dette samsvarer med målet for mappevurdering som nettopp er å gjøre studentene selvstendige, aktive og engasjerte i egne læringsprosesser (Taasen et al., 2004).

Forskning på tilbakemelding

Hattie og Timperley (2007) presenterer og sammenfatter 196 studier i 12 metaanalyser om virkningen av tilbakemeldinger. De bygger på forskning på tvers av nivå, system og kultur, og legger vekt på grunnleggende prinsipper om tilbakemelding og læring. Studien er kritisert for at den nettopp generaliserer på tvers av fag, tema og innhold og ikke skiller mellom nivåer, alder og klassetrinn. Svakheten ved metastudier er at noen personer har trukket ut essensen av flere studier, og at man således mister mye informasjon. I denne sammenhengen er det også en svakhet at studien baserer seg hovedsaklig på studier fra USA og England, og ingen nordiske studier. Likevel finner jeg studien interessant for denne artikkelen, fordi den identifiserer sentrale spørsmål forskerne mener gir grunnlag for god tilbakemelding. Den blir dermed relevant for å besvare hvorvidt tilbakemeldinger studenter mottar, bidrar til en god læringsprosess, og hva det er som bidrar til dette.

Hattie og Timperley (2007) hevder at tilbakemelding i seg selv ikke er en tilstrekkelig faktor for å få til fremgang hos studenter. For å dekke gapet mellom studentens faktiske forståelse og ønskede mål var det viktig at vurderingen traff tidligere kunnskap hos studenten (Hattie & Timperley, 2007; Sadler, 2009). For å oppnå et optimalt samspill mellom vurdering og motivasjon var tre spørsmål sentrale: Hvor vil jeg? (feed up), Hvordan komme dit? (feed back), Hva er neste skritt? (feed forward). (Hattie & Timperley, 2007, s. 88). Feed up reiser spørsmålet om hvorvidt tilbakemeldinger står i forhold til et klart definert mål, definert i vurderingskriteriene. Studien viste at lærere ofte ikke fulgte slike kriterier når de ga tilbakemelding, men at de heller vurderte andre ting. Dette samsvarer med funnene til Black og William (1998) som hevdet en slik «normativ» tilbakemelding ikke ville redusere gapet mellom faktisk og ønsket læring. Når målet er «passe» utfordrende, slik at studenten er motivert og både lærere og studenter føler en forpliktelse og mening med målet, da er kriteriene til stede for gode tilbakemeldinger (Shute, 2008). Når målene er uklare i begge grupper, får man det de omtaler som kommunikasjonssammenbrudd (Hattie & Yates, 2014). De tre spørsmålene til Hattie og Timperley viser til at det å gi god tilbakemelding er en dynamisk prosess, der man både peker på hva som er gjort, hva som kan gjøres bedre og hvordan. For å få til denne prosessen må de tre spørsmålene ses i sammenheng. Dette bygger igjen opp under mappevurdering som pedagogisk prinsipp og vektlegger at formativ vurdering er betydningsfullt for god tilbakemelding.

Ut ifra disse sentrale spørsmålene knyttet til god tilbakemelding har Hattie og Timperley systematisert fire områder å gi tilbakemelding på, for nettopp å synliggjøre innholdet i tilbakemeldinger (Hattie & Timperley, 2007). Inndelingen ble kategorisert i oppgave, prosess, selvregulering og person. Den første kategorien er knyttet til den spesifikke oppgaven. Eksempler på en slik type vurdering er hvorvidt noe er riktig eller galt og hva man kan gjøre mer eller mindre av. Siden kommentarene retter seg mot en bestemt oppgave, vil den være vanskeligere å generalisere til kommende oppgaver, og dermed vil målet om progresjon kunne komme i skyggen. Den neste tilbakemeldingstypen var rettet mot prosess. Studien viste at denne vurderingen var den som ga mest læring. Tilbakemeldingen retter seg her mot selve læreprosessen som er brukt for å utføre oppgaven. Det kan for eksempel handle om måten man skaffer seg og bruker informasjon på, eller prosessen som kreves for å forstå eller fullføre oppgaven. Denne prosessen bygger gjerne på tidligere erfaring, slik at det blir en kobling mellom spontane og vitenskapelige begreper. Et eksempel på slik prosessvurdering er: «Dette blir mer forståelig dersom du bruker strategiene du brukte i det første avsnittet» (Hattie & Timperley, 2007, s. 90). Studien viste at denne vurderingsformen var mindre vanlig. Den tredje måten Hattie og Timperley kategoriserte tilbakemelding på, handlet om selvregulering. Målet er her å øke studentenes ferdigheter til å evaluere seg selv. Et eksempel de viser til, er: «Du vet allerede hvordan du åpner et argument, sjekk og se om du har gjort dette i det første avsnittet» (Hattie & Timperley, 2007, s. 90). I dette eksempelet vil læreren som gir tilbakemelding, kunne øke studentens gjenkjenning av hva som fungerte og ikke, med et mål om å integrere egenvurdering og gode kognitive rutiner. Studenter som har lært seg å tenke metakognitivt, å reflektere over egen tenkning, vil også i større grad evne å korrigere seg selv og søke nødvendig informasjon og støtte (Herrebrøden, 2014, Sadler, 2010). De blir dermed mer selvdrevne. Shute (2008) mener en slik kognitiv endring bør være selve målet med tilbakemeldinger. Tilbakemelding rettet mot å oppnå selvregulering hos studenten viste seg å være effektivt, men ble i liten grad gitt (Gibbs, 2006; Hattie & Timperley, 2007,). Den fjerde og siste kategorien av tilbakemelding var den som fokuserte på studenten som person. Tilbakemeldinger som «godt jobba!» og «du kan bedre enn dette!» viste seg å være den typen kommentarer lærere ga mest av, og som hadde minst effekt (Hattie & Timperley, 2007, s. 96). Effekten var noe større dersom det ble gitt i kombinasjon med prosess, og mindre i kombinasjon med oppgave. Denne siste kombinasjonen viste seg å være mest vanlig.

Forskning har ikke kommet frem til noen entydige svar på hvilke tilbakemeldinger som fungerer best for alle studenter (Shute, 2008). Likevel viser Shute til flere studier som hevder at formativ vurdering i større grad gjør studentene mer mottakelige for læring enn summativ vurdering. Black og William (1998) hevder i sin metastudie at effekten av summativ vurdering er overdrevet, og at den formative vurderingsformen kommer i skyggen. De viser til en studie der fokus på å styrke selvbildet til studenten i tilbakemeldingen hadde stor effekt særlig hos de svake studentene og mindre effekt hos studenter som allerede presterte godt. Denne forskningen tar til orde for å styrke den formative vurderingen, med fokus på prosess og selvregulering. En slik vurderingsform vil i større grad kreve støtte og tilgjengelighet hos lærer, med en tanke om at læring er en dialogisk prosess. En slik støtte vil hjelpe studenten til å tenke og handle på mer avanserte måter (Shute, 2008). Gibbs (2006) og Herrebrøden (2014) viser til at tilbakemeldinger er et nedprioritert forskningsfelt innen akademia som det vies lite ressurser til. I studiene til Black og William (1998) ser vi at lærere i liten grad diskuterer og reflekterer rundt temaet sammen med kollegaer, de innhenter sjelden erfaring fra studenter. Formativ vurdering ser ut til å være dårlig forstått av lærere, og dermed svakt praktisert.

Metode

Rammen for studien er at sosionomstudentene ved VID vitenskapelige høgskole fullfører et visst antall arbeidskrav, som er ulikt utformet og med ulike vurderingskriterier. Arbeidskravet studentene hadde gjennomført, var først et utkast til en redegjørelse for et begrep de fikk tilbakemelding på, for så å sluttføre oppgaven. Den samme læreren ga tilbakemelding på begge oppgavene, og dette var en lærer de kjente fra gruppen de var i. Det er imidlertid ikke nødvendigvis den samme læreren som følger studenten gjennom hele semesteret. Tilbakemeldingen i arbeidskravene er formativ i den forstand at de er ment å hjelpe studenten videre i deres utviklingsprosess. De får ikke karakter på disse. Etter endt semester testes studentene med en eksamen de får karakter på. Denne vurderingsformen kalles summativ, og er mer kontrollerende i sin form. Her vil studenten vurderes på hvorvidt han/hun er god nok. Dette er en helt annen vurderingsform enn den formative. Til tross for arbeidskravenes formative karakter, vil de ha elementer av summative trekk, da arbeidskravene godkjennes eller ikke. Dersom de ikke godkjennes, må de omgjøres og leveres inn på nytt for ny godkjenning.

Våren 2014 gjennomførte jeg ett fokusgruppeintervju med syv studenter i andre klasse ved bachelorutdanningen i sosialt arbeid ved VID vitenskapelige høgskole. Jeg stilte spørsmål om tilbakemeldinger på arbeidskrav, hva de opplevde ga læring og hvordan de ønsket seg tilbakemeldingen. Jeg intervjuet i tillegg en lærer ved det samme studiet med tilsvarende spørsmål for å utfylle. Under begge intervjuene noterte jeg og gjorde oppsummeringer. Disse pilot-intervjuene genererte spennende problemstillinger jeg ønsket å gå videre med. Jeg valgte dermed å formalisere to fokusgrupper høsten 2014. En med seks lærere og en med syv studenter ved samme utdanning. Begge intervjuene ble transkribert og analysert, og det er disse to fokusgruppene som utgjør min empiri i denne artikkelen.

Studentene i min første fokusgruppe ble rekrutterte fra første året ved bachelorutdanningen i sosialt arbeid via deres side på facebook. Her fikk jeg et utvalg som tilhørte fem ulike grupper, der hver gruppe fikk tilbakemelding fra én bestemt lærer. Dermed fikk jeg frem individuelle forskjeller i forhold til form og innhold på tilbakemeldinger lærerne imellom. Studentene i denne fokusgruppen var ukjente for meg, med unntak av én som var på min basisgruppe, og som jeg hadde gitt tilbakemelding til. Intervjuet varte i 45 minutter. Alle var aktive i å kommentere sine egne og andres tilbakemeldinger. Erfaringer ble lagt frem og kommentert av de andre. De hadde nylig gjennomført to arbeidskrav, der det første var et utkast de fikk tilbakemelding på, som de aktivt kunne bruke til å fullføre oppgaven i sitt neste arbeidskrav. Dette var dermed en interessant gruppe å intervjue, da en slik vurdering har en klar formativ karakter i den forstand at den gis underveis. Jeg presenterte temaet innledningsvis og ba dem sammen reflektere over hva de mente ga god læring i forhold til tilbakemeldinger. Jeg lot en og en student prate om gangen, og slapp til kommentarer fra medstudenter. Mine spørsmål underveis handlet kun om konkretiseringer og eksemplifiseringer for å tydeliggjøre deres utsagn og være sikker på at jeg forsto dem riktig.

Seks kollegaer meldte seg etter en felles mail til lærerstaben ved sosialt arbeid. De hadde ulik utdanningsbakgrunn, og erfaringer med å gi tilbakemeldinger varierte, da utvalget besto av alt fra erfarne lærere med lang fartstid, til helt nytilsatte lærere. Intervjuet varte i 45 minutter. Også med lærerne valgte jeg å presentere tematikken innledningsvis og stilte dem spørsmålet om hva de tenkte ga best læring i forhold til tilbakemeldinger på skriftlige arbeidskrav. I dette intervjuet gikk vi ikke noen runde, men lærerne pratet mer fritt og supplerte og kommenterte hverandre. Det var stort engasjement i fokusgruppa og temaet var noe som tydelig opptok dem. Også her gikk jeg inn og styrte temaene når de falt utenfor problemstillingen og jeg stilte oppfølgingsspørsmål for å få dem inn på det sporet jeg ønsket. Eksempelvis sporet jeg dem inn på temaet om mappevurdering, noe lærerne ikke selv bragte opp. Jeg stilte også spørsmål om hva de trodde studentene savnet i deres tilbakemeldinger. Jeg ba lærerne om å konkretisere og eksemplifisere for å sjekke ut om jeg hadde forstått dem riktig. Disse to fokusgruppene er svært ulike og kan derfor ikke sammenliknes. Jeg tenker likevel at deres utsagn utfyller hverandre på en måte som gir spennende materiale å reflektere videre rundt.

Fokusgrupper er en effektiv måte å samle inn informasjon på fra flere. De gir rom for diskusjon, felles refleksjon og kan utdype temaer som tas opp, nettopp fordi deltakerne kan følge opp hverandres refleksjoner og svar (Kvale, 2009; Thagaard, 2013). En svakhet, men også en styrke ved intervjuformen, er imidlertid at deltakerne kan la seg styre av hva andre sier og at man ikke tør snakke så fritt som i et individuelt intervju. Det kan være en utfordring å få til et jevnt aktivitetsnivå blant deltakerne. Mitt inntrykk fra begge fokusgruppene var at det var et tilsynelatende godt og åpent klima der informantene lot seg engasjere av hverandre. Ytterligere en kritikk til denne studien er min rolle i forhold til studentene og mine kollegaer. Da jeg tok opp dette direkte med dem, fremsto begge gruppene som positive både til å drøfte temaet og til at jeg ønsket å forske på nettopp dette. Min kjennskap til informantene kan også være en styrke ved at jeg er en del av den samme kulturen, kjenner til lokale forhold, er opptatt av og er engasjert i temaet. Faren er at jeg tar ting for gitt. Det kan være ting jeg tror jeg forstår som jeg dermed ikke utdyper, på samme måten som kollegaer og studenter antar at jeg forstår. Til tross for at studentene var positivt innstilt, kan maktposisjonen jeg er i overfor dem, lede i retning av svar som ville vært annerledes dersom jeg var en for dem ukjent forsker. Med et så lokalt utvalg knyttet til kun ett undervisningssted er ikke studien generaliserbar, men den reiser likevel noen problemstillinger jeg tenker er viktige å reflektere over.

Analysen av materialet startet med en sortering (koding) som la grunnlaget for en mer systematisk bearbeiding av stoffet. Sorteringen har tatt utgangspunkt i problemstillingen, og empirien er hentet fra transkriberingen av de to fokusgruppene. Jeg benyttet meg av en temasentrert analyse (Thagaard, 2013), der jeg noterte kodeord og hele setninger fra datamaterialet som fremhevet meningsinnholdet. Dette sammenfattet jeg til felles kategorier som representerte temaene i undersøkelsen. Materialet ble sortert i tre temaer som jeg vurderte som sentrale i begge fokusgruppene; målet for arbeidskravet, hvordan tilpasse tilbakemeldingen til den enkelte student og relasjonen mellom lærer og student. Disse tre temaene utgjør overskriftene i min analyse, og det er dem jeg vil diskutere i lys av teori og forskning om tilbakemelding. Temaene er definert ut fra problemstillingen, og de gjenspeiler hovedpoenger i deltakernes beskrivelser. Enkelte av disse hovedpoengene er fremhevet i direkte sitater.

Erfaringer med tilbakemelding

Formålet med skriftlig tilbakemelding

Studentene i fokusgruppen var opptatt av å utvikle seg faglig, og at god og konstruktiv tilbakemelding på arbeidskrav var viktig for å få til det. For å utvikle sine arbeidskrav etterlyste de informasjon om hva de skulle gjøre. En student sier:

«Det jeg har vært opptatt av, er at alle individuelt skal klare å strekke seg, altså at den som retter ikke bare skal rette det den ser, men hjelpe meg til å bli enda bedre. Det er den eneste måten jeg klarer å vokse på. For jeg klarer ikke å vurdere, i alle fall ikke så tidlig i et studium, hvor mye kunnskap jeg har klart å tilegne meg og hvor mye som mangler til enhver tid. Sånn at jeg får tilbakemelding på det og ikke bare at dette er fint eller dette ser bra ut, for det forteller meg egentlig veldig lite om hvor på nivåstigen jeg ligger».

Studenten sier her at hun ønsker å øke sin kunnskap, vite hva som mangler og at den som gir tilbakemelding, ikke bare vurderer det han ser, men hjelper henne til å bli enda bedre. Studenten ønsker å dekke gapet mellom sitt aktuelle og potensielle utviklingsnivå (Säljö, 2010). For å få til dette vil støtte i form av treffende tilbakemeldinger være viktig. Etter min tolkning trenger studenten klare kriterier på hva som er målet, og tydelige føringer på hvordan målet skal nås. Dette samsvarer med forskning (Hattie & Timperley, 2007, Black & William, 1998, Sadler, 2010). I fokusgruppen med lærerne sier en at hun følger vurderingskriteriene når hun vurderer arbeidskrav, mens en annen lærer sier hun har sine kjepphester når det gjelder hva hun ser etter. Dette kan tyde på at lærere balanserer bruken av vurderingskriteriene med en normativ vurderingsform (Black & William, 1998).

Savnet av karakterer på arbeidskrav ble reist som tema av flere av studentene. De begrunnet dette med behov for å vite hvor de sto og for å kunne se en tydelig progresjon. En sa: «Jeg skjønner det er viktig at vi utvikler oss og strekker oss, men likevel er det fint å vite hvor man står».

En annen sier: «Jeg føler egentlig jeg har fått mange gode tilbakemeldinger, men likevel blir man litt usikker, hvor ligger jeg? Men det er kanskje bare en usikkerhet vi må leve med, fordi det er sånn mappevurderinga fungerer».

Når jeg spør lærerne om hva de tror studentene ville svart at de savnet, svarer en av lærerne spontant med et smil om munnen: «Karakterer. For de vet jo ikke hvordan de ligger an til eksamen». Studentene og lærerne peker på noe som kan tolkes i retning av en utydelighet mellom summativ og formativ vurdering. Det kan virke som om lærerne ikke helt klarer å balansere dette skillet, og det kan virke som om studentene ikke helt klarer å slå seg til ro med at tilbakemeldingene er ulike på formative arbeidskrav og summative eksamener. I det formative ligger det implisitt at dette er noe det skal jobbes videre med, derfor gis tilbakemeldingen underveis i en prosess. I det summative har prosessen resultert i et sluttprodukt, der en karakter vil kunne gjenspeile denne prosessen. En lærer sier: «Og så er det jo litt vanskelig med denne blandingen av vurderingsformer», der en annen lærer supplerer med:

«Det er helt klart en forvirring rundt dette med mappetenkning blant oss lærere. Det er forvirrende fordi det er vanskelig å forstå ettersom studentene hele tiden orienterer seg mot eksamen. Jeg har heller aldri fått tid til å sette meg helt inn i dette».

På direkte spørsmål til lærerne om endring i måten å gi tilbakemeldinger på etter at mappetenkningen ble innført, svarer de at de ikke ser noen annen endring enn at formkravene er blitt strengere. Studentene sier de forstår at de skal være i en læringsprosess frem mot eksamen, der de blir kontrollert på et ferdig produkt, og de fremhever at karakterer alene heller ikke ville gitt dem den veiledningen de trenger for å forbedre seg. Dermed verdsetter de også den formative vurderingen.

Hvordan tilpasse tilbakemeldingen?

Studenter er ulike hva gjelder nivå, forståelse, hvordan de ønsker tilbakemelding og hvordan de lærer. Å skjære alle over en kam er derfor vanskelig. «Jeg prøver å unngå å gi tilbake en tyttebærlyng» sier en av lærerne, med henblikk på ikke å gripe over alt med en gang. Med tyttebærlyng henviser hun til mange røde merknader og sier «det er klart det virker demotiverende hvis alt ser rødt ut». Hun refererer særlig til de svakeste studentene, og trekker frem nettopp de svakeste og de sterkeste som de gruppene det er vanskeligst å gi tilbakemeldinger til. Flere av lærerne slutter opp om ikke å gripe over alt med en gang, men porsjonere ut i forhold til de vurderingskriteriene som er knyttet til det enkelte arbeidskravet. En slik nivåtilpasning støttes av Hattie og Yates (2014). En student sier:

«Jeg ser fordelen ved å være litt raus til å begynne med, så knekker man jo en del koder etter hvert selv, så jeg håper jo at det etter hvert blir mer variert tilbakemelding».

Samtidig påpeker en annen:

«Jo mer konkrete tilbakemeldinger læreren kan gi, jo bedre blir arbeidskravene senere. Hvis du begynner litt feil og får litt vage tilbakemeldinger på det, så fortsetter du kanskje i feil mønster. Det er bedre med bang, dette fungerer ikke».

En av lærerne tilføyer at det er veldig synd med de studentene som får angst av at arbeidskravet ikke blir godkjent. Hun påpeker at omgjøring er en god måte å forbedre seg på. Det kan virke som om både lærerne og studentene i mine fokusgrupper peker på et dilemma: Bør tilbakemeldingen på arbeidskrav være detaljert og pirkete, slik at studenten får inn «alt» med en gang, eller bør læreren være mer «snill» i begynnelsen så studenten får et mer velvillig syn på læring? En av lærerne ser dette i sammenheng med den relasjonen han har til studenten, og trekker frem potensialet som ligger i nettopp relasjonen som viktig for å kunne treffe riktig nivå. Dette nivået treffer man ikke dersom man ikke kjenner studenten.

Relasjon

Nærhet og dialog ble av studentene trukket frem som viktig når de fikk tilbakemeldinger. De ønsket seg nærhet til den som vurderte, at vedkommende kjente deres tekst, deres måte å tenke på, og der de fikk en følelse av å jobbe sammen. En student påpekte at en fremmed hadde vurdert hans første arbeidskrav, da læreren i hans gruppe var syk:

«Jeg har jo fått tilbakemelding fra en jeg ikke vet hvem er, ikke at det har noe å si, men i mange tilfeller så har man jo gjerne hatt en dialog underveis i prosessen og så plutselig dukker det opp et menneske som jeg ikke visste hvem var».

Små ting som «lykke til, hilsen…» trekkes frem som betydningsfullt av en student, med begrunnelse i at dette fremmer dialog og utløser motivasjon og energi. Dette samsvarer med en kommentar fra en annen student som påpekte at en lærer kommenterte progresjon fra forrige arbeidskrav. Det ga grobunn for en god følelse av at de jobbet sammen. En av lærerne mente idealet for god tilbakemelding var at man tok individuelle hensyn og var i dialog med studentene.

En annen måte å ivareta studentens utviklingsprosess på kan være å tilstrebe felles faglig plattform, der man forsøker å se etter felles elementer i form av like vurderingskriterier, og der man legger seg på tilsvarende nivå hva gjelder grundighet. Studentene etterlyser et mer samlet fokus i lærernes vurderinger. En student sier: «Når den ene læreren sier at dette arbeidskravet er vanskelig å bestå og den andre læreren bare kommenterer fint, så tenker jeg at dere kan ikke se på dette på samme måte». Etter min tolkning påpeker studenten to viktige ting; at det er en variasjon mellom lærerne i forhold til hvor konsekvent de forholder seg til vurderingskriteriene og hvor mye jobb de legger i det å gi tilbakemelding. Flere av studentene sa de hadde inntrykk av at arbeidskrav var et forsømt felt blant lærerne, med lav prioritet og status. En sier:

«Jeg kan ikke unngå å tenke at læreren ønsker bare å bli ferdig så hun/han kan få sett nyhetene. Og hvis hun/han hadde visst hvor viktig det er å få disse kommentarene, at de for oss er viktigere enn power-point’en dagen etter».

Lærerne i mitt materiale bekrefter også at vurdering henger sammen med tid og ressurser, og manglende fokus på dette feltet innen akademia, både hva gjelder tiden man vier dette temaet og manglende status for jobben med å gi tilbakemelding på arbeidskrav. De peker på at det tar tid å vurdere arbeidskrav, og at denne tiden må veies opp mot hva slags type læring de tror studentene får ved å utføre arbeidskravene. Lærerne er klare på at de er presset på tid, og at dette kan gå utover grundigheten når de vurderer arbeidskrav.

Diskusjon

Intensjonen med mappevurdering er, som tidligere nevnt, å gi studentene vurdering av deres arbeid underveis i læringsprosessen, for på denne måten å støtte dem i denne prosessen, veilede dem fremover og vise dem hvor de skal gå. Hattie og Timperley (2007) bruker slike dynamiske tilbakemeldinger som grunnlag for sin systematisering av tilbakemelding i begrepene oppgave, prosess, selvregulering og person. Når jeg nå skal diskutere utsagnene fra mine fokusgrupper, ønsker jeg å gjøre det i lys av nettopp disse begrepene. De inndeler innholdet i tilbakemelding på en god måte, og dette igjen kan skape en bevisstgjøring i forhold til hvordan man gir gode vurderinger. Jeg vil også nyttiggjøre meg tidligere presentert teori og ytterligere forskning som et bakteppe i min diskusjon.

Når målene er uklare

Black og William (1998) viser til at lærere har en tendens til å bruke normativ heller enn kriteriebasert vurdering. Utsagn fra begge fokusgruppene kan peke i retning av de samme tendensene. Slik jeg ser det, vil en normativ tilnærming være mer tilfeldig, og også mer uklar i forhold til mål. Det kan tenkes at iveren og ønsket om å overføre egen kunnskap blir sterkere enn å sette seg inn i studentens prosess, slik at læreren blir mer opptatt av selve oppgaven, hva som er «riktig» og «galt». På denne måten beveger man seg vekk fra å være en «sam-skaper» i studentens egen læringsprosess, og overfører heller ferdig produsert kunnskap rettet mot oppgaven etter mer behavioristiske teorier (Säljö, 2010). Studenten passiviseres dermed i rollen som mottaker av kunnskap. Med dette mener jeg ikke å si at kunnskapen lærerne besitter, ikke er viktig å videreformidle eller at fordypning innenfor fagfelt ikke er viktig. Det sentrale er måten kunnskapen presenteres på. Jeg tenker den er avgjørende for om studenten integrerer kunnskapen i tråd med egen forforståelse og dermed kan nyttiggjøre seg den videre.

Skiftet fra den formative til den summative vurderingsformen vil dermed innebære en dreining fra prosess og selvvurdering mot person og oppgave. En eksamensvurdering med karaktersetting har i større grad elementer av et behavioristisk læringssyn med kontroll og normative føringer, fremfor de ikke-normative teoriene som ligger bak mappevurdering. En annen måte å tolke dette på er at studentene etterlyser mer konkret tilbakemelding knyttet til mål, og dermed hvor i prosessen de er. Dersom dette blir mer tydelig, kan frustrasjonen rundt hvor man står og dermed ønsket om karakterer forsvinne. Da trenger ikke overraskelsen til eksamen bli så stor, fordi målene er klare og hva studenten har oppnådd frem mot målet kommer tydelig frem i tilbakemeldingen. Det er da Hattie og Timperley (2007) mener tilbakemeldingen har kraft og fungerer effektivt.

Dersom tilbakemeldingene er mer normative og mindre kriteriebaserte, vil lærerens fokus på oppgave, prosess, selvregulering eller person variere i større grad. Eksamen knyttes gjerne til den summative vurderingsformen. Her vil fokus være rettet mot fortid og dermed mot et produkt som allerede er sluttført. Prestasjoner kommer i forgrunnen, og søkelyset rettes mot person og oppgave. Den formative vurderingen retter seg mer inn mot fremtid, med fokus på prosess og selvvurdering. Produktet er ikke ferdig, men i endring og dermed i utvikling. Begge fokusgruppene peker på at dette skillet er uklart for både studenter og lærere, noe som også samsvarer med forskningen til Black og William (1998), som viser til at formativ vurdering ikke er så godt forstått av lærere og dermed svak i sin praksis. De hevder de to vurderingsformene baserer seg på to ulike logikker, der en nærmest har tatt for gitt at den summative formen motiverer mest og dermed får dominerende status. Taasen et al. (2004) påpeker utfordringer studentene har med å stole på at arbeidskrav av formativ karakter ikke blir brukt mot dem ved en senere anledning. Samtidig kan formativ vurdering som nevnt innledningsvis ha summative trekk. Det at et formativt arbeidskrav må bli godkjent, har summative kontrollaspekter, og kan skape den angsten en lærer fremhevet at studentene ofte hadde ved innlevering. Fokuset på om arbeidet blir godkjent kan dermed overskygge vurderingen som er ment for å hjelpe studenten videre. Samtidig vil en slik godkjenning også kunne være formativ ved at arbeidet må omgjøres og forbedres i tråd med vurderinger. Dette åpner opp for en forvirring de to ulike logikkene kan skape både for studentene og for lærerne. Utfordringen for læreren kan være at de i det ene øyeblikket skal støtte, hjelpe og tilrettelegge, og i neste omgang dømme og kontrollere. Læreren besitter i så måte to roller, en som hjelper og en som kontrollør. Begge rollene er viktige. Dersom kontrollaspektet faller bort, vil samfunnsoppdraget lærere har i form av å sikre godt kvalifiserte sosialarbeidere, falle bort. Dersom deres hjelperrolle forsvinner, svekker det deres rolle som støtteperson og samskaper i studentens læringsprosess.

«Å være der studenten er»

Dersom jeg legger de tre teoriene bak mappevurdering til grunn – humanisme, konstruktivisme og det sosiokulturelle læringssyn, vil motivasjonsteorien underbygge tanken om «å være litt raus til å begynne med». Studenter trenger å bli styrket i troen på å klare å nå målet. Dette har vist seg særlig viktig for de aller svakeste studentene (Black & William, 1998). En slik oppmuntring vil kunne rette seg inn mot både person og prosess. Individuell tilpasning handler om å «treffe» studentens forforståelse. For at studenten skal kunne tilegne og nyttiggjøre seg de «nye» vitenskapelige begrepene Vygotskij vektlegger som viktig i læring, må disse kobles opp mot studentens begrepsapparat. På denne måten blir det bygd bro mellom aktuell og potensiell læring. Først da vil studenten være i den proksimale utviklingssonen, der han/hun er aktiv, selvstendig og engasjert i egen læringsprosess. Studenten er i bevegelse, og læreren må sørge for at han/hun utfordres på et nivå som er overkommelig, ikke for enkelt og ikke for krevende. Dersom læreren kommer med tilbakemeldinger som blir uforståelige for studenten og ikke kan knyttes til tidligere kunnskap, vil læringen være begrenset. Tilbakemeldingene må heller ikke være for enkle, slik at studenten ikke utfordres.

Dette problematiseres av lærerne når de trekker frem to grupper som det er særlig utfordrende å gi tilbakemeldinger til: De svakeste og de sterkeste. De ønsker å finne en god balanse mellom positive og negative tilbakemeldinger som utfordrer studenten uten at det virker overveldende. Dette bekreftes av studentene når de viser til at kommentarer som «fint» og «flott» stopper læringsprosessen og dermed fremstår som demotiverende. Kan en så tenke seg at en flytting av fokus fra mer statiske kommentarer rettet mot person og prestasjon til mer dynamiske kommentarer rettet mot læring og prosess (Shute, 2008) vil kunne hjelpe lærerne med denne utfordringen? Et slikt dynamisk perspektiv vil gi større rom for prøving og feiling, og dermed rette fokus mot endring og nivåtilpasset utvikling. I tråd med læringsteoriene bak mappevurdering blir det viktigere å gi studenten flere perspektiver, fremfor én normativ måte å forstå virkeligheten på. Dersom lærere klarer å «være der studenten er» – bygge på deres forutsetninger, se deres ressurser og være sammen med dem i en prosess der de selv er med på å skape sin virkelighet – er grunnen lagt for et godt læringsklima. Kan en ut fra dette tenke seg at dersom mappevurdering var noe som var klart og tydelig for oss som lærere, ville det kunne bidratt til bedre tilbakemeldinger til de svake og de sterke studentene? Forlate tanken om hva som var rett og galt (det normative) knyttet til fortid, til fordel for tanken om prosess og selvregulering i fremtid? Synet på studentene ville endret seg fra å handle om å være «sterk» eller «svak» til å handle om å være utviklende, lærende individer som selv bidro aktivt i egen læringsprosess. Det er denne aktive rollen som blir særlig viktig for å oppnå målene om prosess og selvregulering. En slik tanke krever at læreren «er der studenten er», noe som vil være enklere dersom man har en relasjon til studenten.

Relasjonens betydning for læring

Relasjon blir understreket som viktig av både lærere og studenter. Når læreren kjenner og følger den samme studenten over tid, vil det også være lettere å gjøre individuelle tilpasninger, være i dialog, påpeke progresjon og gi studenten en følelse av å jobbe sammen. Læreren vil i større grad bidra i det sosiale fellesskapet som den sosiokulturelle tilnærmingen legger vekt på, og dermed utfordre studentene i deres proksimale utviklingssone. Det er nærliggende å tenke at det å følge den samme studenten over tid vil vekke større engasjement hos læreren. Jeg mener en bør vektlegge dette i utdanningen av sosionomstudenter, særlig med tanke på utdanningens tydelige orientering rundt mappevurdering med fokus på prosess og selvregulering og kunnskap om relasjonens betydning. Hvis lærerne skal kunne bidra med dette, er det en forutsetning at de kjenner studenten.

Det hender man ikke har mulighet til å etterleve idealet om at samme lærer følger samme student over tid. For likevel å ivareta studentenes prosess på en best mulig måte, kan en tenke seg at dialog og felles faglig plattform lærerne imellom blir særlig sentralt. Studentene i mitt materiale peker på stor grad av ulikhet både når det gjelder hva lærerne vektlegger og deres grundighet. Det er dermed grunn til å argumentere for dialog rundt felles vurderingskriterier, både når det gjelder hvor grundig man bør være og hva man skal gi tilbakemelding på. Dette vil kunne styrke studentenes prosess og selvregulering, og dermed støtte oppunder mappeevaluering som vurderingsform. Knapphet på tid og ressurser som årsak til variasjon i tilbakemeldinger fremheves også av lærerne, samtidig som de hevder at det er et nedprioritert felt i kollegafellesskapet. Dette samsvarer med internasjonal forskning (Black & William, 1998; Gibbs, 2006; Herrebrøden, 2014).

Konklusjon

I denne artikkelen har jeg forsøkt å gi et svar på hva slags tilbakemeldinger som bidrar til god læring, og jeg fremhever betydningen av den formative vurderingsformen. Det virker som om både studentene og lærerne oppfatter forholdet mellom summativ og formativ tilbakemelding som uklart. Det kan henge sammen med uklare forventinger fra begge grupper. En strengere kriteriebasert vurdering vil kunne være en måte å løse dette på. Når studentene i mitt materiale så tydelig gir uttrykk for at de savner karakterer på arbeidskrav, tror jeg en tydeliggjøring av skillet mellom formativ og summativ tilbakemelding vil kunne minske dette ønsket. Det vil kunne føre til en bevisstgjøring hos lærerne i forhold til hva man faktisk gir og bør gi tilbakemelding på, når og hvorfor. En slik bevisstgjøringsprosess vil trolig gjøre tilbakemeldingsprosessen mer effektiv, mer målrettet, mindre uklar, og høyst sannsynlig mer tidsbesparende.

Lærerne trekker frem de svake og de sterke studentene som krevende grupper å gi tilbakemeldinger til, fordi de skal være i prosess og gis passe med utfordringer for å være motivert. Jeg argumenterer i denne artikkelen for at formativ vurdering med fokus rettet mot prosess og selvregulering kan bidra til å gi disse gruppene bedre tilbakemelding. Dersom man beveger seg bort fra den normative tanken om rett og galt i students arbeid, men i stedet er opptatt av hvordan studenten skaper sin forståelse og sin virkelighet, vil man i større grad kunne «være der studenten er», og aktivisere studenten slik at prosess og selvregulering lar seg realisere og integrere. En forutsetning for å få til dette i tråd med mappevurderingens intensjoner, er at det er en god relasjon mellom lærer og student. Slik jeg ser det vil tett oppfølging av samme lærer gi studenten viktige læringsgevinster.

Et tydeligere skille mellom summativ og formativ læring, økt bevissthet rundt hva vi gir tilbakemelding på og hvorfor, skaper en god og tett relasjon til studenter – for å få til alt dette er det viktig å løfte temaet i akademia. Tilbakemeldinger på arbeidskrav har et stort potensiale for læring og bør derfor prioriteres når det gjelder tid, ressurser og som forskningsfelt.

Sammendrag

Forskning viser at tilbakemeldinger er en av de mest kraftfulle og samtidig minst forståtte funksjoner ved læring. I denne artikkelen har jeg intervjuet studenter og lærere ved bachelorutdanningen i sosialt arbeid ved VID vitenskapelige høgskole for å finne ut hva de tenker bør ligge i gode tilbakemeldinger på skriftlig arbeid. Jeg har diskutert innholdet i tilbakemeldinger i form av mappevurdering, som et overordnet pedagogisk prinsipp ved utdanningen. Informantene peker på at målene for tilbakemeldingen er uklare, og at kombinasjonen summativ og formativ vurdering (avsluttende og underveisvurdering) er utfordrende. Det viser seg også å være vanskelig for lærerne å tilpasse tilbakemeldingen til den enkelte student. Artikkelen argumenterer for at en god relasjon mellom lærer og student ville gitt bedre læring. Det siste reises blant annet som et ressursspørsmål både av lærere og studenter.

Nøkkelord: tilbakemelding, læring, skriftlig arbeid, prosess, formativ

Summary

Continuous learning and difficulties in complying with this ideal

Feedback is one of the most powerful and least understood features of learning. The basis of this article is interviews with students and teachers at a college university in Norway. I asked informants to describe what constitutes constructive feedback on written assignments, and discuss findings in light of the general educational principle of portfolio assessment. Informants evaluated the goals of feedback as unclear, and experienced the combination of summative and formative assessments as challenging. In addition, teachers found it difficult to adjust the feedback to every single student. I identify a good relationship between teacher and student as a factor to improve feedback and promote better learning. Both teachers and students raise this partly as a question of resources.

Keywords: feedback, learning, written work, process, formative

Referanser

Black, Paul & William, Dylan (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5 (1), 7-74.

Dysthe, Olga & Engelsen, Knut Steinar (2005). Mapper som pedagogisk redskap. Perspektiver og erfaringer. (2. utg.) Oslo: Abstrakt forlag.

Ellmin, Roger (2000). Mappemetodikk. Oslo: Kommuneforlaget.

Gibbs, Graham (2006). How assessment frames student learning. I Bryan, C. & Clegg, K. (red.), Innovative assessment in higher education. London: Routledge.

Hattie, John & Timperley, Helen (2007). The power of feedback. Review of Educational Research, 77 (1), 81-112.

Hattie, John & Yates, Gregory (2014). Synlig læring. Hvordan vi lærer. Oslo: Cappelen Damm.

Herrebrøden, Henrik (2014). Tester og tilbakemeldinger som direkte bidragsytere til dypere læring blant studenter. Uniped. 37 (4), 3-18.

Kvale, Steinar (2009). Det kvalitative forskningsintervju. (2.utg.) Oslo: Gyldendal akademisk.

Sadler, Royce D. (2009). Beyond feedback: Developing student capability in complex appraisal. Assessment & Evaluation in Higher Education, 35 (5), 535-550.

Säljö, Roger (2010). Læring i praksis. Et sosiokulturelt perspektiv. (9.utg.) Oslo: Cappelen Akademisk forlag.

Shute, Valerie J. (2008). Focus on Formative Feedback. Review of Educational Research, 78 (1), 153-189.

Sylte, Ann-Lisa (2013). Profesjonspedagogikk: profesjonsretting/yrkesretting av pedagogikk og didaktikk. (1.utg.). Oslo: Gyldendal Akademisk.

Thagaard, Tove (2013). Systematikk og innlevelse. En innføring i kvalitativ metode. (4.utg.) Bergen: Fagbokforlaget.

Taasen, Inger, Havnes, Anton & Lauvås, Per (2004). Mappevurdering. Av og for læring. (1.utg.). Oslo: Gyldendal Akademisk forlag.

Vygotskij, Lev S. (2001). Tenkning og tale. Oslo: Gyldendal Akademisk forlag.

08.06.2016
21.08.2023 17:14