Elever ønsker flere og raskere tilbakemeldinger på tekster de skriver. Et forskningsprosjekt i ungdomsskolen tyder på at elever kan skrive bedre tekster, om de får tilbakemeldingene fra et dataprogram basert på kunstig intelligens.
Skrevet av Ann-Kristin Johansen, Høgskolen i Østfold
Ved Høgskolen i Østfold (HiØ) jobber forskere med å utvikle et kunstig intelligensprogram som skal hjelpe elever å skrive gode tekster, og første prototype er allerede testet ut på ungdomsskoleelever ved tre ulike skoler i Halden.
I samarbeid med lærere på forsøksskolene utviklet forskerne en skriveprosess for elevene der temaet var helter. Elevene ble bedt om å skrive en tekst om hvem de anser som en helt og argumentere for hvorfor. Basert på teksten som de skrev inn i dataprogrammet fikk de individuell tilbakemelding i retur. Selve skriveprosessen besto i at elevene skulle jobbe frem tre utkast av teksten, og få tilbakemelding mellom hver runde hvorav siste utkast ble levert inn til lærer for en endelig vurdering.
– Det ble designet som en skriveprosess hvor elevene skrev tekstene sine gjennom å lage flere utkast og hvor de fikk tilbakemeldinger fra teknologien, forklarer Irina Engeness som er professor og dekan ved Fakultet for lærerutdanninger og språk ved HiØ.
Testingen på ungdomskolelevene inngår i prosjektet “Kunstig intelligens (AI) for vurdering for læring (AfL) for å styrke læring og undervisning i 21 århundre” (AI4AfL). Prosjektet har fått 12 millioner i støtte fra Forskningsrådet og drives av HiØ i samarbeid med Høgskolen i Volda, Halden kommune og Hypatia Learning AS.
Både høyskolen, kommunen og Hypatia Learning er klyngepartnere i Cluster for Applied AI.
Så tydelige forskjeller
Mens noen av klassene som deltok i skriveprosessen fikk ta i bruk det nye dataprogrammet i tekstarbeidet, skulle de øvrige klassene jobbe uten denne hjelpen og i stedet gi hverandre tilbakemelding underveis ved hjelp av oppgavekriteriene. De foreløpige resultatene tyder på at valg av metode ga ulike utslag på karakterene som elevene fikk til slutt.
– Ved alle de tre skolene har klassene som deltok i skriveprosessen med bruk av den nye teknologien, forbedret karakterene sine fra første utkast til endelig versjon, forteller Engeness som leder prosjektet.
I klassene som ikke fikk tilgang til programmet, var det også endringer i karakterene underveis i prosessen, men ikke i like stor grad. Forskerne fant at elevene som benyttet teknologien, var mer involvert i diskusjonene om tilbakemeldingene og hvordan de skulle videreutvikle tekstene sine i tråd med disse.
– Vi så at de brukte tilbakemeldingene som teknologien ga, som et utgangspunkt for samtalene, og sett fra et pedagogisk perspektiv, var diskusjonene i disse klassene mer innholdsrike. Samtidig så vi at elevene i de andre klassene som ikke brukte den samme teknologien, var usikre på hvordan de kunne gi hverandre tilbakemelding, forteller Engeness.
Kvaliteten på den tilbakemeldingen som elever får på skolearbeid, varierer generelt mye, ifølge forskerne.
– Noen elever opplever at de kun får tilbakemeldinger som «skriv mer», men de forstår ikke nødvendigvis hva mer de skal skrive, forteller Siv Gamlem som er professor ved Høgskolen i Volda.
Gamlem forsker blant annet på vurdering og tilbakemelding og sier det er viktig at elever får tilbakemelding som en integrert del av skriveprosessen. De foreløpige funnene fra prosjektet bekrefter også nettopp dette.
– Med dette programmet ønsker vi å kan gi alle elever lik mulighet til å utvikle arbeidet sitt, sier hun og legger til:
– Gjennom dette programmet vil de få innspill på innhold i teksten og hva de bør skrive mer om. Det vil hjelpe dem til å utvikle kunnskap og forståelse om egen skriveprosess og til å skrive egne tekster.
Fikk betydelig mer tilbakemelding
I etterkant av skriveprosessen ble elevene intervjuet om hvordan det var å delta.
– Elevene som brukte dataprogrammet, sa at de satte stor pris på tilbakemeldingene de fikk via dette, forteller Engeness.
Elevene som ikke fikk bruk den nye teknologien, hadde en litt annen opplevelse av skriveprosessen.
– De oppga at det ikke var enkelt å delta og syntes det var vanskelig å finne den riktige formen på tilbakemeldingene de skulle gi og hva de skulle fokusere på. De ble dermed veldig forsiktige med tilbakemeldingene, forklarer hun.
Ifølge forskerne viser prosjektet så langt at det var elevene som benyttet seg av teknologien, som også fikk flest og mest varierte tilbakemeldinger. Dette funnet er ikke uventet.
– Det vil ikke være mulig å gi alle elevene denne typen tilbakemeldinger integrert i en skriveprosess om det skal gjøres av kun en lærer, mener Gamlem.
Gjennom teknologien fikk hver enkelt elev så mange som 30-40 tilbakemeldinger på hvert utkast. Ifølge forskerne ga de involverte lærerne i forkant av workshopen uttrykk for bekymring over at dataprogrammet ville gi elevene for mange tilbakemeldinger. Slik ble det imidlertid ikke.
– Når vi intervjuet lærerne i etterkant, var de overrasket over hvor nøye elevene tok fatt i alle tilbakemeldingene. Samtidig sa de at de aldri ville kunne gi den samme mengden til hver elev som de fikk via programmet, sier Engeness.
Likevel ser forskerne at det er individuelle forskjeller mellom elevene, og at man må være påpasselig med å gi verken for få eller for mange tilbakemeldinger. Elevene må både kunne og ville bruke den responsen de får på arbeidet sitt.
Skal jobbe med å forbedre konseptet
Elevene som deltok i prosjektet, oppga at de likte designet på programmet og syntes det var positivt med rask respons. De ga også uttrykk for at det var positivt å jobbe i en prosess der de fikk forbedre tekstene sine i flere runder.
Mengden tilbakemelding som programmet gir, er imidlertid noe av det forskerne nå skal jobbe videre med inn mot ferdigstillelsen av prototype 2 av programmet.
– Vi må finne en løsning på hvor mye som bør gis slik at det virker motiverende og ikke blir for mye. Vi vet at elever som ikke presterer så bra, vil få mange tilbakemeldinger som fremhever feil, og dette kan demotivere, sier Gamlem.
Hun understreker at de må sikre at det gis tilbakemeldinger av en type og mengde som bidrar til videre utvikling i elevenes tekstarbeid.
– Hvis de får for mye, vil de ikke være i stand til å bruke det, og derfor har det vært viktig for oss å intervjue elevene som deltar i dette forsøket. Vi må være sikre på at alle elever får respons som gir dem motivasjon til utvikling og bidrar til å forbedre arbeidet deres, sier hun.
Ingen ny Chat GPT
Utviklingen av dataprogrammet pågår for fullt og parallelt med den nokså intense debatten knyttet til Chat GPT og lignende tjenester basert på kunstig intelligens. Forskerne bak millionprosjektet AI4AfL understreker at det ikke er en egen Chat GPT-utgave de jobber med.
Med unntak av at det programmet de nå utvikler, er basert på AI-teknologi, har det lite til felles med Chat GPT.
– Dette er totalt forskjellige produkter. Chat GPT er et produkt som produserer en tekst for brukeren, mens i vårt tilfelle handler det om å ta et essay eller en tekst eleven selv skriver og gi tilbakemelding på denne. Det er kun AI-teknologien bak disse software-produktene som er lik.
Det sier førsteamanuensis Hasan Ogul ved Fakultet for informasjonsteknologi, ingeniørfag og økonomi ved HiØ.
Den første prototypen av programmet som fokuserer på syntaktiske feil, bruker ifølge Ogul lite AI-teknologi. Den andre prototypen som nå skal utvikles basert på blant annet resultatene av den testingen som er gjort blant skoleelevene, vil i større grad ta i bruk AI-teknologi fordi det handler om å analysere og forstå selve meningen i tekstene.
– Det er viktig for oss å understreke at vi ikke utvikler nok en Chat GPT-teknologi. Det pedagogiske perspektivet er helt essensielt for den teknologien som vi utvikler. Den skal tilby presise og nyttige tilbakemeldinger på elevers innleveringer som kan adresseres i neste utkast. En slik skriveprosess kan omfattes av elevene som en god tilnærming for å forstå hva det vil si å lage et godt essay, forklarer Engeness.
Styrker læreren som veileder
Etter å ha testet første prototype på ungdomsskoleelevene, sitter forskerne med et omfattende datamateriale som skal analyseres og blant annet brukes til å utvikle prototype 2. Denne skal testes ut på de samme elevene i løpet av høsten i en workshop der de får jobbe med både syntaks og innhold. Gjennom testprosjektet fikk forskerne samlet inn både filmmateriale som viser elevene i arbeid, og hvordan lærere gir tilbakemeldinger på skrivearbeidet. De fikk også hentet inn et stort antall essays i tre versjoner fra hver elev som deltok.
Dataene skal analyseres utfra både et pedagogisk og et teknologisk perspektiv. I prototype 2 håper forskerne å styrke programmet slik at det kan fungere enda bedre for lærere i et veiledningsperspektiv.
– Vi er alle tidligere lærere, og vi vet hvor vanskelig det er å samle inn data om elever og studenter for å finne ut hva de strever med. Dette verktøyet gir spesifikk info om hver elev som læreren kan bruke til å forstå hva eleven faktisk trenger, påpeker Gamlem.
Hun understreker samtidig at programmet ikke kan erstatte lærerens rolle.
– Det er viktig å huske på at det er én ting som elever trenger, og som de ikke får fra teknologi, og det er emosjonell støtte. Om du ser elever som sliter, kan du som lærer vise at du ser dem og tilby både faglig og emosjonell hjelp og støtte. Dette programmet vil gi læreren tid og mulighet til å bruke ferdighetene og kunnskapene sine på en annen måte, sier hun.