Verantwoord gebruik van AI

Het proces begint, in het geval van handgeschreven toetsen, met het scannen van de bestanden. Hierbij worden de fysieke toetsen van leerlingen gedigitaliseerd en geupload naar de ToetsTester-omgeving. De AI ondersteunt de docent hierbij door de scans automatisch te analyseren, op te splitsen en toe te wijzen aan de juiste leerlingen.

Zodra de toetsen in het systeem staan, volgt de fase van het correctievoorschrift. De docent voorziet het systeem van de noodzakelijke beoordelingscriteria of antwoordmodellen. De AI leest deze instructies in en gebruikt ze als het kader waarbinnen de leerlingantwoorden beoordeeld moeten worden. De kwaliteit en helderheid van dit voorschrift zijn bepalend voor de nauwkeurigheid van de uiteindelijke AI-beoordeling. Docenten kunnen op voorhand, of achteraf, het correctiemodel aanpassen.

In de derde fase, antwoorden nakijken, vindt de technische verwerking plaats. ToetsTester zet de handgeschreven antwoorden eerst om naar digitale tekst via handschriftherkenning. Vervolgens worden deze antwoorden door de AI gewogen tegen de regels uit het correctievoorschrift. Het resultaat hiervan is een conceptscore en een concept-feedback voor elke vraag.

De laatste fase is het controleren door de docent. De docent valideert de door de AI voorgestelde scores en feedback. Hierbij kunnen transcripties worden gecorrigeerd en scores worden aangepast of overschreven. Pas nadat de docent de resultaten expliciet heeft geaccordeerd, worden deze definitief vastgesteld.

ToetsTester maakt voor de analyse en tekstverwerking gebruik van gespecialiseerde AI-modellen.Als afnemer van ToetsTester heeft de onderwijsinstelling de mogelijkheid om de AI-modellen zelf te configureren. Ten behoeve van de technische uitvoering (het aanroepen van de modellen) maakt ToetsTester gebruik van subverwerkers, waaronder Gemini en Glama. De gegevensopslag door ToetsTester is strikt beperkt tot de Europese Economische Ruimte (EER), gebruikmakend van de infrastructuur van Microsoft Azure in combinatie met een centrale database in Nederland.

Conform de afgesloten verwerkersovereenkomsten worden de ingevoerde gegevens, waaronder leerlingscans en correctievoorschriften, expliciet niet aangewend voor het (her)trainen van de bovengenoemde AI-modellen. De data blijft te allen tijde eigendom van de onderwijsinstelling.

Het gebruik van ToetsTester heeft de volgende gevolgen voor de werkpraktijk van de docent:

• Tijdsbesparing en feedbackkwaliteit. De docent kan de nakijktijd per toets aanzienlijk verkorten en tegelijkertijd uitgebreide, kwalitatieve feedback geven zonder extra tijdsinvestering.
• Inzicht in voortgang. Door snellere data-analyse krijgt de docent directer zicht op leerprestaties, waardoor lessen effectiever kunnen worden aangepast op de behoeften van de klas.
• Verschuiving van werkdruk. De focus verschuift van het uitvoerende nakijkwerk naar de voorkant van het proces; het opstellen van een nauwkeurig correctievoorschrift is essentieel voor een betrouwbaar AI-resultaat.
• Automation bias en cognitive surrender. Er bestaat een risico dat de docent blind vertrouwt op de AI-suggesties of minder scherp wordt bij het controleren, wat de kwaliteit van de beoordeling kan ondermijnen.
• Biases in AI-modellen. De modellen kunnen onbedoelde vooroordelen bevatten (bijv. op basis van schrijfstijl) die tot een onterechte beoordeling van een leerling kunnen leiden.

Voor de leerling zien we op de volgende gebieden een impact ontstaan:

• Uitlegbaarheid. Leerlingen hebben recht op een transparante onderbouwing van hun resultaten. De betrokkenheid van AI in dit proces moet voor hen navolgbaar zijn.
• Snellere resultaten. Door de inzet van ToetsTester ontvangen leerlingen hun cijfer en feedback sneller, wat de directe koppeling tussen hun prestatie en het leermoment versterkt.
• Gelijkheid en biases. De leerling kan de gevolgen ervaren van mogelijke biases in de AI-modellen.

ToetsTester beschikt over verschillende waarborgen om risico's te minimaliseren:

• Check-systeem. Met het gebruik van ToetsTester wordt de docent gestimuleerd om de scores en feedback van de AI te controleren. Dit kan verplicht worden op schoolniveau.
• Zekerheidspercentages. De AI van ToetsTester geeft aan wat de zekerheid van een beoordeling is. Dit gebeurt door te werken met verschillende AI-correctoren, die met elkaar overleggen.
• Referentie naar bronbestand. In ToetsTester is het mogelijk om de transcriptie van de AI te controleren door deze te vergelijken met de oorspronkelijke tekst van de leerling.
• Uitlegbaarheid van de AI. ToetsTester streeft naar het faciliteren van Explainable AI (XAI). De feedback van de AI is hierin een belangrijk middel.
• Feedback. In overeenstemming met de verplichting tot post-market monitoring, is in de applicatie een directe feedbackknop geintegreerd. Gebruikers kunnen hiermee incidenten of hallucinaties direct melden.
• Training. Gebruikers worden ondersteund in het kritisch valideren van AI-outputs en gewezen op hun rol als eindverantwoordelijke.

Indien er sprake is van ernstige incidenten of structurele hallucinaties, beschikt ToetsTester over een protocol voor handmatige afschakeling. De verwerking kan per direct centraal worden stopgezet.

Het uitgangspunt van ToetsTester is dat de docent in alle stappen van het proces de regie houdt.

• Invoer informatie. Het is de verantwoordelijkheid van de docent om zorg te dragen voor de kwaliteit van de ingevoerde informatie, zoals het correctievoorschrift.
• Controle van uitkomst. De docent controleert de uitkomst van het systeem. De docent is altijd degene die moet beoordelen of de output van het systeem kloppend is.
• Communicatie naar leerlingen. ToetsTester doet voorstellen voor feedback of de beoordeling, maar de docent blijft uiteindelijk verantwoordelijk voor de communicatie over resultaten.

ToetsTester onderhoudt technische documentatie over het ontwerp, de opbouw, de subverwerkers en het risicobeheer. Voor onderwijsinstellingen is deze documentatie opvraagbaar.

Monitoring vindt plaats via dashboards en logbestanden die tenminste 6 maanden beschikbaar blijven. Logging beperkt zich tot acties zoals inlogfouten en systeemfouten tijdens het nakijkproces.

Voor het evalueren van de AI-prestaties maakt ToetsTester gebruik van optimalisaties op basis van wetenschappelijke literatuur.

Voor de beoordeling van leerresultaten streeft ToetsTester naar een Inter-Rater Reliability (IRR) van minimaal 0.75 (uitgedrukt in Cohen’s Kappa of Quadratic Weighted Kappa). In de wetenschappelijke literatuur over Automated Essay Scoring (AES) en AI-beoordeling wordt een correlatie van 0.70 met menselijke beoordelaars algemeen aanvaard als de standaard voor betrouwbare ondersteunende systemen. Een score van 0.70 positioneert ToetsTester in de categorie "substantiële overeenstemmin", wat essentieel is voor hoog-risico toepassingen in het onderwijs.

De nauwkeurigheid van de transcriptie wordt gevalideerd middels een eigen dataset bestaande uit diverse handgeschreven teksten uit de onderwijspraktijk. Deze dataset wordt gebruikt om de robuustheid van de transcriptie-engine te testen tegen verschillende handschriften, zodat transcriptiefouten (en daarmee foutieve beoordelingen) tot een minimum worden beperkt.

Tot slot worden de modellen ingesteld met een lage temperatuur. Dit minimaliseert de variabiliteit van de AI-outputs, waardoor het systeem bij een identiek antwoord en correctievoorschrift nagenoeg altijd dezelfde score en feedback genereert.

Menselijke eindverantwoordelijkheid is een kernprincipe en een harde eis voor hoog-risico-AI. De AI fungeert uitsluitend als assistent. Docenten hebben altijd de mogelijkheid om de AI-scores aan te passen of te stoppen met het gebruik. Materialen blijven te allen tijde eigendom van de onderwijsinstelling.