Kan ChatGPT een ingenieursdiploma behalen?

In het hoger onderwijs worden AI-assistenten steeds vaker gebruikt door studenten. Dit biedt kansen voor verbeterd onderwijs en opleiding, maar levert ook uitdagingen op voor het beoordelen van leerresultaten. De TU in Lausanne (CH) deed onderzoek en concludeerde dat systemen als GPT-4 tot 85% van de universitaire beoordelingsvragen correct kunnen beantwoorden.

Onderzoekers van EPFL’s School of Computer and Communication Sciences hebben een grootschalig onderzoek uitgevoerd naar 50 EPFL-cursussen om de huidige prestaties van Large Language Models op beoordelingen van cursussen in het hoger onderwijs te meten. De geselecteerde cursussen werden geselecteerd uit 9 bachelor-, master- en onlineprogramma’s, die een breed spectrum aan STEM-disciplines bestrijken, waaronder computerwetenschappen, wiskunde, biologie, scheikunde, natuurkunde en materiaalkunde.

De onderzoekers gebruikten acht prompting-strategieën om reacties te produceren en ontdekten dat GPT-4 gemiddeld 65,8% van de vragen correct beantwoordt en zelfs het juiste antwoord kan produceren over ten minste één prompting-strategie voor 85,1% van de vragen.

“De 65% correcte antwoorden, werd bereikt met behulp van de meest basale strategie, geen kennisprompt. Dus elke technische nitwit kon dit bereiken. Met enige vakkennis was het mogelijk om een ​​succespercentage van 85% te behalen en dat was echt een schok,” zei Anna Sotnikova, een wetenschapper bij de NPL en medeauteur van een artikel over het onderzoek in de Proceedings of the National Academy of Sciences (PNAS).

De onderzoekers vinden dat de resultaten van het onderzoek duidelijke vragen oproepen over hoe we ervoor kunnen zorgen dat studenten de kernconcepten leren die nodig zijn om later complexere onderwerpen te begrijpen.

Antoine Bosselut, hoofd van het Natural Language Processing Laboratory (NLP): “De angst is dat studenten het proces waarin ze nieuwe concepten leren, zullen afsnijden. Dit zou in een vroeg stadium kunnen leiden tot zwakkere fundamenten voor bepaalde vaardigheden, waardoor het later moeilijker wordt om complexere concepten te leren. Misschien moet er een debat worden gevoerd over wat we moeten onderwijzen om de beste synergieën te creëren tussen de technologieën die we hebben en wat studenten in de komende decennia zullen doen.”