Onderzoek toont aan: AI-modellen kunnen geen klok lezen of kalender gebruiken

Onderzoekers van de Universiteit van Edinburgh hebben ontdekt dat kunstmatige intelligentie moeite heeft met alledaagse taken. AI-modellen kunnen vaak niet de juiste tijd aflezen van analoge klokken. Ook het bepalen van weekdagen bij kalenderdatums gaat regelmatig fout.

De bevindingen werden gepresenteerd tijdens de Internationale Conferentie over Leerrepresentaties van 2025. Ondanks hun geavanceerde vaardigheden falen AI-systemen bij deze eenvoudige taken. Ze kunnen wel code schrijven, levensechte afbeeldingen maken en examens halen.

Grote techbedrijven

Rohit Saxena en zijn team testten verschillende AI-modellen van grote techbedrijven. Ze gebruikten systemen zoals Llama 3.2-Vision van Meta, Claude-3.5 Sonnet van Anthropic en GPT-4o van OpenAI. De resultaten waren verontrustend voor voorstanders van AI-technologie.

De modellen konden in meer dan de helft van de gevallen de juiste tijd niet aflezen. Bij het bepalen van weekdagen voor specifieke datums presteerden ze nog slechter. AI-systemen lazen klokken slechts in 38,7 procent van de gevallen correct af. Bij kalenders daalde dit percentage naar 26,3 procent.

Klokkijken en kalenders gebruiken
"De meeste mensen kunnen vanaf jonge leeftijd klokkijken en kalenders gebruiken. Onze bevindingen tonen een grote kloof aan in het vermogen van AI", aldus Saxena. "Deze tekortkomingen moeten worden aangepakt als AI-systemen succesvol geïntegreerd willen worden in tijdgevoelige toepassingen zoals planning en ondersteunende technologieën."

Het onderzoek wijst op fundamentele verschillen tussen menselijk en kunstmatig begrip. AI-modellen herkennen patronen maar missen ruimtelijk inzicht. Ze kunnen een klok als object herkennen maar niet de stand van de wijzers interpreteren.

Ruimtelijk redeneren
"Klok lezen vereist iets anders - ruimtelijk redeneren", legde Saxena uit. "Het model moet overlappende wijzers detecteren, hoeken meten en diverse ontwerpen navigeren. Dat AI 'dit is een klok' herkent is makkelijker dan het daadwerkelijk aflezen ervan."

Het probleem ligt ook bij kalenderberekeningen die rekenkundige vaardigheden vereisen. AI-modellen hebben moeite met zeldzame verschijnselen zoals schrikkeljaren. Ze kunnen deze concepten wel herkennen maar niet toepassen in praktische situaties.

"Rekenen is eenvoudig voor traditionele computers maar niet voor taalmodellen. AI voert geen rekenalgoritmes uit, het voorspelt uitkomsten op basis van patronen", aldus Saxena. "Het kan rekenvragen soms correct beantwoorden, maar de redenering is niet consistent of regelgebaseerd, en ons werk benadrukt die kloof."