ChatGPT est moins performant que les étudiants aux examens de comptabilité et a du mal avec le processus mathématique

Les chercheurs ont découvert que les étudiants avaient mieux réussi aux examens de comptabilité que ChatGPT, le chatbot d’OpenAI.

Malgré cela, ils ont déclaré que les performances de ChatGPT étaient « impressionnantes » et qu’il s’agissait d’un « changeur de jeu qui changera la façon dont tout le monde enseigne et apprend – pour le mieux ». Les chercheurs de l’Université Brigham Young (BYU), aux États-Unis, et de 186 autres universités voulaient savoir comment la technologie d’OpenAI se comporterait lors des examens de comptabilité. Ils ont publié leurs conclusions dans la revue Issues in Accounting Education.

Lors de l’examen de comptabilité des chercheurs, les étudiants ont obtenu une moyenne globale de 76,7 %, contre 47,4 % pour ChatGPT.

Alors que dans 11,3 % des questions, ChatGPT obtenait un score supérieur à la moyenne des étudiants, se débrouillant particulièrement bien sur les systèmes d’information comptable (AIS) et l’audit, le bot AI s’est avéré moins performant sur les évaluations fiscales, financières et managériales. . Les chercheurs pensent que cela pourrait être dû au fait que ChatGPT a eu du mal avec les processus mathématiques requis pour ce dernier type.

Le bot AI, qui utilise l’apprentissage automatique pour générer du texte en langage naturel, s’est en outre révélé plus performant sur les questions vrai/faux (68,7 % de réponses correctes) et les questions à choix multiples (59,5 %), mais a eu du mal avec les questions à réponse courte ( entre 28,7 et 39,1 %).

En général, les chercheurs ont déclaré qu’il était plus difficile pour ChatGPT de répondre aux questions d’ordre supérieur. En fait, il a parfois été constaté que ChatGPT fournissait des descriptions écrites faisant autorité pour les réponses incorrectes ou répondait à la même question de différentes manières.

Ils ont également constaté que ChatGPT fournissait souvent des explications pour ses réponses, même si elles étaient incorrectes. D’autres fois, il sélectionnait la mauvaise réponse à choix multiples, malgré des descriptions précises.

Les chercheurs ont surtout noté que ChatGPT inventait parfois des faits. Par exemple, lors de la fourniture d’une référence, il a généré une référence d’apparence réelle qui a été complètement fabriquée. L’œuvre et parfois les auteurs n’existaient même pas.

On a vu que le bot faisait également des erreurs mathématiques absurdes telles que l’addition de deux nombres dans un problème de soustraction ou la division incorrecte de nombres.

Voulant ajouter à l’intense débat en cours sur la façon dont des modèles comme ChatGPT devraient être pris en compte dans l’éducation, l’auteur principal de l’étude David Wood, professeur de comptabilité à BYU, a décidé de recruter autant de professeurs que possible pour voir comment l’IA se comportait contre l’université réelle. étudiants en comptabilité.

Son argumentaire de recrutement de co-auteurs sur les réseaux sociaux a explosé : 327 co-auteurs de 186 établissements d’enseignement dans 14 pays ont participé à la recherche, contribuant à 25 181 questions d’examen de comptabilité en classe.

Ils ont également recruté des étudiants de premier cycle de BYU pour alimenter 2 268 autres questions de la banque de tests de manuels à ChatGPT. Les questions portaient sur l’AIS, l’audit, la comptabilité financière, la comptabilité de gestion et la fiscalité, et variaient en difficulté et en type (vrai/faux, choix multiples, réponse courte).