[ad_1]
Selon une nouvelle étude, ChatGPT pourrait obtenir un score égal ou proche du seuil de réussite d’environ 60% à l’examen de licence médicale des États-Unis (USMLE), avec des réponses cohérentes, logiques et contenant des informations fréquentes.
Tiffany Kung et ses collègues d’AnsibleHealth, Californie, États-Unis, ont testé les performances de ChatGPT sur l’USMLE, une série hautement normalisée et réglementée de trois examens, y compris les étapes 1, 2CK et 3, requises pour l’obtention d’un permis médical aux États-Unis, selon l’étude.
Pris par des étudiants en médecine et des médecins en formation, l’USMLE évalue les connaissances couvrant la plupart des disciplines médicales, allant de la biochimie au raisonnement diagnostique en passant par la bioéthique.
Après avoir examiné pour supprimer les questions basées sur des images de l’USMLE, les auteurs ont testé le logiciel sur 350 des 376 questions publiques disponibles à partir de la version USMLE de juin 2022, selon l’étude.
Les auteurs ont constaté qu’après la suppression des réponses indéterminées, ChatGPT avait obtenu un score compris entre 52,4% et 75% sur les trois examens USMLE, selon l’étude publiée dans la revue PLOS Digital Health.
Le seuil de réussite chaque année est d’environ 60 %.
ChatGPT est un nouveau système d’intelligence artificielle (IA), connu sous le nom de grand modèle de langage (LLM), conçu pour générer une écriture de type humain en prédisant les séquences de mots à venir.
Contrairement à la plupart des chatbots, ChatGPT ne peut pas effectuer de recherche sur Internet, selon l’étude.
Au lieu de cela, il génère du texte en utilisant des relations de mots prédites par ses processus internes, selon l’étude.
Selon l’étude, ChatGPT a également démontré une concordance de 94,6 % dans toutes ses réponses et a produit au moins un aperçu significatif, quelque chose qui était nouveau, non évident et cliniquement valide, pour 88,9 % de ses réponses.
ChatGPT a également dépassé les performances de PubMedGPT, un modèle homologue formé exclusivement sur la littérature du domaine biomédical, qui a obtenu un score de 50,8% sur un ensemble de données plus ancien de questions de style USMLE, selon l’étude.
Alors que la taille relativement petite des entrées limitait la profondeur et la portée des analyses, les auteurs ont noté que leurs conclusions donnaient un aperçu du potentiel de ChatGPT pour améliorer l’éducation médicale et, éventuellement, la pratique clinique.
Par exemple, ont-ils ajouté, les cliniciens d’AnsibleHealth utilisent déjà ChatGPT pour réécrire des rapports riches en jargon afin de faciliter la compréhension des patients.
« Atteindre la note de passage pour cet examen d’expert notoirement difficile, et le faire sans aucun renfort humain, marque une étape notable dans la maturation clinique de l’IA », ont déclaré les auteurs.
Kung a ajouté que le rôle de ChatGPT dans cette recherche allait au-delà du sujet de l’étude.
« ChatGPT a largement contribué à l’écriture de [our] manuscrit… Nous avons interagi avec ChatGPT un peu comme un collègue, lui demandant de synthétiser, de simplifier et de proposer des contrepoints aux brouillons en cours… Tous les co-auteurs ont apprécié la contribution de ChatGPT. »
[ad_2]
Source link
