Estudio "Rendimiento de ChatGPT en prostodoncia: evaluación de la precisión y repetibilidad en la generación de respuestas"

El programa de software de inteligencia artificial (IA) ChatGPT se basa en grandes modelos de lenguaje (LLM) y es ampliamente accesible. Sin embargo, en prótesis se sabe poco sobre su desempeño a la hora de generar respuestas.

El propósito de este estudio fue determinar el desempeño de ChatGPT en la generación de respuestas sobre prótesis dentales removibles (PDR) y prótesis dentales fijas (FDP) con soporte dental.

Se diseñaron treinta preguntas breves sobre los PDR y los PDF con soporte dental, y se generaron 30 respuestas para cada una de las preguntas utilizando ChatGPT-4 en octubre de 2023. Las 900 respuestas generadas fueron calificadas de forma independiente por expertos utilizando una escala Likert de 3 puntos . Se describió la frecuencia relativa y el porcentaje absoluto de respuestas. La precisión se evaluó mediante el método binomial de Wald, mientras que la repetibilidad se evaluó mediante los métodos de concordancia porcentual, coeficiente de Brennan y Prediger, kappa de Cohen generalizado de Conger, kappa de Fleiss, Gwet AC y alfa de Krippendorff. Los intervalos de confianza se establecieron en 95%. El análisis estadístico se realizó utilizando el programa de software STATA.

El rendimiento de ChatGPT en la generación de respuestas relacionadas con RDP y FDP dentosoportado fue limitado. Las respuestas mostraron una confiabilidad del 25,6%, con un rango de confianza entre el 22,9% y el 28,6%. La repetibilidad varió de sustancial a moderada.

Los resultados muestran que actualmente ChatGPT tiene una capacidad limitada para generar respuestas relacionadas con RDP y FDP con soporte dental. Por tanto, ChatGPT no puede sustituir a un dentista y, si los profesionales lo utilizaran, deberían ser conscientes de sus limitaciones.

Acceso al artículo completo.

Fuente: Science Direct.