Precisión de la inteligencia artificial como método de apoyo diagnóstico en la consulta de otorrinolaringología

Resumen

OBJETIVOS: Evaluar la concordancia diagnóstica entre una herramienta de inteligencia artificial (IA) basada en modelo de lenguaje extenso y el juicio clínico de médicos otorrinolaringólogos en pacientes con enfermedades frecuentes de esta especialidad, así como analizar su efecto en la confianza diagnóstica del médico y la percepción de utilidad clínica.

MATERIALES Y MÉTODOS: Estudio observacional, transversal y descriptivo, en el que se analizaron expedientes clínicos electrónicos. Se incluyeron médicos otorrinolaringólogos y residentes que evaluaron casos clínicos reales de rinitis, otitis media aguda, vértigo postural paroxístico benigno y disfonía. Se comparó el diagnóstico clínico emitido por el médico con el diagnóstico sugerido por una herramienta de inteligencia artificial (ChatGPT-4). Se midió la concordancia diagnóstica, la confianza del médico y la percepción de utilidad mediante cuestionarios estructurados.

RESULTADOS: La concordancia diagnóstica global entre la IA y el médico especialista fue del 68% de coincidencia bruta; sin embargo, el índice kappa de Cohen fue de 0.132 (concordancia escasa) para el primer paso diagnóstico y de 0.235 (concordancia discreta) tras la incorporación de estudios de extensión. La confianza diagnóstica pre y pos-IA no tuvo diferencia estadísticamente significativa.

CONCLUSIONES: La herramienta de IA evaluada mostró una concordancia diagnóstica escasa a discreta con el juicio clínico del especialista. A pesar de su limitada concordancia, los médicos en formación la percibieron como útil. La IA no debe considerarse sustituto del juicio clínico especializado, sino un complemento.

PALABRAS CLAVE: Aprendizaje automático; lenguaje; decisiones clínicas; informática médica; inteligencia artificial.

Abstract

OBJECTIVES: To evaluate the diagnostic agreement between an artificial intelligence (AI) tool based on a large language model and the clinical judgment of otorhinolaryngologists in patients with common conditions in this specialty, as well as to analyze its impact on physicians’ diagnostic confidence and perceived clinical utility.

MATERIALS AND METHODS: Observational, cross-sectional, descriptive study, in which 100 anonymized electronic clinical records were analyzed. Otolaryngologists and residents were included and evaluated real clinical cases of rhinitis, acute otitis media, benign paroxysmal positional vertigo, and dysphonia. The clinical diagnosis issued by the physician was compared with the diagnosis suggested by an artificial intelligence tool (ChatGPT-4). Diagnostic agreement, physician confidence, and perceived usefulness were measured using structured questionnaires.

RESULTS: The global diagnostic agreement between AI and the specialist physician was 68% raw concordance; however, the Cohen’s kappa index was 0.132 (poor agreement) for the first diagnostic step and 0.235 (slight agreement) after incorporating extension studies. Pre-AI and post-IA diagnostic confidence had no statistically significant difference.

CONCLUSIONS: The evaluated artificial intelligence tool showed poor to slight diagnostic agreement with the specialist’s clinical judgment in otorhinolaryngology. Despite its limited agreement, it was perceived as useful by physicians in training. AI should not be considered a substitute for specialized clinical judgment, but rather as a complement.

KEYWORDS: Machine learning; Language; Clinical decision-making; Medical informatics; Artificial intelligence.