Después de que un paciente tiene un ataque cardíaco o un derrame cerebral, los médicos a menudo usan modelos de riesgo para ayudar a guiar su tratamiento. Estos modelos pueden calcular el riesgo de muerte de un paciente en función de factores como la edad del paciente, los síntomas y otras características.

Si bien estos modelos son útiles en la mayoría de los casos, no hacen predicciones precisas para muchos pacientes, lo que puede llevar a los médicos a elegir tratamientos ineficaces o innecesariamente riesgosos para algunos pacientes.

"Cada modelo de riesgo se evalúa en algunos conjuntos de datos de pacientes, e incluso si tiene una alta precisión, nunca es 100 por ciento exacto en la práctica", dice Collin Stultz, profesor de ingeniería eléctrica y ciencias de la computación en el MIT y cardiólogo en Massachusetts General Hospital. "Habrá algunos pacientes para los cuales el modelo obtendrá la respuesta incorrecta, y eso puede ser desastroso".

Stultz y sus colegas del MIT, IBM Research y la Facultad de Medicina de la Universidad de Massachusetts han desarrollado un método que les permite determinar si se puede confiar en los resultados de un modelo en particular para un paciente determinado. Según los investigadores, esto podría ayudar a guiar a los médicos a elegir mejores tratamientos para esos pacientes.

Stultz, quien también es profesor de ciencias y tecnología de la salud, miembro del Instituto de Ingeniería Médica y Ciencias y Laboratorio de Investigación de Electrónica del MIT, y miembro asociado del Laboratorio de Ciencias de la Computación e Inteligencia Artificial, es el autor principal del nuevo estudio. El estudiante graduado del MIT Paul Myers es el autor principal del artículo, que aparece hoy en Medicina digital.

Riesgo de modelado

Los modelos de computadora que pueden predecir el riesgo de un paciente de eventos dañinos, incluida la muerte, se usan ampliamente en medicina. Estos modelos a menudo se crean al entrenar algoritmos de aprendizaje automático para analizar conjuntos de datos de pacientes que incluyen una variedad de información sobre los pacientes, incluidos sus resultados de salud.

Si bien estos modelos tienen una alta precisión general, "se ha pensado muy poco en identificar cuándo es probable que un modelo falle", dice Stultz. “Estamos tratando de crear un cambio en la forma en que la gente piensa acerca de estos modelos de aprendizaje automático. Pensar en cuándo aplicar un modelo es realmente importante porque la consecuencia de estar equivocado puede ser fatal ”.

Por ejemplo, un paciente de alto riesgo que está mal clasificado no recibiría un tratamiento lo suficientemente agresivo, mientras que un paciente de bajo riesgo que se determina incorrectamente que tiene un alto riesgo podría recibir intervenciones innecesarias y potencialmente dañinas.

Para ilustrar cómo funciona el método, los investigadores decidieron centrarse en un modelo de riesgo ampliamente utilizado llamado puntaje de riesgo GRACE, pero la técnica se puede aplicar a casi cualquier tipo de modelo de riesgo. GRACE, que significa Registro Global de Eventos Coronarios Agudos, es un gran conjunto de datos que se utilizó para desarrollar un modelo de riesgo que evalúa el riesgo de muerte de un paciente dentro de los seis meses después de sufrir un síndrome coronario agudo (una condición causada por la disminución del flujo sanguíneo al corazón). La evaluación del riesgo resultante se basa en la edad, la presión arterial, la frecuencia cardíaca y otras características clínicas fácilmente disponibles.

La nueva técnica de los investigadores genera un "puntaje de confiabilidad" que varía de 0 a 1. Para una predicción dada del modelo de riesgo, cuanto mayor sea el puntaje, más confiable será esa predicción. El puntaje de confiabilidad se basa en una comparación de la predicción de riesgo generada por un modelo particular, como el puntaje de riesgo GRACE, con la predicción producida por un modelo diferente que fue entrenado en el mismo conjunto de datos. Si los modelos producen resultados diferentes, entonces es probable que la predicción del modelo de riesgo para ese paciente no sea confiable, dice Stultz.

"Lo que mostramos en este documento es que si observa a los pacientes que tienen los puntajes de confiabilidad más altos, en el 1 por ciento superior, la predicción de riesgo para ese paciente arroja la misma información que lanzar una moneda", dice Stultz. “Para esos pacientes, el puntaje GRACE no puede discriminar entre los que mueren y los que no. Es completamente inútil para esos pacientes ".

Los hallazgos de los investigadores también sugirieron que los pacientes para quienes los modelos no funcionan bien tienden a ser mayores y a tener una mayor incidencia de factores de riesgo cardíaco.

Una ventaja significativa del método es que los investigadores obtuvieron una fórmula que indica cuánto estarían en desacuerdo dos predicciones, sin tener que construir un modelo completamente nuevo basado en el conjunto de datos original. 

"No es necesario acceder al conjunto de datos de capacitación para calcular esta medición de confiabilidad, y eso es importante porque hay problemas de privacidad que impiden que estos conjuntos de datos clínicos sean ampliamente accesibles para diferentes personas", dice Stultz.

Reciclar el modelo

Los investigadores ahora están diseñando una interfaz de usuario que los médicos podrían usar para evaluar si la puntuación GRACE de un paciente es confiable. A más largo plazo, también esperan mejorar la confiabilidad de los modelos de riesgo al facilitar el reentrenamiento de modelos con datos que incluyen más pacientes que son similares al paciente que está siendo diagnosticado.

“Si el modelo es lo suficientemente simple, el reentrenamiento de un modelo puede ser rápido. Podría imaginarse un conjunto completo de software integrado en el registro de salud electrónico que le diría automáticamente si una puntuación de riesgo en particular es apropiada para un paciente determinado, y luego tratar de hacer cosas sobre la marcha, como volver a capacitar nuevos modelos que podrían ser más apropiados. ”, Dice Stultz.

La investigación fue financiada por el MIT-IBM Watson AI Lab. Otros autores del artículo incluyen al estudiante graduado del MIT Wangzhi Dai; Kenney Ng, Kristen Severson y Uri Kartoun del Centro de Salud Computacional de IBM Research; y Wei Huang y Frederick Anderson, del Centro de Investigación de Resultados de la Facultad de Medicina de la Universidad de Massachusetts.