Logotipo de Zephyrnet

Aprendizaje automático, inteligencia artificial y gestión de riesgos: TIR34971 explicado

Fecha:

Machine Learning, AI and Risk Management- TIR34971 Explained

TIR34971:2023, Aplicación de la ISO 14971 al aprendizaje automático en inteligencia artificial, fue publicado en marzo de 2023.

El informe técnico es una respuesta al auge de la IA, que ha agregado una capa de complejidad al cumplimiento de las normas y estándares en la industria MedTech que no cubren específicamente las tecnologías más nuevas como la IA. 

Y como aprendizaje automático (ML) se vuelve más frecuente en las recomendaciones de diagnóstico y tratamiento, la industria MedTech necesita orientación sobre cómo mantenerse alineado con estándares como ISO 14971 al diseñar y desarrollar dispositivos que usan ML.

Ahí es donde entra en juego TIR34971:2023. Este informe tiene como objetivo proporcionar a los fabricantes de dispositivos médicos una guía sobre cómo pueden seguir el proceso de gestión de riesgos en ISO 14971 mientras construyen dispositivos que utilizan el aprendizaje automático.

RECURSO ADICIONAL: Haga clic aquí para descargar una herramienta gratuita de análisis de brechas ISO 14971:2019 para garantizar el cumplimiento y mejorar su proceso de gestión de riesgos.

¿Qué es TIR34971 y quién debería usarlo?

TIR34971 es un informe técnico que pretende servir como complemento para ISO 14971:2019. El informe técnico no no proporcionar un nuevo proceso de gestión de riesgos o ampliar los requisitos establecidos en la norma ISO 14971:2019.

Sin embargo, proporciona orientación para los fabricantes que necesitan comprender cómo pueden aplicar la norma ISO 14971 a las tecnologías médicas de IA reguladas. En otras palabras, si su dispositivo usa aprendizaje automático, esta guía lo ayudará a considerar los riesgos únicos asociados con el componente ML de su dispositivo y cómo debe evaluar y controlar esos riesgos.

¿Cuáles son algunas consideraciones clave en el proceso de gestión de riesgos de IA?

La estructura de TIR34971 sigue el proceso de gestión de riesgos descrito en ISO 14971. Nuevamente, no hay nada nuevo aquí en términos de los requisitos enumerados en ISO 14971:2019. Como señala el informe técnico, "los enfoques clásicos de gestión de riesgos son aplicables a los sistemas de ML".

Dicho esto, el uso del aprendizaje automático en un producto crea una gran cantidad de riesgos potencialmente nuevos y desconocidos para los usuarios finales. 

Por ejemplo, el análisis de riesgos aún comienza con la identificación y documentación de una descripción clara de su dispositivo y su uso previsto. Pero si su dispositivo usa aprendizaje automático, las preguntas que hace sobre el uso previsto y el uso indebido previsible son un poco diferentes de lo que serían para un dispositivo médico tradicional. 

TIR34971 señala que es posible que deba hacer preguntas, como:

  • Es esto software que proporciona recomendaciones de diagnóstico o tratamiento? ¿Qué importancia tiene esta información para influir en el usuario? ¿Informa o impulsa la gestión clínica?

  • ¿El sistema ofrece una implementación que no sea ML de la misma funcionalidad?

  • ¿Este dispositivo tiene alguna función autónoma? ¿Cuál es el nivel de autonomía?

  • ¿Este dispositivo tiene la capacidad de aprender con el tiempo? ¿Puede ajustar sus características de rendimiento y, de ser así, cuáles son los límites de ese ajuste?

  • Si se pretende que el sistema aprenda con el tiempo, ¿eso afectará potencialmente su uso previsto?

Sección 5.3 del informe, Identificación de características relacionadas con la seguridad, contiene una gran cantidad de información sobre lo que hay que tener en cuenta al trabajar con IA y aprendizaje automático. 

Gestión de datos 

Dado que los dispositivos médicos basados ​​en el aprendizaje automático deben "entrenarse" en datos antes de su uso con pacientes, existen una serie de riesgos asociados con la gestión de datos. Esta es una sección larga, pero algunos de los problemas más críticos con la gestión de datos incluyen:

  • Datos Incorrectos

  • Datos incompletos

  • Manejo incorrecto de valores atípicos en los datos.

  • Datos inconsistentes que varían de una fuente a otra, por ejemplo

  • Datos subjetivos que han sido influenciados por creencias u opiniones personales.

  • Datos atípicos que no representan la calidad de los datos en el uso real del dispositivo

Parcialidad

El sesgo es una fuente importante de riesgo potencial cuando se trata del rendimiento de un dispositivo médico que utiliza el aprendizaje automático. Si bien no todos los sesgos son inherentemente negativos, hay varias maneras diferentes en que el datos utilizados para entrenar algoritmos de ML pueden estar sesgados de tal manera que afecten su seguridad y eficacia. 

Estos sesgos incluyen:

  • Sesgo implícito

  • Sesgo de selección 

  • no normalidad

  • Variables de representación

  • Sesgo del experimentador

  • Sesgo de atribución de grupo

  • Variables de confusión

Almacenamiento de datos, seguridad y privacidad.

Esto se refiere al hecho de que los datos utilizados durante el desarrollo, la prueba y el entrenamiento de una aplicación de ML pueden ser un objetivo atractivo para los actores malintencionados. 

Y como señala TIR34971, "si bien muchas de las técnicas para garantizar la seguridad cibernética se aplicarán al ML, debido a la naturaleza opaca del ML, puede ser difícil detectar cuándo la seguridad se ha visto comprometida". Esto significa que cualquier empresa MedTech que use ML en sus dispositivos deberá monitorear el rendimiento de sus productos y tomar las medidas adecuadas para garantizar la privacidad, como el uso de datos sintéticos

exceso de confianza

El exceso de confianza se refiere a la tendencia de los usuarios a desarrollar confianza en la tecnología hasta el punto de que se vuelven demasiado dependientes de ella y confían en la tecnología incluso cuando las circunstancias indican que deben ser escépticos.

El exceso de confianza puede ocurrir cuando los usuarios:

  • Desarrolle demasiada confianza en la capacidad de la aplicación.

  • Perciba los riesgos como menores de lo que son y delegue a la aplicación.

  • Tener una gran carga de trabajo. Es más probable que confíe en la aplicación cuando sienta que no tiene tiempo para hacer algo usted mismo o verificar su funcionamiento. 

  • Tienen poca confianza en su propia capacidad y difieren en la aplicación.

Sistemas adaptativos

Un sistema adaptativo que aprende con el tiempo a medida que continúa recopilando datos crea nuevos desafíos con respecto al control de cambios para el dispositivo médico. TIR34971 sugiere que los fabricantes deberían adoptar métodos que admitan la validación continua de estos algoritmos adaptativos, lo que podría permitirles volver a modelos validados anteriormente si el rendimiento se sale de las métricas aceptadas. 

Recuerde, si bien estas características relacionadas con la seguridad pueden ser exclusivas de los dispositivos que utilizan el aprendizaje automático, el proceso de gestión de riesgos descrito en la norma ISO 14971 no ha cambiado. 

TIR34971 también incluye información sobre cómo aplicar lo que aprende en su análisis de riesgos a su evaluación de riesgos, controles de riesgos, evaluación de riesgos residuales, revisión de gestión de riesgos y actividades de producción y posproducción. 

¿Qué se incluye en los anexos TIR34971?

Como suele ser el caso, los anexos en TIR34971 brindan aclaración de conceptos y ejemplos de lo que se discutió en el cuerpo principal del texto.

  • anexo A es simplemente una descripción general de la proceso de gestión de riesgos según ISO 14971, que puede parecer básico, pero es genial tenerlo como referencia mientras trabaja en el informe técnico. 

  • anexo B proporciona ejemplos de peligros relacionados con el aprendizaje automático, así como las relaciones entre esos peligros, su secuencia previsible de eventos, situaciones peligrosas, daños y medidas de control de riesgos.

  • anexo C especifica algunas de las calificaciones del personal que podrían ser necesarias para llevar a cabo adecuadamente el proceso de gestión de riesgos con un dispositivo que tiene un componente de ML.

Y, finalmente, Anexo D cubre las consideraciones para los sistemas autónomos. Este es un elemento importante de su gestión de riesgos porque el nivel de autonomía en un sistema afecta los riesgos del dispositivo. Los dispositivos médicos con cierto grado de autonomía necesitarán medidas específicas de control de riesgos para garantizar su seguridad y eficacia.

RECURSO ADICIONAL: Haga clic aquí para descargar una herramienta gratuita de análisis de brechas ISO 14971:2019 para garantizar el cumplimiento y mejorar su proceso de gestión de riesgos.

Elija una solución de gestión de riesgos impulsada por IA diseñada exclusivamente para dispositivos médicos

En Greenlight Guru, sabemos que la gestión de riesgos es más que una simple actividad de casilla de verificación; es una parte integral de todo el ciclo de vida del dispositivo médico. 

Es por eso que hemos creado una herramienta única en su tipo para la gestión de riesgos, creada específicamente para las empresas MedTech. Soluciones de riesgo de Greenlight Guru proporciona una forma más inteligente para que los equipos de MedTech administren el riesgo de sus dispositivos y sus negocios. 

Alineada tanto con la norma ISO 14971:2019 como con los requisitos basados ​​en el riesgo de la norma ISO 13485:2016, nuestra solución completa combina conocimientos generados por IA con flujos de trabajo de gestión de riesgos intuitivos y especialmente diseñados para optimizar el cumplimiento y reducir el riesgo durante todo el ciclo de vida del dispositivo.

¿Listo para ver cómo Risk Solutions puede transformar la forma en que su negocio aborda la gestión de riesgos? Entonces consigue tu demostración gratuita de Greenlight Guru

punto_img

Información más reciente

punto_img