La Universidad de Pensilvania e Intel han creado una federación de 30 instituciones para utilizar el aprendizaje federado para entrenar modelos de inteligencia artificial (IA) para identificar los límites de los tumores cerebrales. (IMÁGENES FALSAS)Por Allison Proffitt, Directora Editorial, AI Trends
La Universidad de Pensilvania e Intel han creado una federación de 30 instituciones para utilizar el aprendizaje federado para entrenar modelos de inteligencia artificial (IA) para identificar los límites de los tumores cerebrales.
Dirigida por Spyridon Bakas en el Centro de Análisis y Computación Biomédica de Imágenes (CBICA) en la Facultad de Medicina Perelman de la Universidad de Pensilvania, la federación es el siguiente paso adelante en un esfuerzo de muchos años para recopilar datos que potenciarían la inteligencia artificial en el cerebro análisis de imagen.
"Durante mis últimos años de investigación, me he centrado en aprender modelos predictivos de segmentación de tumores cerebrales, predecir la genómica, predecir la supervivencia general de los pacientes a partir de escáneres basales ..., evaluando la propensión del tumor a ser más agresivo por varios medios, hacia la mejora del resultado clínico de los pacientes ", dijo Bakas Mundo Bio-IT.
Los tumores cerebrales tienen múltiples compartimentos sensibles que se muestran en diferentes escaneos de diferentes maneras: partes activas del tumor que están realmente vascularizadas, partes necróticas del tumor donde el tejido ha muerto y partes de tumores que se están infiltrando en el tejido sano.
"Una anomalía en el cerebro es bastante fácil de detectar para alguien", dijo Bakas. Al aplicar AI al problema, "no se detecta si hay un tumor o no; es para detectar los límites del tumor ".
Spyridon Bakas, Centro de Computación y Análisis de Imágenes Biomédicas, Perelman School of Medicine, Universidad de PennsylvaniaBakas ha liderado el International Brain Tumor Segmentation Challenge (BraTS) desde 2017. Los desafíos anuales, que comenzaron en 2012, evalúan métodos de vanguardia para la segmentación de tumores cerebrales en escáneres de imágenes de resonancia magnética multimodal (MRI). En el camino, explicó Bakas, se familiarizó con los obstáculos de reunir un conjunto de datos centralizado para que sirviera como el conjunto de datos de referencia de la comunidad para BraTS. Los participantes estaban preocupados por la privacidad tanto desde la perspectiva institucional como cultural. Las organizaciones solo estaban dispuestas a compartir imágenes de resonancia magnética en unas pocas docenas de pacientes.
Después de casi diez años del desafío BraTS, el grupo ha reunido un conjunto de datos acumulativos de 650 pacientes adultos que consta de cuatro imágenes de cada paciente.
Pero cada institución miembro tiene al menos esta cantidad de datos, explicó Bakas. "Si no hubiera problemas de privacidad o propiedad de datos, deberíamos tener 650 x 21 [pacientes], un conjunto de datos completo de cada una de las instituciones involucradas en BraTS".
Seguramente había una solución.
Bakas, un científico computacional de formación, comenzó a pensar en enfoques de aprendizaje automático. En una conferencia a principios de 2018, se reunió con investigadores de Intel AI e Intel Labs. "Se nos ocurrió esta idea: utilizar el aprendizaje automático federado en medicina para imágenes médicas".
Ingrese Intel
El aprendizaje federado fue introducido por primera vez por Google en 2017 y solía entrenar modelos de autocorrección para enviar mensajes de texto. Los propietarios de datos entrenan una arquitectura modelo localmente usando solo sus propios datos. Luego, cada modelo se comparte con un servidor de agregación, que crea un modelo de consenso de todo el conocimiento acumulado de los propietarios de los datos, a pesar de que los datos sin procesar nunca salen de sus instituciones.
Jason Martin, ingeniero principal de Intel Labs e investigador de privacidad, había estado explorando formas de aplicar el aprendizaje federado, particularmente en dominios sensibles a la privacidad.
Jason Martin, ingeniero principal en Intel Labs (INTEL LABS)"Cuando observamos [el aprendizaje federado], nos dimos cuenta de que podíamos aportar algo de tecnología de seguridad y privacidad y conocimiento de dominio", dijo Martin. "Comenzamos a ver qué casos de uso importantes se beneficiarían de este tipo de aprendizaje federado que preserva la privacidad".
Las imágenes médicas tenían sentido, por lo que Bakas, Martin y sus colegas comenzaron con un estudio de factibilidad: crear un falso sistema de aprendizaje federado utilizando los datos de BraTS que ya están disponibles. ¿Podría un modelo de aprendizaje federado entrenar un algoritmo con la misma precisión que los datos agrupados?
El equipo dividió los datos de BraTS donados aproximadamente a la mitad. Se utilizaron datos de nueve instituciones para la validación y capacitación del modelo agrupado; los datos de 10 instituciones se dividieron por institución de origen y se capacitaron de manera federada, como si nunca se hubieran compartido.
“Capacitamos un modelo de IA sobre los datos centralizados que se compartieron todos. Luego obtuvimos el rendimiento X ”, explicó Bakas. “Luego tomamos los datos, los distribuimos como si no se compartieran y aplicamos el enfoque federado. Capacitamos el modelo en los datos de cada institución y lo agregamos de una manera para crear un modelo de consenso ".
El equipo descubrió que los dos grupos tuvieron un desempeño casi idéntico. El rendimiento de los modelos federados de segmentación semántica en escáneres cerebrales multimodales tenía un coeficiente de dados de 0.852, mientras que los modelos entrenados al compartir datos tenían un coeficiente de dados de 0.862. (Un coeficiente de dados de 1 sería una alineación perfecta entre el modelo y la realidad).
"El modelo federado tenía un rendimiento del 99% con respecto al rendimiento del modelo entrenado en datos centralizados", dijo Bakas.
Este estudio de viabilidad se entregó en 2018 en el Taller Internacional de Brainlesion MICCAI (DOI: 10.1007/978-3-030-11723-8_9) Bakas y Martin son ambos autores.
"Fuimos los primeros en demostrar que si dividía esos datos en las 10 instituciones médicas originales que los donaron, y los trataba como una federación en lugar de una donación central, podría obtener casi el mismo rendimiento de segmentación de la máquina modelo de aprendizaje ", dijo Martin. "¡Eso fue muy emocionante!"
Y es sobre esa base que se construirá la nueva federación.
Bakas recibió una subvención del programa de Tecnología Informática para la Investigación del Cáncer (ITCR) del Instituto Nacional del Cáncer (NCI) de los Institutos Nacionales de Salud (NIH) para explorar más la idea. La subvención de tres años y $ 1.2 millones financia el trabajo de Penn Medicine en el desarrollo de la plataforma de segmentación de tumores federados (FeTS), el kit de herramientas de código abierto y la GUI fácil de usar. Penn Medicine aporta la competencia en imágenes médicas y aprendizaje automático, explicó Bakas. Intel Labs es el proveedor de tecnología y aporta toda la experiencia en seguridad y privacidad.
"Hemos estado trabajando con Spyros para crear una plataforma de aprendizaje federada real, el software real y los componentes de infraestructura que son necesarios para que varias instituciones colaboren en Internet pública", dijo Martin.
Nueva Federación, Nuevas Preguntas
Aunque el estudio de factibilidad fue muy prometedor para la precisión del aprendizaje federado, todavía hay preguntas por responder. ¿Cómo se comportaría tal federación en el mundo real? ¿Cuáles son los riesgos de privacidad? ¿Cuánto trabajo supondrá el aprendizaje federado para las instituciones de alojamiento de datos?
"Conocemos algunas de las respuestas a esas preguntas y, francamente, algunas de ellas espero que aprendamos a medida que avanzamos", dijo Martin.
El grupo original de BraTS incluyó 19 instituciones; la federación actual cuenta con 30 grupos. Todos los miembros de la federación son instituciones de investigación y han dedicado un esfuerzo de investigación, no solo datos, al proyecto.
Habrá un trabajo significativo para las instituciones de acogida de datos, al menos al principio. El modelo de aprendizaje federado es un modelo de aprendizaje supervisado. Los datos deben ser anotados a mano. En este caso, un radiólogo de cada organización miembro etiquetará los tumores en las imágenes de resonancia magnética de acuerdo con un protocolo establecido a través de BraTS. Ese es un paso costoso. En el futuro, a una escala mucho mayor, un modelo de aprendizaje federado podría cambiar a un aprendizaje no supervisado, disminuyendo parte de la carga para las instituciones participantes.
Otras grandes preguntas para los hosts de datos se centrarán en la privacidad y el ancho de banda. Martin espera que los primeros miembros de la federación probablemente muevan los datos que se han comprometido a usar para la capacitación de modelos a un servidor separado para una mayor privacidad. En teoría, por supuesto, esos datos no abandonarán la institución, pero la arquitectura del modelo irá y vendrá a través de Internet. "Creo que tomará algún tiempo obtener comodidad con algo que tiene conectividad a Internet conectada, por ejemplo, a los propios sistemas de salud", dijo.
Algunos de los desafíos en un modelo de aprendizaje federado son simplemente sociales y relacionales: construir confianza dentro del grupo. Martin argumenta que es muy importante que todos los participantes confíen en que otros están jugando con las mismas reglas. El hardware puede ayudar.
“Gran parte de nuestro enfoque aquí en Intel se ha centrado en garantizar que, cuando se despliegue [la federación], las partes que participan puedan confiar mutuamente para contribuir de manera justa, y que el hardware haga cumplir las reglas de participación, si lo desea. plataformas y el software que estamos desarrollando ", explicó Martin.
Pero todo el modelo aún requiere confianza interpersonal.
"La plataforma que estamos creando todavía requiere que vengas a la mesa, o mesa virtual, y decidas tus experimentos o tus objetivos", dijo Martin. “Una vez que está de acuerdo con ellos, esas son las reglas que queremos aplicar a través de los mecanismos en la arquitectura del sistema. Lo que acepte en la mesa no puede verse comprometido intencionalmente o no por malware o malos actores que entran en el sistema ".
Modelo abierto
La propia Federación acaba de lanzarse. El equipo de Martin está abordando, "lo que podría considerar algunas de las partes aburridas de la federación", explicó: "conseguir que el número de conexiones funcione y tal. Estamos fortaleciendo ese software hasta el punto en que pueda implementarse en el resto de la federación ".
Bakas y su laboratorio están "en el proceso de servir el algoritmo de la fase dos a las instituciones externas". El software estará disponible de código abierto, dijo. “Queremos que este marco esté disponible públicamente. No queremos crear un software propietario que alguien deba pagar una licencia o utilizar para construir ". Bakas cree que el marco podría aplicarse fácilmente a otras áreas de enfermedades o incluso a tipos de datos.
Una vez que el software esté en su lugar, cada "ronda federada", un ciclo de capacitación de la arquitectura del modelo en los hosts de datos y luego enviarla de regreso al agregador, tomará "en la escala de días a semanas", predice Martin.
Este no será un circuito único. Bakas dice que devolver el modelo de consenso a las instituciones miembros generará un impacto clínico y solo mejorará a medida que se incluyan datos más diversos. El modelo también mejorará. El aprendizaje federado permite a los investigadores explorar nuevas arquitecturas de modelos (hiperparámetros) y ajustar el modelo. Bakas y su equipo en Penn Medicine podrán refinar los modelos de aprendizaje automático con los datos adicionales que ofrece el aprendizaje federado.
