By steve swartz, Autor de inteligencia artificial, inversionista y emprendedor en serie.

Foto: iStockPhoto / NanoStockk

Por lo general, se requiere una gran experiencia en ciencia de datos para crear un conjunto de datos y construir un modelo para una aplicación en particular. Pero construir un buen modelo no suele ser suficiente. De hecho, no es suficiente. Como se ilustra a continuación, desarrollar y probar un modelo es solo el primer paso.

Ciclo de vida del modelo de aprendizaje automático.

Las operaciones de aprendizaje automático (MLOps) son todo lo demás que se requiere para que ese modelo sea útil, incluidas las capacidades para una canalización de desarrollo e implementación automatizada, monitoreo, administración del ciclo de vida y gobernanza, como se ilustra arriba. Veamos cada uno de estos.

Canalización de automatización

La creación de un sistema de aprendizaje automático de producción requiere varios pasos: primero, los datos deben sufrir una serie de transformaciones. Luego, se entrena el modelo. Por lo general, esto requiere experimentar con diferentes arquitecturas de red e hiperparámetros. A menudo, es necesario volver a los datos y probar diferentes funciones. A continuación, el modelo debe validarse con pruebas unitarias y pruebas de integración. Necesita pasar pruebas de datos y sesgo y explicabilidad del modelo. Finalmente, se implementa en una nube pública, un entorno local o un entorno híbrido. Además, algunos pasos del proceso pueden requerir un flujo de trabajo de aprobación.

Si cada uno de estos pasos se realiza manualmente, el proceso de desarrollo tiende a ser lento y frágil. Afortunadamente, existen muchas herramientas MLOps para automatizar estos pasos desde la transformación de datos hasta la implementación de un extremo a otro. Cuando es necesario reentrenamiento, es un proceso automatizado, confiable y reproducible.

Monitoreo

Los modelos de AA tienden a funcionar bien cuando se implementan por primera vez y luego funcionan peor con el tiempo. Como analista de Forrester, Dr. Kjell Carlsson dijo: “Los modelos de IA son como niños de seis años durante la cuarentena: necesitan atención constante. . . de lo contrario, algo se romperá ".

Es fundamental que las implementaciones incluyan varios tipos de monitoreo para que los equipos de ML puedan recibir alertas cuando esto comience a suceder. El rendimiento puede degradarse debido a problemas de infraestructura, como CPU o memoria inadecuadas. El rendimiento también puede degradarse cuando los datos del mundo real que constituyen las variables independientes que se ingresan al modelo comienzan a adquirir características diferentes a las de los datos de entrenamiento, un fenómeno conocido como deriva de datos.

De manera similar, el modelo puede volverse menos aplicable debido a que las condiciones del mundo real cambian, un fenómeno conocido como deriva del concepto. Por ejemplo, muchos modelos predictivos de comportamiento de clientes y proveedores fueron lanzados en picada por COVID-19.

Algunas empresas también monitorean modelos alternativos (por ejemplo, diferentes arquitecturas de red o diferentes hiperparámetros) para ver si alguno de estos modelos "retadores" comienza a funcionar mejor que el modelo de producción.

A menudo, tiene sentido poner barreras alrededor de las decisiones tomadas por el modelo. Estas medidas de seguridad son reglas simples que activan una alerta, evitan la decisión o colocan la decisión en un flujo de trabajo para la aprobación humana.

Gestión del ciclo de vida

Cuando el rendimiento del modelo comienza a degradarse debido a los datos o la deriva del modelo, se requiere reentrenamiento del modelo y posiblemente una nueva arquitectura del modelo. Sin embargo, el equipo de ciencia de datos no debería tener que empezar de cero. Al desarrollar el modelo original, y quizás en re-arquitecturas anteriores, probablemente probaron muchas arquitecturas, hiperparámetros y características. Es fundamental que todos estos experimentos (y resultados) anteriores se registren para que el equipo de ciencia de datos no tenga que volver al punto de partida. También es fundamental para la comunicación y la colaboración entre los miembros del equipo de ciencia de datos.

Gobierno

Los modelos de aprendizaje automático se utilizan para muchas aplicaciones que afectan a las personas, como la decisión de préstamo bancario, el diagnóstico médico y las decisiones de contratación / despido. El uso de modelos ML en la toma de decisiones ha sido criticado por dos razones: Primero, estos modelos están sujetos a sesgos, especialmente si los datos de entrenamiento dan como resultado modelos que discriminan por raza, color, etnia, origen nacional, religión, género, orientación sexual u otras clases protegidas. En segundo lugar, estos modelos suelen ser cajas negras que no explican su toma de decisiones.

Como resultado, las organizaciones que utilizaron la toma de decisiones basada en ML están bajo presión para garantizar que sus modelos no discriminen y sean capaces de explicar sus decisiones. Muchos proveedores de MLOps están incorporando herramientas basadas en la investigación académica (por ejemplo, FORMA y Graduado-CAM) que ayudan a explicar las decisiones del modelo y utilizan una variedad de técnicas para garantizar que los datos y los modelos no estén sesgados. Además, están incorporando pruebas de sesgo y explicabilidad en sus protocolos de monitoreo porque los modelos pueden volverse sesgados o perder capacidad explicativa con el tiempo.

Las organizaciones también necesitan generar confianza y están comenzando a garantizar que el desempeño continuo, la ausencia de sesgos y la explicabilidad sean auditables. Esto requiere catálogos de modelos que no solo documenten todos los datos, parámetros y decisiones de arquitectura, sino que también registren cada decisión y proporcionen trazabilidad para que se pueda determinar qué datos, modelo y parámetros se utilizaron para cada decisión, cuándo se volvió a capacitar o cuándo se volvió a entrenar el modelo. modificado de otra manera, y quién hizo cada cambio. También es importante que los auditores puedan repetir transacciones históricas y probar los límites de la toma de decisiones del modelo con escenarios hipotéticos.

La seguridad y la privacidad de los datos también son preocupaciones clave para las organizaciones que utilizan ML. Se debe tener cuidado para garantizar que la información personal esté protegida y que las capacidades de acceso a datos basadas en roles sean esenciales, especialmente para las industrias reguladas.

Los gobiernos de todo el mundo también se están moviendo rápidamente para regular la toma de decisiones basada en el LA que afecta a las personas. La Unión Europea ha liderado el camino con sus regulaciones GDPR y CRD IV. En los EE. UU., Varias agencias reguladoras, incluido el Banco de la Reserva Federal de EE. UU. Y la FDA, han creado regulaciones en torno a la toma de decisiones basada en ML para decisiones financieras y médicas. Una ley más integral, la Ley de Transparencia y Responsabilidad de Datos de 2020, recientemente propuesta, está programada para ser considerada por el Congreso en 2021. Es probable que las regulaciones evolucionen hasta el punto en que el CEO necesite aprobar la explicabilidad y la falta de sesgo en sus modelos de ML. .

El paisaje de MLOps

A medida que continuamos en 2021, el mercado de MLOps está explotando. Según la firma de analistas Cognilytica, se espera que sea un $ 4 millones de mercado por 2025.

Hay grandes y pequeños jugadores en el espacio MLOps. Los principales proveedores de plataformas ML como Amazon, Google, Microsoft, IBM, Cloudera, Domino, DataRobot y H2O están incorporando capacidades MLOps en sus plataformas. Según Crunchbase, hay 35 empresas privadas en el espacio MLOps que han recaudado entre $ 1.8M y $ 1B en financiamiento y que tienen entre 3 y 2800 empleados en LinkedIn:

Muchas de estas empresas se centran en un solo segmento de MLOps, como la canalización de automatización, la supervisión, la gestión del ciclo de vida o la gobernanza.  Algunos sostienen que el uso de múltiples productos MLOps, los mejores de su clase, es mejor para proyectos de ciencia de datos que las plataformas monolíticas. Y algunas empresas están creando productos MLOps para verticales específicas. Por ejemplo, monitor se posiciona como la mejor solución de gobernanza que puede funcionar con cualquier plataforma. Monitaur también está desarrollando capacidades de gobernanza de MLOps específicas de la industria para industrias reguladas, comenzando con los seguros. (Divulgación completa: soy inversor en Monitaur).

También hay una serie de proyectos MLOps de código abierto, que incluyen:

• MLFujo gestiona el ciclo de vida del AA, incluida la experimentación, la reproducibilidad y la implementación, e incluye un registro de modelo
• DVC gestiona el control de versiones de los proyectos de ML para que se puedan compartir y reproducir
• Poliaxón tiene capacidades para la experimentación, la automatización del ciclo de vida, la colaboración y la implementación, e incluye un registro de modelo
• Metaflujo es un antiguo proyecto de Netflix para gestionar el proceso de automatización y la implementación
• Kubeflow tiene capacidades para la automatización y la implementación del flujo de trabajo en contenedores de Kubernetes

2021 promete ser un año interesante para MLOps. Es probable que veamos un crecimiento rápido, una competencia tremenda y, muy probablemente, algo de consolidación.

Bio: steve swartz (@sshwartz) comenzó su carrera en IA como un postdoctorado en la Universidad de Yale hace muchos años, es un exitoso empresario e inversor en serie, y es el autor de “Robots malvados, ordenadores asesinos y otros mitos: la verdad sobre la IA y el futuro de la humanidad”.

Relacionado:

• Una lista de verificación de monitoreo del modelo de aprendizaje automático: 7 cosas para rastrear
• Cómo utilizar MLOps para una estrategia de IA eficaz
• MLOps: Monitoreo de modelos 101