El avance de la potencia informática en las últimas décadas ha llevado a una explosión de datos digitales, desde cámaras de tráfico que monitorean los hábitos de los viajeros hasta refrigeradores inteligentes que revelan cómo y cuándo come la familia promedio. Tanto los informáticos como los líderes empresariales han tomado nota del potencial de los datos. La información puede profundizar nuestra comprensión de cómo funciona nuestro mundo y ayudar a crear productos mejores y más "inteligentes".

El aprendizaje automático (ML), un subconjunto de la inteligencia artificial (IA), es una pieza importante de la innovación basada en datos. Los ingenieros de aprendizaje automático toman conjuntos de datos masivos y usan métodos estadísticos para crear algoritmos entrenados para encontrar patrones y descubrir información clave en proyectos de minería de datos. Estos conocimientos pueden ayudar a impulsar las decisiones en los negocios y avanzar en el diseño y las pruebas de las aplicaciones.

Hoy, el 35 % de las empresas informan que usan IA en sus negocios, lo que incluye ML, y un 42 % adicional informó que están explorando la IA, según el Índice de adopción de IA global de IBM 2022. Debido a que ML se está integrando cada vez más en las operaciones comerciales diarias, los equipos de ciencia de datos buscan formas más rápidas y eficientes de administrar iniciativas de ML, aumentar la precisión del modelo y obtener conocimientos más profundos.

MLOps es la próxima evolución del análisis de datos y el aprendizaje profundo. Avanza la escalabilidad de ML en aplicaciones del mundo real mediante el uso de algoritmos para mejorar el rendimiento y la reproducibilidad del modelo. En pocas palabras, MLOps utiliza el aprendizaje automático para hacer que el aprendizaje automático sea más eficiente.

¿Qué es MLOps?

MLOps, que significa operaciones de aprendizaje automático, utiliza automatización, integración continua y entrega/implementación continua (CI/CD)y modelos de aprendizaje automático para agilizar la implementación, el monitoreo y el mantenimiento del sistema general de aprendizaje automático.

Debido a que el ciclo de vida del aprendizaje automático tiene muchos componentes complejos que abarcan varios equipos, requiere una colaboración estrecha para garantizar que las transferencias se realicen de manera eficiente, desde la preparación de datos y el entrenamiento del modelo hasta la implementación y el monitoreo del modelo. MLOps fomenta una mayor colaboración entre los científicos de datos, los ingenieros de software y el personal de TI. El objetivo es crear un proceso escalable que proporcione mayor valor a través de la eficiencia y la precisión.

Orígenes del proceso MLOps

MLOps nació al darse cuenta de que la gestión del ciclo de vida de ML era lenta y difícil de escalar para la aplicación comercial. El término se acuñó originalmente en 2015 en un artículo de investigación publicado llamado "Deudas técnicas ocultas en el sistema de aprendizaje automático", que destacaba los problemas comunes que surgían al usar el aprendizaje automático para aplicaciones comerciales.

Debido a que los sistemas de ML requieren recursos significativos y tiempo práctico de equipos a menudo dispares, surgieron problemas por falta de colaboración y simples malentendidos entre los científicos de datos y los equipos de TI sobre cómo desarrollar el mejor proceso. El documento sugirió crear un proceso sistemático de "MLOps" que incorporó la metodología CI/CD comúnmente utilizada en DevOps para crear esencialmente una línea de montaje para cada paso.

MLOps tiene como objetivo optimizar el tiempo y los recursos necesarios para ejecutar modelos de ciencia de datos mediante automatización, ML y mejoras iterativas en cada versión del modelo.

Cómo funciona el desarrollo de aprendizaje automático

Para comprender mejor el proceso de MLOps y sus ventajas, es útil revisar primero cómo evolucionan los proyectos de ML a través del desarrollo de modelos.

Cada organización comienza primero el proceso de ML al estandarizar su sistema de ML con un conjunto básico de prácticas, que incluyen:

• Qué fuentes de datos se utilizarán.
• Cómo se almacenan los modelos.
• Dónde están desplegados.
• El proceso para monitorear y abordar problemas en los modelos una vez en producción.
• Cómo usar ML para automatizar el proceso de refinación en un proceso de ML cíclico.
• Cómo se usarán MLOps dentro de la organización.

Una vez definidos, los ingenieros de ML pueden comenzar a construir la canalización de datos de ML:

• Crear y ejecutar el proceso de decisión: los equipos de ciencia de datos trabajan con los desarrolladores de software para crear algoritmos que puedan procesar datos, buscar patrones y "adivinar" lo que podría suceder a continuación.
• Realice la validación en el proceso de error: este método mide la calidad de las conjeturas comparándolas con ejemplos conocidos cuando están disponibles. Si el proceso de decisión no fue correcto, el equipo evaluará qué tan grave fue el error.
• Utilice la ingeniería de funciones para obtener velocidad y precisión: en algunos casos, el conjunto de datos puede ser demasiado grande, faltan datos o incluye atributos que no son necesarios para obtener el resultado deseado. Ahí es donde entra la ingeniería de características. Cada atributo de datos, o característica, se administra dentro de un almacén de características y se puede agregar, eliminar, combinar o ajustar para mejorar el modelo de aprendizaje automático. El objetivo es entrenar mejor el modelo para un mejor rendimiento y un resultado más preciso.
• Iniciar actualizaciones y optimización: aquí, los ingenieros de ML comenzarán a "recapacitar" el método del modelo de ML al actualizar cómo el proceso de decisión llega a la decisión final, con el objetivo de acercarse al resultado ideal.
• Repetir: los equipos volverán a pasar por cada paso de la canalización de ML hasta que hayan logrado el resultado deseado.

Pasos en el proceso de MLOps

Donde MLOps ve el mayor beneficio es en la orquestación iterativa de tareas. Mientras los científicos de datos revisan nuevas fuentes de datos, los ingenieros ajustan las configuraciones de ML. Hacer ajustes simultáneos en tiempo real reduce enormemente el tiempo dedicado a las mejoras.

Estos son los pasos comúnmente tomados en el proceso de MLOps:

1. Preparar y compartir datos: los equipos de ML preparan conjuntos de datos y los comparten en catálogos, refinando o eliminando datos incompletos o duplicados para prepararlos para el modelado, así como para asegurarse de que los datos estén disponibles en todos los equipos.
2. Cree y entrene modelos: aquí es donde los equipos de ML usan las prácticas de Ops para hacer MLOps. Usando AutoML o AutoAI, bibliotecas de código abierto como scikit-learn e hyperopt, o codificación manual en Python, los ingenieros de ML crean y entrenan los modelos de ML. En resumen, están utilizando modelos de capacitación de ML existentes para capacitar nuevos modelos para aplicaciones comerciales.
3. Modelos de implementación: los modelos de ML están disponibles dentro del espacio de implementación y se accede a ellos a través de una interfaz de usuario (IU) o un cuaderno, como los cuadernos de Jupyter. Aquí es donde los equipos pueden monitorear los modelos implementados y buscar sesgos implícitos.
4. Mejorar los modelos con automatización: en esta etapa, similar al proceso de error anterior, los equipos usan datos de capacitación establecidos para automatizar la mejora del modelo que se está probando. Los equipos pueden usar herramientas como Watson OpenScale para garantizar que los modelos sean precisos y luego hacer ajustes a través de la interfaz de usuario.
5. Automatice el ciclo de vida de ML: una vez que los modelos se crean, entrenan y prueban, los equipos configuran la automatización dentro de las canalizaciones de ML que crean flujos repetibles para un proceso aún más eficiente.

Cómo la IA generativa está evolucionando MLOps

El lanzamiento de ChatGPT de OpenAI despertó interés en las capacidades de IA en todas las industrias y disciplinas. Esta tecnología, conocida como IA generativa, tiene la capacidad de escribir código de software, crear imágenes y producir una variedad de tipos de datos, además de desarrollar aún más el proceso MLOps.

IA generativa es un tipo de modelo de aprendizaje profundo que toma datos sin procesar, los procesa y "aprende" para generar resultados probables. En otras palabras, el modelo de IA utiliza una representación simplificada de los datos de entrenamiento para crear un nuevo trabajo similar, pero no idéntico, a los datos originales. Por ejemplo, al analizar el lenguaje utilizado por Shakespeare, un usuario puede solicitar un modelo generativo de inteligencia artificial para crear un soneto similar a Shakespeare sobre un tema determinado para crear una obra completamente nueva.

La IA generativa se basa en modelos básicos para crear un proceso escalable. A medida que la IA ha evolucionado, los científicos de datos han reconocido que la construcción de modelos de IA requiere una gran cantidad de datos, energía y tiempo, desde compilar, etiquetar y procesar conjuntos de datos que los modelos usan para "aprender" hasta la energía que se necesita para procesar los datos y entrenar iterativamente. los modelos. Los modelos de fundación tienen como objetivo resolver este problema. Un modelo básico toma una gran cantidad de datos y el uso del aprendizaje autosupervisado y el aprendizaje por transferencia puede tomar esos datos para crear modelos para una amplia gama de tareas.

Este avance en IA significa que los conjuntos de datos no son específicos de una tarea: el modelo puede aplicar la información que ha aprendido sobre una situación a otra. Los ingenieros ahora están usando modelos básicos para crear modelos de entrenamiento para procesos MLOps más rápido. Simplemente toman el modelo base y lo ajustan utilizando sus propios datos, en lugar de tomar sus datos y construir un modelo desde cero.

Beneficios de MLOps

Cuando las empresas crean un proceso más eficiente, colaborativo y estandarizado para crear modelos de ML, les permite escalar más rápido y usar MLOps de nuevas formas para obtener información más profunda con los datos comerciales. Otros beneficios incluyen:

• Mayor productividad: la naturaleza iterativa de las prácticas de MLOps libera tiempo para que TI, ingeniería, desarrolladores y científicos de datos se concentren en el trabajo principal.
• Rendición de cuentas—De acuerdo con el Índice de adopción de IA global de IBM 2022, la mayoría de las organizaciones no han tomado medidas clave para garantizar que su IA sea confiable y responsable, como reducir el sesgo (74 %), rastrear las variaciones de rendimiento y la desviación del modelo (68 %) y asegurarse de que puedan explicar las decisiones impulsadas por la IA. (61%). La creación de un proceso de MLOps se basa en la supervisión y la validación de datos para proporcionar una buena gobernanza, responsabilidad y precisión en la recopilación de datos.
• Eficiencia y ahorro de costes: antes, los modelos de ciencia de datos requerían una potencia informática significativa a un coste elevado. Cuando estos modelos de ciencia de datos que consumen mucho tiempo se optimizan y los equipos pueden trabajar en mejoras simultáneamente, se ahorra tiempo y costos.
• Riesgo reducido: los modelos de aprendizaje automático necesitan revisión y escrutinio. MLOps permite una mayor transparencia y una respuesta más rápida a tales solicitudes. Cuando las organizaciones cumplen con las métricas de cumplimiento, se reduce el riesgo de retrasos costosos y esfuerzos desperdiciados.

Casos de uso de MLOps

Existen innumerables casos de uso empresarial para el aprendizaje profundo y el aprendizaje automático. Estos son algunos casos en los que MLOps puede impulsar una mayor innovación.

TI: el uso de MLOps crea una mayor visibilidad de las operaciones, con un centro central para la implementación, el monitoreo y la producción, particularmente cuando se crean modelos de inteligencia artificial y aprendizaje automático.

Ciencia de datos: los científicos de datos pueden usar MLOps no solo para la eficiencia, sino también para una mayor supervisión de los procesos y una mejor gobernanza para facilitar el cumplimiento normativo.

DevOps: los equipos de operaciones y los ingenieros de datos pueden administrar mejor los procesos de ML mediante la implementación de modelos que están escritos en lenguajes de programación con los que están familiarizados, como Python y R, en entornos de tiempo de ejecución modernos.

MLOps frente a DevOps

DevOps es el proceso de entrega de software combinando y automatizando el trabajo de los equipos de desarrollo de software y operaciones de TI. MLOps, por otro lado, es específico para proyectos de aprendizaje automático.

Sin embargo, MLOps toma prestado de los principios de DevOps de un enfoque rápido y continuo para escribir y actualizar aplicaciones. El objetivo en ambos casos es llevar el proyecto a producción de manera más eficiente, ya sea software o modelos de aprendizaje automático. En ambos casos, el objetivo es realizar correcciones más rápidas, lanzamientos más rápidos y, en última instancia, un producto de mayor calidad que aumente la satisfacción del cliente.

MLOps frente a AIOps

AIOPS, o inteligencia artificial para operaciones de TI, utiliza capacidades de IA, como procesamiento de lenguaje natural y modelos de ML, para automatizar y optimizar los flujos de trabajo operativos. Es una forma de administrar el volumen cada vez mayor de datos producidos dentro de un entorno de producción y ayudar a los equipos de operaciones de TI a responder más rápidamente, incluso de manera proactiva, a las ralentizaciones y las interrupciones.

Donde MLOps se enfoca en construir y entrenar modelos ML para usar en una cantidad de aplicaciones, AIOps se enfoca en optimizar las operaciones de TI.

MLOps e IBM

Watsonx.ai permite a los científicos, desarrolladores y analistas de datos crear, ejecutar y administrar modelos de IA, lo que lleva a la producción de IA tradicional e IA generativa más rápido. Cree modelos visualmente o con código, e impleméntelos y monitorícelos en producción. Con MLOps, puede simplificar la producción de modelos desde cualquier herramienta y proporcionar un reentrenamiento automático de modelos.

¿Busca escalar el impacto de la IA en su negocio?

Explore watsonx.ai, nuestro estudio empresarial de próxima generación para desarrolladores de IA