La IA es solo humana

Los modelos de máquinas también se basan en una definición de éxito y una penalización por falla, según científica de datos y autora Cathy O'Neil, quien dio una charla en el evento sobre las deficiencias de los modelos matemáticos.

Estos también están escritos por humanos, a menudo científicos de datos, y el problema aquí es que "no todos están de acuerdo en cómo se ve el éxito fuera de los límites de un juego de ajedrez o un juego de béisbol", dijo O'Neil.

Además, los algoritmos de aprendizaje automático operan en la llamada caja negra, por lo que se conocen las entradas y salidas, pero no está claro cómo o por qué un algoritmo hace la recomendación.

Sin embargo, a pesar de todo esto, las recomendaciones de aprendizaje automático a menudo se presentan y se ven como una verdad objetiva, dijo O'Neil. Y la fe ciega en su precisión ya está dañando vidas, como ProPublica descubierto en un algoritmo de reincidencia que favorecía a los delincuentes blancos sobre los delincuentes negros y Gary Rubinstein descubrió en un algoritmo de evaluación de maestros defectuoso utilizado para despedir a los educadores que obtuvieron malas calificaciones.

O'Neil tiene un nombre para algoritmos como estos: los llama armas de destrucción matemática (ver barra lateral). “Cuando construimos algoritmos, y soy un científico de datos, así que construyo algoritmos, estoy tomando un montón de decisiones subjetivas”, dijo. “Y cuando presento los resultados de esas decisiones subjetivas como una verdad objetiva e imparcial, estoy mintiendo”.

Un llamado a la IA explicable

Las dos presentaciones, parte de la serie de conferencias magistrales de apertura del primer día en Strata, fueron un grito de advertencia para los científicos de datos que están ayudando a construir una sociedad más algorítmica. El tono de los discursos de apertura se desvió del entusiasmo y la pasión que a menudo se escuchan en los eventos de inteligencia artificial y aprendizaje automático de hoy, pero O'Neil y Lavigne no fueron vistos como mantas mojadas.

A pesar del frenesí mediático de la IA, las empresas y los gobiernos están preocupados por la caja negra del aprendizaje automático. El Reglamento General de Protección de Datos de la UE, que entrará en vigor el próximo año, incluye una derecho a la cláusula de explicación, o una explicación de cómo un modelo tomó una decisión. Además, las industrias fuertemente reguladas deben demostrar que los modelos que utilizan no están sesgados, según Doug Henschen, analista de Constellation Research Inc., con sede en Cupertino, California, y asistente a la conferencia de Strata.

Algunos en la industria se refieren a este impulso para abrir la caja negra del aprendizaje automático como IA explicable, a menudo truncada como XAI. algunos lo llaman GRASA ML, o equidad, responsabilidad y transparencia en el aprendizaje automático. Independientemente del acrónimo, la opacidad asociada con el aprendizaje automático es un problema real para las empresas, que están dando a conocer sus reservas a los proveedores, dijo Henschen. “Es por eso que está viendo muchos anuncios [de proveedores] en torno a esta idea de transparencia”, dijo.

Señaló dos lanzamientos de productos que se realizaron la misma semana que la conferencia de Strata: H2O.ai's interpretabilidad del aprendizaje automático con su producto Driverless AI, una plataforma empresarial que funciona con Nvidia DGX Systems; y de Microsoft próxima generación de Azure Machine Learning anuncio, que incluye un Banco de trabajo de aprendizaje automático de Azure.

Tirando hacia atrás de las cubiertas

Los dos productos proporcionan una funcionalidad diferente, pero ambos están dirigidos a hacer modelos de aprendizaje automático más transparentes. Una de las nuevas características de Azure Machine Learning Workbench es un servicio de administración de modelos, que pretende brindar a los desarrolladores una vista del ciclo de vida de desarrollo de un modelo de aprendizaje automático desde el creador hasta el código fuente y los datos de entrenamiento.

La gestión de modelos es un punto crítico importante para las empresas, según Matt Winkler, administrador de programas grupales para aprendizaje automático en Microsoft. “Y si bien tenemos mucha experiencia en el espacio de software para administrar componentes, en realidad no tenemos muchas de esas capacidades en el espacio de ciencia de datos, ML/AI”, dijo.

El servicio de administración de modelos de Microsoft no revela cómo los modelos de aprendizaje automático toman decisiones, pero Winkler dijo que ayuda a sentar las bases para hacerlo. “De hecho, puede entrar y depurar por qué se tomó una decisión”, dijo. El servicio puede ser útil para las empresas que tiene la obligación de explicar cómo se toma una decisión porque ayuda a exponer "los métodos, las herramientas y los marcos que se utilizan", dijo.

Las nuevas funciones de H2O incluyen técnicas como "modelos sustitutos" que pueden ayudar a interpretar los resultados de los modelos de aprendizaje automático. “Estos son modelos simples de modelos complejos”, dijo patricio salón, director sénior de producto en H2O.ai, con sede en Mountain View, California.

Muchas de las técnicas se basan en el trabajo realizado en la calificación crediticia, que utiliza modelos para aprobar automáticamente las tarjetas de crédito o los préstamos pequeños de los clientes. Los prestamistas de crédito están obligados a proporcionar explicaciones, a menudo llamadas códigos de motivo, a los clientes si son rechazados. Las características de interpretabilidad del aprendizaje automático de H2O tienen como objetivo proporcionar el mismo tipo de información sobre las predicciones del modelo de aprendizaje automático.

“Son formas de comprender para una persona, un cliente, un paciente, una fila en el conjunto de datos por qué el modelo tomó la decisión que tomó”, dijo Hall.

Pero las nuevas funciones de H2O no resuelven por completo el problema de la transparencia. Hall, por ejemplo, no recomienda que las industrias reguladas utilicen el producto en este momento. “En la interpretabilidad del aprendizaje automático, brindamos explicaciones aproximadas para modelos más exactos. Y toda la regulación se basa en modelos lineales, por lo que se basa en explicaciones exactas para modelos aproximados”, dijo. “No quiero decir que no funcionaría en industrias reguladas, pero si soy honesto, ese es un listón muy alto que alcanzar”.

Hall, que está a favor de las propias regulaciones, dijo que H2O continuará socavando el problema de la transparencia en el aprendizaje automático, buscando y desarrollando nuevas técnicas que puedan proporcionar un nivel de interpretabilidad capaz de hacer frente al cumplimiento normativo.

“Personalmente, no creo que sea una buena idea convertir modelos de caja negra en decisiones que van a afectar la vida de las personas de todos modos”, dijo. “Es una receta para permitir que las personas se escondan detrás del aprendizaje automático para tomar decisiones sesgadas”.