El sesgo en los sistemas de IA está demostrando ser un obstáculo importante en los esfuerzos por integrar más ampliamente la tecnología en nuestra sociedad. Una nueva iniciativa que premiará a los investigadores que encuentren prejuicios en Sistemas de IA podría ayudar a resolver el problema.

El esfuerzo se basa en las recompensas por errores que las empresas de software pagan a los expertos en seguridad cibernética que los alertan sobref cualquier posible falla de seguridad en sus productos. La idea no es nueva; "recompensas de sesgo" fueron primero propuesto por AEl investigador y empresario JB Rubinovitz allá por 2018, y varias organizaciones ya se han enfrentado a tales desafíos.

Pero el nuevo esfuerzo busca crear un foro continuo para concursos de recompensas por prejuicios que sea independiente de cualquier organización en particular. Compuesto por voluntarios de una variedad de compañías, incluido Twitter, los llamados "Bias Buccaneers" planean realizar competencias periódicas o "motines", y a principios de este mes lanzaron el primer desafío de este tipo.

"Las recompensas por errores son una práctica estándar en ciberseguridad que aún tiene que encontrar un lugar en la comunidad de sesgos algorítmicos”, dijo la organización.nizers decir en su sitio web. “Si bien los eventos únicos iniciales demostraron entusiasmo por las recompensas, Bias Buccaneers es la primera organización sin fines de lucro destinada a crear motines en curso, colaborar con empresas de tecnología y allanar el camino para evaluaciones transparentes y reproducibles de los sistemas de IA”.

Esta primera competencia tiene como objetivo abordar el sesgo en los algoritmos de detección de imágenes, pero en lugar de hacer que las personas se dirijan a sistemas de IA específicos, la competición chdesafiar a los investigadores a crear herramientas que puedan detectar conjuntos de datos sesgados. La idea es crear un modelo de aprendizaje automático que pueda etiquetar con precisión cada imagen en un conjunto de datos con su tono de piel, género percibido y grupo de edad. El concurso finaliza el 30 de noviembre. y tiene un primer premio de $6,000, un segundo premio de $4,000 y un tercer premio de $2,000.

El desafío se basa en el hecho de que, a menudo, la fuente del sesgo algorítmico no es tanto el algoritmo en sí, sino la naturaleza de los datos con los que se entrena. Herramientas automatizadas que pueden evaluar rápidamente qué tan equilibrada es una colección of imágenes está en relación con atributos que a menudo son fuentes de discriminación podría ayudar a los investigadores de IA a evitar fuentes de datos claramente sesgadas.

Pero los organizadores dicen que este es solo el primer paso en un esfuerzo por crear un conjunto de herramientas para evaluar el sesgo en conjuntos de datos, algoritmos y aplicaciones y, en última instancia, crear estándares sobre cómo tratar.l con sesgo algorítmico, imparcialidad y explicabilidad.

Han pasado no es el único esfuerzo de este tipo. Uno de los líderes de la nueva iniciativa es Rumman Chowdhury de Twitter, quien ayudó a organizar la primera competencia de recompensas por sesgo de IA el año pasado, apuntando a un algoritmo que la plataforma usó para recortar imágenes que los usuarios se quejaron favorecieron los rostros blancos y masculinos sobre los negros y femeninos.

La competencia dio acceso a los piratas informáticos al modelo de la empresa y los desafió a encontrar fallas en él. Participantes encontrado una amplia gama de problemas, incluirmostrando una preferencia por rostros estereotípicamente bellos, una aversión a personas con cabello blanco (un indicador de la edad), y preferencia por los memes con escritura inglesa en lugar de árabe.

La Universidad de Stanford también concluyó recientemente una competencia que desafió a los equipos a crear herramientas diseñadas para ayudar a las personas a auditar los sistemas de IA de código abierto o implementados comercialmente en busca de discriminación. Y las leyes actuales y futuras de la UE podrían obligar a las empresas a auditar periódicamente sus datos y algoritmos.

pero tomando Recompensas de errores de IA y auditoría algorítmica generalizar y hacerlos efectivos será más fácil decirlo que hacerlo. Inevitablemente, las empresas que construyen sus negocios sobre sus algoritmos se resistirán a cualquier intento de desacreditarlos.

Aprovechar las lecciones de los sistemas de auditoría en otros dominios, como finanzas y regulaciones ambientales y de salud, los investigadores recientemente descrito algunos de los ingredientes cruciales para una rendición de cuentas efectiva. Uno de los mas importantes criterios identificaron fue la participación significativa de terceros independientes.

Los investigadores señalaron que las auditorías de IA voluntarias actuales a menudo implican conflictos de intereses, como que la organización objetivo pague por la auditoría, ayude a enmarcar el alcance de la auditoría o tenga la oportunidad de revisar los hallazgos antes de que se publiquen. Esta preocupación se reflejó en un informe reciente del Liga de justicia algorítmicawhich notó lo granded papel de las organizaciones objetivo en los programas actuales de recompensas por errores de ciberseguridad.

Encontrar una manera de financiar y apoyar auditores de IA y cazadores de errores verdaderamente independientes será un desafío importante, particularmente porque se enfrentarán a algunas de las empresas con mejores recursos del mundo. Sin embargo, afortunadamente, parece haber una sensación creciente dentro de la industria de que abordar este problema será fundamental para mantener la confianza de los usuarios en sus servicios.

Crédito de la imagen: Jacob Rosen / Unsplash