La inteligencia artificial (IA) es un campo en rápida evolución con potencial para mejorar y transformar muchos aspectos de la sociedad. En 2023, el ritmo de adopción de tecnologías de IA se ha acelerado aún más con el desarrollo de potentes modelos básicos (FM) y el consiguiente avance en las capacidades de IA generativa.

En Amazon, hemos lanzado múltiples servicios de IA generativa, como lecho rocoso del amazonas y Código de Amazon Whisperer, y hemos puesto a disposición una gama de modelos generativos de alta capacidad a través de JumpStart de Amazon SageMaker. Estos servicios están diseñados para ayudar a nuestros clientes a desbloquear las capacidades emergentes de la IA generativa, incluida la creatividad mejorada, la creación de contenido personalizado y dinámico y el diseño innovador. También pueden permitir a los profesionales de la IA darle sentido al mundo como nunca antes: abordar las barreras del idioma, el cambio climático, acelerar los descubrimientos científicos y más.

Sin embargo, para aprovechar todo el potencial de la IA generativa, es importante reflexionar detenidamente sobre los posibles riesgos. En primer lugar, esto beneficia a las partes interesadas del sistema de IA al promover un desarrollo y despliegue responsables y seguros, y al alentar la adopción de medidas proactivas para abordar el impacto potencial. En consecuencia, establecer mecanismos para evaluar y gestionar el riesgo es un proceso importante que deben considerar los profesionales de la IA y se ha convertido en un componente central de muchos estándares emergentes de la industria de la IA (por ejemplo, ISO 42001, ISO 23894y RMF del NIST) y la legislación (como Ley de IA de la UE).

En esta publicación, analizamos cómo evaluar el riesgo potencial de su sistema de inteligencia artificial.

¿Cuáles son los diferentes niveles de riesgo?

Si bien podría ser más fácil comenzar a analizar un modelo individual de aprendizaje automático (ML) y los riesgos asociados de forma aislada, es importante considerar los detalles de la aplicación específica de dicho modelo y el caso de uso correspondiente como parte de un sistema de IA completo. . De hecho, es probable que un sistema de IA típico se base en varios modelos de ML diferentes que funcionan juntos, y una organización podría estar buscando construir varios sistemas de IA diferentes. En consecuencia, los riesgos se pueden evaluar para cada caso de uso y en diferentes niveles, a saber, riesgo de modelo, riesgo del sistema de IA y riesgo empresarial.

El riesgo empresarial abarca el amplio espectro de riesgos que una organización puede enfrentar, incluidos los riesgos financieros, operativos y estratégicos. El riesgo del sistema de IA se centra en el impacto asociado con la implementación y operación de los sistemas de IA, mientras que el riesgo del modelo de ML se refiere específicamente a las vulnerabilidades e incertidumbres inherentes a los modelos de ML.

En esta publicación, nos centramos principalmente en el riesgo del sistema de IA. Sin embargo, es importante tener en cuenta que se deben considerar y alinear todos los diferentes niveles de gestión de riesgos dentro de una organización.

¿Cómo se define el riesgo del sistema de IA?

La gestión de riesgos en el contexto de un sistema de IA puede ser un camino para minimizar el efecto de la incertidumbre o los posibles impactos negativos, al tiempo que brinda oportunidades para maximizar los impactos positivos. El riesgo en sí no es un daño potencial sino el efecto de la incertidumbre sobre los objetivos. De acuerdo con la Marco de gestión de riesgos del NIST (NIST RMF), el riesgo se puede estimar como una medida multiplicativa de la probabilidad de que ocurra un evento cronometrada por las magnitudes de las consecuencias del evento correspondiente.

El riesgo tiene dos aspectos: riesgo inherente y riesgo residual. El riesgo inherente representa la cantidad de riesgo que presenta el sistema de IA en ausencia de mitigaciones o controles. El riesgo residual captura los riesgos restantes después de tener en cuenta las estrategias de mitigación.

Tenga siempre en cuenta que la evaluación de riesgos es una actividad centrada en el ser humano que requiere esfuerzos de toda la organización; Estos esfuerzos van desde garantizar que todas las partes interesadas relevantes estén incluidas en el proceso de evaluación (como los equipos de productos, ingeniería, ciencia, ventas y seguridad) hasta evaluar cómo las perspectivas y normas sociales influyen en la probabilidad percibida y las consecuencias de ciertos eventos.

¿Por qué su organización debería preocuparse por la evaluación de riesgos?

El establecimiento de marcos de gestión de riesgos para los sistemas de IA puede beneficiar a la sociedad en general al promover el diseño, el desarrollo y la operación seguros y responsables de los sistemas de IA. Los marcos de gestión de riesgos también pueden beneficiar a las organizaciones a través de lo siguiente:

• Mejora de la toma de decisiones – Al comprender los riesgos asociados con los sistemas de IA, las organizaciones pueden tomar mejores decisiones sobre cómo mitigar esos riesgos y utilizar los sistemas de IA de manera segura y responsable.
• Mayor planificación de cumplimiento – Un marco de evaluación de riesgos puede ayudar a las organizaciones a prepararse para los requisitos de evaluación de riesgos establecidos en las leyes y regulaciones pertinentes.
• Formando confianza – Al demostrar que están tomando medidas para mitigar los riesgos de los sistemas de IA, las organizaciones pueden mostrar a sus clientes y partes interesadas que están comprometidas a utilizar la IA de manera segura y responsable.

¿Cómo evaluar el riesgo?

Como primer paso, una organización debería considerar describir el caso de uso de IA que debe evaluarse e identificar a todas las partes interesadas relevantes. Un caso de uso es un escenario o situación específica que describe cómo los usuarios interactúan con un sistema de IA para lograr un objetivo particular. Al crear una descripción de caso de uso, puede resultar útil especificar el problema empresarial que se está resolviendo, enumerar las partes interesadas involucradas, caracterizar el flujo de trabajo y proporcionar detalles sobre las entradas y salidas clave del sistema.

Cuando se trata de partes interesadas, es fácil pasar por alto algunas. La siguiente figura es un buen punto de partida para trazar los roles de las partes interesadas en la IA.

Fuente: “Tecnología de la información – Inteligencia artificial – Conceptos y terminología de inteligencia artificial”.

Un siguiente paso importante en la evaluación de riesgos del sistema de IA es identificar eventos potencialmente dañinos asociados con el caso de uso. Al considerar estos eventos, puede resultar útil reflexionar sobre diferentes dimensiones de la IA responsable, como la equidad y la solidez, por ejemplo. Diferentes partes interesadas podrían verse afectadas en diferentes grados y en distintas dimensiones. Por ejemplo, un riesgo de robustez bajo para un usuario final podría ser el resultado de que un sistema de IA muestre interrupciones menores, mientras que un riesgo de equidad bajo podría ser causado por un sistema de IA que produzca resultados insignificantemente diferentes para diferentes grupos demográficos.

Para estimar el riesgo de un evento, se puede utilizar una escala de probabilidad en combinación con una escala de gravedad para medir la probabilidad de que ocurra, así como el grado de las consecuencias. Un punto de partida útil al desarrollar estas escalas podría ser el NIST RMF, que sugiere el uso de categorías cualitativas no numéricas que van desde muy bajo a muy alto riesgo o principios de evaluación semicuantitativos, como escalas (como 1 a 10), contenedores u otros. números representativos. Una vez que haya definido las escalas de probabilidad y gravedad para todas las dimensiones relevantes, puede utilizar un esquema de matriz de riesgo para cuantificar el riesgo general por parte de las partes interesadas a lo largo de cada dimensión relevante. La siguiente figura muestra un ejemplo de matriz de riesgos.

Usando esta matriz de riesgo, podemos considerar un evento con baja gravedad y rara probabilidad de ocurrir como de muy bajo riesgo. Tenga en cuenta que la evaluación inicial será una estimación del riesgo inherente y las estrategias de mitigación de riesgos pueden ayudar a reducir aún más los niveles de riesgo. Luego, el proceso se puede repetir para generar una calificación para cualquier riesgo residual restante por evento. Si se identifican varios eventos en la misma dimensión, puede resultar útil elegir el nivel de riesgo más alto entre todos para crear un resumen de evaluación final.

Utilizando el resumen de evaluación final, las organizaciones deberán definir qué niveles de riesgo son aceptables para sus sistemas de IA, así como considerar las regulaciones y políticas relevantes.

Compromiso de AWS

A través de compromisos con el De la Casa Blanca y UN, entre otros, estamos comprometidos a compartir nuestro conocimiento y experiencia para avanzar en el uso responsable y seguro de la IA. En esta línea, Adam Selipsky de Amazon representó recientemente a AWS en la Cumbre de seguridad de IA con la asistencia de jefes de estado y líderes de la industria, lo que demuestra aún más nuestra dedicación a colaborar en el avance responsable de la inteligencia artificial.

Conclusión

A medida que la IA continúa avanzando, la evaluación de riesgos se vuelve cada vez más importante y útil para las organizaciones que buscan construir e implementar IA de manera responsable. Al establecer un marco de evaluación de riesgos y un plan de mitigación de riesgos, las organizaciones pueden reducir el riesgo de posibles incidentes relacionados con la IA y ganarse la confianza de sus clientes, así como obtener beneficios como una mayor confiabilidad, una mayor equidad para diferentes grupos demográficos y más.

Continúe y comience su viaje hacia el desarrollo de un marco de evaluación de riesgos en su organización y comparta sus opiniones en los comentarios.

Consulte también una descripción general de los riesgos de la IA generativa publicada en Amazon Science: IA responsable en la era generativay explore la gama de servicios de AWS que pueden ayudarle en su proceso de evaluación y mitigación de riesgos: Amazon SageMaker aclarar, Monitor de modelo de Amazon SageMaker, Seguimiento de la nube de AWS, Así como la marco de gobernanza modelo.

Acerca de los autores

Mia Mayer es científico aplicado y educador de aprendizaje automático en AWS Machine Learning University; donde investiga y enseña seguridad, explicabilidad y equidad de los sistemas de aprendizaje automático e inteligencia artificial. A lo largo de su carrera, Mia estableció varios programas de extensión universitaria, actuó como conferenciante invitada y oradora principal y presentó en numerosas conferencias de aprendizaje importantes. También ayuda a los equipos internos y a los clientes de AWS a comenzar su viaje hacia la IA responsable.

Denis V Batalov es un veterano de Amazon de 17 años y un doctorado en aprendizaje automático, Denis trabajó en proyectos tan emocionantes como Search Inside the Book, aplicaciones móviles de Amazon y Kindle Direct Publishing. Desde 2013 ha ayudado a los clientes de AWS a adoptar la tecnología AI/ML como arquitecto de soluciones. Actualmente, Denis es un líder tecnológico mundial de IA/ML responsable del funcionamiento de los arquitectos de soluciones especialistas en ML de AWS a nivel mundial. Denis es un orador público frecuente, puedes seguirlo en Twitter @dbatalov.

Dra. Sara Liu es gerente sénior de programas técnicos del equipo de IA responsable de AWS. Trabaja con un equipo de científicos, líderes de conjuntos de datos, ingenieros de aprendizaje automático, investigadores y otros equipos multifuncionales para elevar el listón de la IA responsable en todos los servicios de IA de AWS. Sus proyectos actuales implican el desarrollo de tarjetas de servicios de IA, la realización de evaluaciones de riesgos para una IA responsable, la creación de conjuntos de datos de evaluación de alta calidad y la implementación de programas de calidad. También ayuda a los equipos internos y a los clientes a cumplir con los estándares cambiantes de la industria de la IA.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/learn-how-to-assess-risk-of-ai-systems/