La pandemia de COVID-19 reveló datos inquietantes sobre la inequidad en salud. En 2020, el Instituto Nacional de Salud (NIH) publicó un reporte afirmando que los estadounidenses negros murieron a causa de COVID-19 en tasas más altas que los estadounidenses blancos, aunque constituyen un porcentaje menor de la población. Según los NIH, estas disparidades se debían al acceso limitado a la atención, a deficiencias en las políticas públicas y a una carga desproporcionada de comorbilidades, incluidas enfermedades cardiovasculares, diabetes y enfermedades pulmonares.

El NIH Afirmó además que entre 47.5 millones y 51.6 millones de estadounidenses no pueden permitirse el lujo de acudir a un médico. Existe una alta probabilidad de que comunidades históricamente desatendidas utilicen un transformador generativo, especialmente uno que está integrado sin saberlo en un motor de búsqueda, para pedir consejo médico. No es inconcebible que las personas accedan a un motor de búsqueda popular con un agente de inteligencia artificial integrado y realicen consultas ".Mi papá ya no puede pagar los medicamentos para el corazón que le recetaron. ¿Qué hay disponible sin receta que pueda funcionar en su lugar?"

Según investigadores de la Universidad de Long Island, ChatGPT es inexacto 75% de la época, y según CNN, el chatbot incluso daba consejos peligrosos en ocasiones, como aprobar la combinación de dos medicamentos que podrían tener reacciones adversas graves.

Dado que los transformadores generativos no entienden el significado y tendrán resultados erróneos, las comunidades históricamente desatendidas que utilizan esta tecnología en lugar de ayuda profesional pueden verse perjudicadas a un ritmo mucho mayor que otras.

¿Cómo podemos invertir de forma proactiva en IA para obtener resultados más equitativos y confiables?

Con los nuevos productos de IA generativa de hoy, La confianza, la seguridad y las cuestiones regulatorias siguen siendo las principales preocupaciones de los funcionarios gubernamentales de atención sanitaria. y líderes de alto nivel que representan compañías biofarmacéuticas, sistemas de salud, fabricantes de dispositivos médicos y otras organizaciones. El uso de IA generativa requiere gobernanza de la IA, incluidas conversaciones sobre casos de uso apropiados y barreras de seguridad en torno a la seguridad y la confianza (consulte AI US Blueprint for an AI Bill of Rights, EU AI ACT y la Orden Ejecutiva de IA de la Casa Blanca).

Conservar la IA de manera responsable es un desafío sociotécnico que requiere un enfoque holístico. Se necesitan muchos elementos para ganarse la confianza de las personas, incluido asegurarse de que su modelo de IA sea preciso, auditable, explicable, justo y proteja la privacidad de los datos de las personas. Y la innovación institucional puede ayudar.

Innovación institucional: una nota histórica

El cambio institucional suele ir precedido de un acontecimiento catastrófico. Consideremos la evolución de la Administración de Alimentos y Medicamentos de Estados Unidos, cuya función principal es garantizar que los alimentos, medicamentos y cosméticos sean seguros para el uso público. Si bien las raíces de este organismo regulador se remontan a 1848, el control de la seguridad de los medicamentos no fue una preocupación directa hasta 1937, el año de la Desastre de Elixir Sulfanilamida.

Creado por una respetada empresa farmacéutica de Tennessee, Elixir Sulfanilamide era un medicamento líquido que se promocionaba para curar espectacularmente la faringitis estreptocócica. Como era común en la época, no se realizaron pruebas de toxicidad al medicamento antes de salir al mercado. Esto resultó ser un error mortal, ya que el elixir contenía dietilenglicol, una sustancia química tóxica utilizada en el anticongelante. Más de 100 personas murieron por tomar el elixir venenoso, lo que llevó a que la Ley de Alimentos, Medicamentos y Cosméticos de la FDA exigiera que los medicamentos estuvieran etiquetados con instrucciones adecuadas para su uso seguro. Este importante hito en la historia de la FDA aseguró que los médicos y sus pacientes pudieran confiar plenamente en la potencia, la calidad y la seguridad de los medicamentos, una garantía que hoy damos por sentada.

De manera similar, se requiere innovación institucional para garantizar resultados equitativos de la IA.

Cinco pasos clave para garantizar que la IA generativa apoye a las comunidades a las que sirve

El uso de IA generativa en el campo de la salud y las ciencias biológicas (HCLS) requiere el mismo tipo de innovación institucional que requirió la FDA durante el Desastre de Elixir Sulfanilamida. Las siguientes recomendaciones pueden ayudar a garantizar que todas las soluciones de IA logren resultados más equitativos y justos para las poblaciones vulnerables:

1. Operacionalizar principios de confianza y transparencia. Equidad, explicabilidad y transparencia son palabras importantes, pero ¿qué significan en términos de requisitos funcionales y no funcionales para sus modelos de IA? Puede decirle al mundo que sus modelos de IA son justos, pero debe asegurarse de entrenar y auditar su modelo de IA para atender a las poblaciones históricamente más desatendidas. Para ganarse la confianza de las comunidades a las que sirve, la IA debe tener resultados probados, repetibles, explicados y confiables que funcionen mejor que un ser humano.
2. Designe personas responsables de los resultados equitativos del uso de la IA en su organización. Luego dales poder y recursos para realizar el trabajo duro. Verifique que estos expertos en el dominio tengan un mandato totalmente financiado para hacer el trabajo porque sin responsabilidad no hay confianza. Alguien debe tener el poder, la mentalidad y los recursos para realizar el trabajo necesario para la gobernanza.
3. Capacite a los expertos en el campo para seleccionar y mantener fuentes confiables de datos que se utilizan para entrenar modelos. Estas fuentes confiables de datos pueden ofrecer una base de contenido para productos que utilizan grandes modelos de lenguaje (LLM) para proporcionar variaciones en el lenguaje para respuestas que provienen directamente de una fuente confiable (como una ontología o una búsqueda semántica). 
4. Exigir que los resultados sean auditables y explicables. Por ejemplo, algunas organizaciones están invirtiendo en IA generativa que ofrece asesoramiento médico a pacientes o médicos. Para fomentar el cambio institucional y proteger a todas las poblaciones, estas organizaciones HCLS deben estar sujetas a auditorías para garantizar la rendición de cuentas y el control de calidad. Los resultados de estos modelos de alto riesgo deberían ofrecer confiabilidad de prueba y repetición. Los resultados deben ser 100% precisos y detallar las fuentes de datos junto con la evidencia.
5. Exigir transparencia. A medida que las organizaciones HCLS integran la IA generativa en la atención al paciente (por ejemplo, en forma de admisión automatizada de pacientes cuando se registra en un hospital de EE. UU. o ayudando a un paciente a comprender lo que sucedería durante un ensayo clínico), deben informar a los pacientes que un modelo de IA generativa es en uso. Las organizaciones también deben ofrecer metadatos interpretables a los pacientes que detallen la responsabilidad y precisión de ese modelo, la fuente de los datos de capacitación para ese modelo y los resultados de la auditoría de ese modelo. Los metadatos también deben mostrar cómo un usuario puede optar por no utilizar ese modelo (y obtener el mismo servicio en otro lugar). A medida que las organizaciones utilizan y reutilizan texto generado sintéticamente en un entorno sanitario, las personas deben estar informadas de qué datos se han generado sintéticamente y cuáles no.

Creemos que podemos y debemos aprender de la FDA para innovar institucionalmente nuestro enfoque para transformar nuestras operaciones con IA. El camino para ganarse la confianza de las personas comienza con la realización de cambios sistémicos que garanticen que la IA refleje mejor a las comunidades a las que sirve.   

Aprenda cómo integrar la gobernanza responsable de la IA en el tejido de su negocio