Mohammad Haft-Javaherian planeaba pasar una hora en el Hackathon de IA verde - el tiempo suficiente para familiarizarse con la nueva supercomputadora del MIT, Satori. Tres días después, se llevó $ 1,000 por su estrategia ganadora para reducir la huella de carbono de los modelos de inteligencia artificial entrenados para detectar enfermedades cardíacas. 

“Nunca pensé en los kilovatios-hora que estaba usando”, dice. "Pero este hackathon me dio la oportunidad de analizar mi huella de carbono y encontrar formas de intercambiar una pequeña cantidad de precisión del modelo por grandes ahorros de energía". 

Haft-Javaherian fue uno de los seis equipos que ganaron premios en un hackathon copatrocinado por el Proyecto de informática de investigación del MIT y MIT-IBM Watson AI Lab 28-30 de enero. El evento estaba destinado a familiarizar a los estudiantes con Satori, el clúster de computación que IBM donó al MIT el año pasado, e inspirar nuevas técnicas para construir modelos de IA energéticamente eficientes que pongan en el aire menos dióxido de carbono que calienta el planeta. 

El evento también fue una celebración de las credenciales de informática ecológica de Satori. Con una arquitectura diseñada para minimizar la transferencia de datos, entre otras características de ahorro de energía, Satori ganó recientemente cuarto puesto en la lista de supercomputadoras Green500. Su ubicación le da credibilidad adicional: se encuentra en un sitio rehabilitado en una zona industrial abandonada en Holyoke, Massachusetts, ahora el Centro de informática de alto rendimiento ecológico de Massachusetts, que funciona principalmente con energía hidroeléctrica, eólica y nuclear de bajo carbono.

Haft-Javaherian, que realizó un postdoctorado en el MIT y en la Escuela de Medicina de Harvard, asistió al hackathon para aprender más sobre Satori. Se quedó para el desafío de tratar de reducir la intensidad energética de su propio trabajo, centrado en desarrollar métodos de IA para detectar enfermedades en las arterias coronarias. Un nuevo método de obtención de imágenes, la tomografía de coherencia óptica, ha proporcionado a los cardiólogos una nueva herramienta para visualizar defectos en las paredes arteriales que pueden ralentizar el flujo de sangre oxigenada al corazón. Pero incluso los expertos pueden pasar por alto los patrones sutiles que las computadoras detectan de manera excelente.

En el hackathon, Haft-Javaherian realizó una prueba en su modelo y vio que podía reducir su uso de energía ocho veces al reducir el tiempo que los procesadores gráficos de Satori permanecían inactivos. También experimentó ajustando el número de capas y características del modelo, intercambiando diversos grados de precisión por un menor uso de energía. 

Un segundo equipo, Alex Andonian y Camilo Fosco, también ganó $ 1,000 al demostrar que podían entrenar un modelo de clasificación casi 10 veces más rápido al optimizar su código y perder un poco de precisión. Los estudiantes de posgrado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS), Andonian y Fosco están entrenando a un clasificador para distinguir videos legítimos de falsificaciones manipuladas por IA, para competir en Facebook. Deepfake Detection Challenge. Facebook lanzó el concurso el otoño pasado para buscar ideas para detener la difusión de información errónea en su plataforma antes de las elecciones presidenciales de 2020.

Si se encuentra una solución técnica para los deepfakes, deberá ejecutarse en millones de máquinas a la vez, dice Andonian. Eso hace que la eficiencia energética sea clave. “Cada optimización que podamos encontrar para entrenar y ejecutar modelos más eficientes marcará una gran diferencia”, dice.

Para acelerar el proceso de entrenamiento, intentaron simplificar su código y reducir la resolución de su conjunto de entrenamiento de 100,000 videos eliminando algunos cuadros. No esperaban una solución en tres días, pero el tamaño de Satori funcionó a su favor. “Pudimos ejecutar de 10 a 20 experimentos a la vez, lo que nos permitió iterar sobre ideas potenciales y obtener resultados rápidamente”, dice Andonian. 

A medida que la IA continúa mejorando en tareas como leer escaneos médicos e interpretar videos, los modelos se han vuelto más grandes y más intensivos en cálculos y, por lo tanto, intensivos en energía. Por uno estimación, entrenar un gran modelo de procesamiento del lenguaje produce casi tanto dióxido de carbono como las emisiones de la cuna a la tumba de cinco automóviles estadounidenses. La huella del modelo típico es modesta en comparación, pero a medida que proliferan las aplicaciones de IA, su impacto ambiental está creciendo. 

Una forma de hacer una IA ecológica y controlar el crecimiento exponencial de la demanda de entrenamiento de la IA es construir modelos más pequeños. Ese es el enfoque que adoptó un tercer competidor de hackathon, el estudiante graduado de EECS Jonathan Frankle. Frankle busca señales en las primeras etapas del proceso de capacitación que apunten a subredes dentro de la red más grande y completamente capacitada que pueden hacer el mismo trabajo. La idea se basa en su galardonado Hipótesis del boleto de lotería documento del año pasado que descubrió que una red neuronal podría funcionar con un 90 por ciento menos de conexiones si se encontrara la subred correcta al principio del entrenamiento.

Los competidores del hackathon fueron evaluados por John Cohn, científico jefe del MIT-IBM Watson AI Lab, Christopher Hill, director del Proyecto de Computación de Investigación del MIT, y Lauren Milechin, ingeniera de software de investigación del MIT. 

Los jueces reconocieron a otros cuatro equipos: los estudiantes graduados del Departamento de Ciencias de la Tierra, Atmosféricas y Planetarias (EAPS) Ali Ramadhan, Suyash Bire y James Schloss, por adaptar el lenguaje de programación Julia para Satori; Andrew Kirby, postdoctoral del MIT Lincoln Laboratory, por adaptar el código que escribió como estudiante de posgrado a Satori usando una biblioteca diseñada para una fácil programación de arquitecturas informáticas; ya las estudiantes de posgrado del Departamento de Ciencias Cognitivas y Cerebrales Jenelle Feather y Kelsey Allen, por aplicar una técnica que simplifica drásticamente los modelos al reducir su número de parámetros.

Los desarrolladores de IBM estuvieron disponibles para responder preguntas y recopilar comentarios. “Impulsamos el sistema, en el buen sentido”, dice Cohn. "Al final, mejoramos la máquina, la documentación y las herramientas". 

En el futuro, Satori se unirá en Holyoke por TX-Gaia, La nueva supercomputadora de Lincoln Laboratory. Juntos, proporcionarán comentarios sobre el uso de energía de sus cargas de trabajo. "Queremos crear conciencia y alentar a los usuarios a encontrar formas innovadoras de ecologizar toda su informática", dice Hill.