En un artículo publicado en el servidor de preimpresión Arxiv.org, los investigadores del MIT CSAIL, Nvidia, la Universidad de Washington y la Universidad de Toronto describen una IA te que aprende las interacciones físicas que afectan a materiales como la tela al ver videos. Afirman que el sistema puede extrapolar a interacciones que no ha visto antes, como las que involucran múltiples camisas y pantalones, lo que le permite hacer predicciones a largo plazo.

La comprensión causal es la base del razonamiento contrafactual, o la imaginación de posibles alternativas a los eventos que ya han sucedido. Por ejemplo, en una imagen que contiene un par de bolas conectadas entre sí por un resorte, el razonamiento contrafactual implicaría predecir las formas en que el resorte afecta las interacciones de las bolas.

El sistema de los investigadores, una Red de Descubrimiento Causal Visual (V-CDN), adivina las interacciones con tres módulos: uno para la percepción visual, uno para la inferencia de la estructura y otro para la predicción de la dinámica. El modelo de percepción está entrenado para extraer ciertos puntos clave (áreas de interés) de los videos, desde los cuales el módulo de interferencia identifica las variables que rigen las interacciones entre pares de puntos clave. Mientras tanto, el módulo de dinámica aprende a predecir los movimientos futuros de los puntos clave, basándose en un red neuronal gráfica creado por el módulo de inferencia.

Los investigadores estudiaron V-CDN en un entorno simulado que contiene telas de varias formas: camisas, pantalones y toallas de diferentes apariencias y longitudes. Aplicaron fuerzas en los contornos de las telas para deformarlas y moverlas, con el objetivo de producir un modelo único que pudiera manejar telas de diferentes tipos y formas.

Los resultados muestran que el rendimiento de V-CDN aumentó a medida que observó más cuadros de video, según los investigadores, correlacionando con la intuición de que más observaciones proporcionan una mejor estimación de las variables que rigen los comportamientos de los tejidos. "El modelo no supone el acceso al gráfico causal de la verdad fundamental, ni ... la dinámica que describe el efecto de las interacciones físicas", escribieron. "En cambio, aprende a descubrir las estructuras de dependencia y modelar los mecanismos causales de extremo a extremo a partir de imágenes de una manera no supervisada, lo que esperamos pueda facilitar futuros estudios de sistemas de razonamiento visual más generalizables".

Los investigadores tienen cuidado de notar que V-CDN no resuelve el gran desafío del modelado causal. Por el contrario, ven su trabajo como un paso inicial hacia el objetivo más amplio de construir una "inteligencia visual" física capaz de modelar sistemas dinámicos. "Esperamos llamar la atención de la gente sobre este gran desafío e inspirar futuras investigaciones sobre el razonamiento basado en física físicamente generalizable a partir de entradas visuales sin ingeniería de características específicas del dominio", escribieron.