A pesar de toda su brillantez, las redes neuronales artificiales siguen siendo tan inescrutables como siempre. A medida que estas redes crecen, sus capacidades explotan, pero descifrar su funcionamiento interno siempre ha sido casi imposible. Los investigadores buscan constantemente información que puedan encontrar sobre estos modelos.

Hace unos años descubrieron uno nuevo.

En enero de 2022, investigadores de OpenAI, la empresa detrás de ChatGPT, reportaron que estos sistemas, cuando accidentalmente se les permitió consumir datos durante mucho más tiempo de lo habitual, desarrollaron formas únicas de resolver problemas. Normalmente, cuando los ingenieros construyen modelos de aprendizaje automático a partir de redes neuronales (compuestas por unidades de computación llamadas neuronas artificiales), tienden a detener el entrenamiento en un punto determinado, llamado régimen de sobreajuste. Aquí es cuando la red básicamente comienza a memorizar sus datos de entrenamiento y, a menudo, no generaliza información nueva e invisible. Pero cuando el equipo de OpenAI entrenó accidentalmente una pequeña red mucho más allá de este punto, pareció desarrollar una comprensión del problema que iba más allá de la simple memorización: de repente podía dominar cualquier dato de prueba.

Los investigadores llamaron al fenómeno "asimilación", término acuñado por el autor de ciencia ficción Robert A. Heinlein para significar comprender algo "tan a fondo que el observador se convierte en parte del proceso que se observa". La red neuronal sobreentrenada, diseñada para realizar determinadas operaciones matemáticas, había aprendido la estructura general de los números e internalizado el resultado. Había asimilado y se había convertido en la solución.

"Esto [fue] muy emocionante y estimulante", dijo Mijaíl Belkin de la Universidad de California, San Diego, que estudia las propiedades teóricas y empíricas de las redes neuronales. "Estimuló mucho trabajo de seguimiento".

De hecho, otros han replicado los resultados e incluso les han aplicado ingeniería inversa. Los artículos más recientes no sólo aclararon qué hacen estas redes neuronales cuando asimilan, sino que también proporcionaron una nueva lente a través de la cual examinar sus entrañas. "La configuración de asimilación es como un buen organismo modelo para comprender muchos aspectos diferentes del aprendizaje profundo", dijo Eric Michaud del Instituto de Tecnología de Massachusetts.

Mirar el interior de este organismo resulta a veces bastante revelador. "No sólo puedes encontrar una estructura hermosa, sino que esa hermosa estructura es importante para comprender lo que sucede internamente", dijo Neel Nanda, ahora en Google DeepMind en Londres.

Más allá de los límites

Fundamentalmente, el trabajo de un modelo de aprendizaje automático parece simple: transformar una entrada determinada en una salida deseada. El trabajo del algoritmo de aprendizaje es buscar la mejor función posible que pueda hacer eso. Cualquier modelo dado sólo puede acceder a un conjunto limitado de funciones, y ese conjunto a menudo está dictado por la cantidad de parámetros en el modelo, que en el caso de las redes neuronales es aproximadamente equivalente a la cantidad de conexiones entre neuronas artificiales.

A medida que una red se entrena, tiende a aprender funciones más complejas y la discrepancia entre el resultado esperado y el real comienza a caer en los datos de entrenamiento. Aún mejor, esta discrepancia, conocida como pérdida, también comienza a disminuir en los datos de prueba, que son datos nuevos que no se utilizan en el entrenamiento. Pero en algún momento, el modelo comienza a sobreajustarse y, mientras la pérdida de datos de entrenamiento sigue disminuyendo, la pérdida de datos de prueba comienza a aumentar. Por lo general, es entonces cuando los investigadores dejan de entrenar la red.

Esa fue la sabiduría predominante cuando el equipo de OpenAI comenzó a explorar cómo una red neuronal podría hacer matemáticas. Estaban usando un pequeño transformador (una arquitectura de red que recientemente ha revolucionado los grandes modelos de lenguaje) para realizar diferentes tipos de aritmética modular, en la que se trabaja con un conjunto limitado de números que se repiten sobre sí mismos. El módulo 12, por ejemplo, se puede hacer en la esfera de un reloj: 11 + 2 = 1. El equipo mostró a la red ejemplos de cómo sumar dos números. a y b, para producir una salida, c, en módulo 97 (equivalente a la esfera de un reloj con 97 números). Luego probaron el transformador en combinaciones invisibles de a y b para ver si podía predecir correctamente c.

Como era de esperar, cuando la red entró en el régimen de sobreajuste, la pérdida de datos de entrenamiento se acercó a cero (había comenzado a memorizar lo que había visto) y la pérdida de datos de prueba comenzó a aumentar. No fue generalizar. "Y entonces, un día, tuvimos suerte", dijo la líder del equipo Alethea Power. hablando en septiembre de 2022 en una conferencia en San Francisco. "Y por suerte me refiero a olvidadizo".

El miembro del equipo que estaba entrenando a la red se fue de vacaciones y se olvidó de detener el entrenamiento. A medida que esta versión de la red continuó entrenándose, de repente se volvió precisa en datos invisibles. Las pruebas automáticas revelaron esta precisión inesperada al resto del equipo, y pronto se dieron cuenta de que la red había encontrado formas inteligentes de ordenar los números. a y b. Internamente, la red representa los números en algún espacio de alta dimensión, pero cuando los investigadores proyectaron estos números en un espacio 2D y los mapearon, los números formaron un círculo.

Esto fue asombroso. El equipo nunca le dijo al modelo que estaba haciendo matemáticas de módulo 97, ni siquiera lo que significaba módulo; solo le mostraron ejemplos de aritmética. El modelo parecía haber tropezado con una solución analítica más profunda: una ecuación que se generalizaba a todas las combinaciones de a y b, incluso más allá de los datos de entrenamiento. La red había asimilado y la precisión de los datos de prueba se disparó hasta el 100%. "Esto es extraño", dijo Power a su audiencia.

El equipo verificó los resultados utilizando diferentes tareas y diferentes redes. El descubrimiento se mantuvo.

De relojes y pizzas

Pero ¿cuál era la ecuación que había encontrado la red? El artículo de OpenAI no lo dice, pero el resultado llamó la atención de Nanda. "Uno de los principales misterios y cosas molestas de las redes neuronales es que son muy buenas en lo que hacen, pero que, por defecto, no tenemos idea de cómo funcionan", dijo Nanda, cuyo trabajo se centra en aplicar ingeniería inversa a un sistema capacitado. red para descubrir qué algoritmos aprendió.

Nanda quedó fascinado con el descubrimiento de OpenAI y decidió desarmar una red neuronal que había asimilado. Diseñó una versión aún más simple de la red neuronal OpenAI para poder examinar de cerca los parámetros del modelo mientras aprendía a hacer aritmética modular. Vio el mismo comportamiento: un sobreajuste que dio paso a la generalización y una mejora abrupta en la precisión de las pruebas. Su red también estaba organizando números en círculo. Requirió algo de esfuerzo, pero Nanda finalmente descubrió por qué.

Mientras representaba los números en un círculo, la red no contaba simplemente dígitos como un niño de jardín de infantes que mira un reloj: estaba realizando algunas manipulaciones matemáticas sofisticadas. Al estudiar los valores de los parámetros de la red, Nanda y sus colegas revelaron que estaba sumando los números del reloj realizando “transformaciones discretas de Fourier” en ellos: transformando los números usando funciones trigonométricas como senos y cosenos y luego manipulando estos valores usando identidades trigonométricas para llegar a la solución. Al menos, eso era lo que estaba haciendo su red particular.

Cuando un equipo en el MIT seguimiento En el trabajo de Nanda, demostraron que las redes neuronales asimiladas no siempre descubren este algoritmo de "reloj". A veces, las redes encuentran lo que los investigadores llaman el algoritmo de la “pizza”. Este enfoque imagina una pizza dividida en porciones y numeradas en orden. Para sumar dos números, imagina dibujar flechas desde el centro de la pizza hasta los números en cuestión y luego calcular la línea que biseca el ángulo formado por las dos primeras flechas. Esta línea pasa por el medio de una porción de pizza: el número de la porción es la suma de los dos números. Estas operaciones también se pueden escribir en términos de manipulaciones trigonométricas y algebraicas de los senos y cosenos de a y by, en teoría, son tan precisos como el método del reloj.

"Tanto el algoritmo del reloj como el de la pizza tienen esta representación circular", dijo Ziming Liu, miembro del equipo del MIT. “Pero… la forma en que aprovechan estos senos y cosenos es diferente. Por eso los llamamos algoritmos diferentes”.

Y eso todavía no fue todo. Después de entrenar numerosas redes para hacer matemáticas de módulo, Liu y sus colegas descubrieron que alrededor del 40% de los algoritmos descubiertos por estas redes eran variedades de los algoritmos de pizza o reloj. El equipo no ha podido descifrar qué hacen las redes el resto del tiempo. Para los algoritmos de pizza y reloj, “simplemente encuentra algo que los humanos podemos interpretar”, dijo Liu.

Y cualquiera que sea el algoritmo que aprende una red cuando asimila un problema, es incluso más poderoso en la generalización de lo que sospechaban los investigadores. Cuando un equipo de la Universidad de Maryland alimentado una red neuronal simple datos de entrenamiento con errores aleatorios, la red al principio se comportó como se esperaba: sobreajustó los datos de entrenamiento, con errores y todo, y tuvo un desempeño deficiente con datos de prueba no dañados. Sin embargo, una vez que la red asimiló y comenzó a responder las preguntas de la prueba correctamente, pudo producir respuestas correctas incluso para las entradas incorrectas, olvidando las respuestas incorrectas memorizadas y generalizando incluso a sus datos de entrenamiento. "La tarea de asimilar en realidad es bastante sólida ante este tipo de corrupción", dijo Darshil Doshi, uno de los autores del artículo.

Batalla por el control

Como resultado, los investigadores ahora están comenzando a comprender el proceso que lleva a una red a asimilar sus datos. Nanda ve la aparente brusquedad exterior de asimilar como el resultado de una transición interna gradual de la memorización a la generalización, que utiliza dos algoritmos diferentes dentro de la red neuronal. Cuando una red comienza a aprender, dijo, primero descubre el algoritmo de memorización más fácil; sin embargo, aunque el algoritmo es más simple, requiere recursos considerables, ya que la red necesita memorizar cada instancia de los datos de entrenamiento. Pero incluso mientras memoriza, partes de la red neuronal comienzan a formar circuitos que implementan la solución general. Los dos algoritmos compiten por los recursos durante el entrenamiento, pero la generalización finalmente gana si la red se entrena con un ingrediente adicional llamado regularización.

“La regularización lleva lentamente la solución hacia la solución de generalización”, dijo Liu. Este es un proceso que reduce la capacidad funcional del modelo: la complejidad de la función que el modelo puede aprender. A medida que la regularización reduce la complejidad del modelo, el algoritmo generalizador, que es menos complejo, finalmente triunfa. "La generalización es más sencilla para el mismo [nivel de] desempeño", dijo Nanda. Finalmente, la red neuronal descarta el algoritmo de memorización.

Entonces, si bien la capacidad retrasada de generalizar parece surgir repentinamente, internamente los parámetros de la red están aprendiendo constantemente el algoritmo de generalización. Sólo cuando la red ha aprendido el algoritmo de generalización y ha eliminado por completo el algoritmo de memorización, empiezas a asimilarlo. "Es posible que cosas que parecen repentinas en realidad sean graduales bajo la superficie", dijo Nanda, una cuestión que también ha surgido en otras investigaciones sobre aprendizaje automático.

A pesar de estos avances, es importante recordar que la investigación sobre asimilación aún está en sus primeras etapas. Hasta ahora, los investigadores han estudiado sólo redes extremadamente pequeñas, y no está claro si estos hallazgos serán válidos para redes más grandes y poderosas. Belkin también advierte que la aritmética modular es “una gota en el océano” en comparación con todas las diferentes tareas que realizan las redes neuronales actuales. La ingeniería inversa de la solución de una red neuronal para tales matemáticas podría no ser suficiente para comprender los principios generales que impulsan a estas redes hacia la generalización. "Es fantástico estudiar los árboles", dijo Belkin. "Pero también tenemos que estudiar el bosque".

No obstante, la capacidad de mirar dentro de estas redes y comprenderlas analíticamente tiene enormes implicaciones. Para la mayoría de nosotros, las transformadas de Fourier y los arcos de círculos que se bisecan son una forma muy extraña de realizar sumas de módulo; las neuronas humanas simplemente no piensan así. "Pero si estás construido a partir de álgebra lineal, en realidad tiene mucho sentido hacerlo así", dijo Nanda.

"Estos extraños cerebros [artificiales] funcionan de manera diferente al nuestro", dijo. “[Ellos] tienen sus propias reglas y estructura. Necesitamos aprender a pensar como piensa una red neuronal”.