Los algoritmos de inteligencia artificial no pueden seguir creciendo al ritmo actual. Los algoritmos como las redes neuronales profundas, que se inspiran libremente en el cerebro, con múltiples capas de neuronas artificiales conectadas entre sí a través de valores numéricos llamados pesos, crecen cada año. Pero en estos días, las mejoras de hardware ya no están a la altura de la enorme cantidad de memoria y capacidad de procesamiento requerida para ejecutar estos algoritmos masivos. Pronto, el tamaño de los algoritmos de IA puede chocar contra una pared.

E incluso si pudiéramos seguir ampliando el hardware para satisfacer las demandas de la IA, hay otro problema: ejecutarlos en computadoras tradicionales desperdicia una enorme cantidad de energía. Las altas emisiones de carbono generadas por la ejecución de grandes algoritmos de IA ya son dañinas para el medio ambiente, y solo empeorarán a medida que los algoritmos se vuelvan cada vez más gigantescos.

Una solución, llamada computación neuromórfica, se inspira en los cerebros biológicos para crear diseños energéticamente eficientes. Desafortunadamente, si bien estos chips pueden superar a las computadoras digitales en cuanto a la conservación de energía, carecen de la potencia computacional necesaria para ejecutar una red neuronal profunda considerable. Eso los ha hecho fáciles de pasar por alto para los investigadores de IA.

Eso finalmente cambió en agosto, cuando Weier wan, H.-S. felipe wong, Gert Cauwenberghs y sus colegas reveló un nuevo chip neuromórfico llamado NeuRRAM que incluye 3 millones de celdas de memoria y miles de neuronas integradas en su hardware para ejecutar algoritmos. Utiliza un tipo relativamente nuevo de memoria llamada RAM resistiva o RRAM. A diferencia de los chips RRAM anteriores, NeuRRAM está programado para funcionar de forma analógica para ahorrar más energía y espacio. Si bien la memoria digital es binaria, almacena un 1 o un 0, las celdas de memoria analógica en el chip NeuRRAM pueden almacenar múltiples valores a lo largo de un rango completamente continuo. Eso permite que el chip almacene más información de algoritmos masivos de IA en la misma cantidad de espacio del chip.

Como resultado, el nuevo chip puede funcionar tan bien como las computadoras digitales en tareas complejas de inteligencia artificial como el reconocimiento de imágenes y voz, y los autores afirman que es hasta 1,000 veces más eficiente energéticamente, lo que abre la posibilidad de que los chips diminutos ejecuten algoritmos cada vez más complicados. dentro de pequeños dispositivos que antes no eran aptos para la IA, como relojes y teléfonos inteligentes.

Los investigadores que no participaron en el trabajo quedaron profundamente impresionados con los resultados. “Este documento es bastante único”, dijo Zhongrui Wang, investigador de RRAM desde hace mucho tiempo en la Universidad de Hong Kong. “Hace contribuciones en diferentes niveles: a nivel de dispositivo, a nivel de arquitectura de circuito y a nivel de algoritmo”.

Creando nuevos recuerdos

En las computadoras digitales, las enormes cantidades de energía que se desperdician mientras ejecutan los algoritmos de IA se deben a una falla de diseño simple y omnipresente que hace que todos los cálculos sean ineficientes. Por lo general, la memoria de una computadora, que contiene los datos y los valores numéricos que procesa durante la computación, se coloca en la placa base lejos del procesador, donde se realiza la computación.

Para la información que pasa por el procesador, "es como si pasaras ocho horas en el viaje, pero haces dos horas de trabajo", dijo Wan, un científico informático que anteriormente trabajaba en la Universidad de Stanford y que recientemente se mudó a la startup de IA Aizip.

Solucionar este problema con nuevos chips todo en uno que colocan la memoria y la computación en el mismo lugar parece sencillo. También está más cerca de cómo nuestros cerebros probablemente procesan la información, ya que muchos neurocientíficos creen que la computación ocurre dentro de las poblaciones de neuronas, mientras que los recuerdos se forman cuando las sinapsis entre las neuronas fortalecen o debilitan sus conexiones. Pero la creación de tales dispositivos ha resultado difícil, ya que las formas actuales de memoria son incompatibles con la tecnología de los procesadores.

Hace décadas, los científicos informáticos desarrollaron los materiales para crear nuevos chips que realizan cálculos donde se almacena la memoria, una tecnología conocida como computación en memoria. Pero con las computadoras digitales tradicionales funcionando tan bien, estas ideas se pasaron por alto durante décadas.

“Ese trabajo, al igual que la mayoría de los trabajos científicos, fue algo olvidado”, dijo Wong, profesor de Stanford.

En efecto, el primer dispositivo de este tipo se remonta al menos a 1964, cuando los ingenieros eléctricos de Stanford descubrieron que podían manipular ciertos materiales, llamados óxidos metálicos, para activar y desactivar su capacidad de conducir electricidad. Eso es significativo porque la capacidad de un material para cambiar entre dos estados proporciona la columna vertebral para el almacenamiento de memoria tradicional. Por lo general, en la memoria digital, un estado de alto voltaje corresponde a un 1 y bajo voltaje a un 0.

Para hacer que un dispositivo RRAM cambie de estado, aplica un voltaje a través de electrodos metálicos conectados a dos extremos del óxido metálico. Normalmente, los óxidos metálicos son aislantes, lo que significa que no conducen la electricidad. Pero con suficiente voltaje, la corriente se acumula, empujando eventualmente a través de los puntos débiles del material y forjando un camino hacia el electrodo del otro lado. Una vez que la corriente se ha abierto paso, puede fluir libremente a lo largo de ese camino.

Wong compara este proceso con un rayo: cuando se acumula suficiente carga dentro de una nube, rápidamente encuentra un camino de baja resistencia y cae un rayo. Pero a diferencia del relámpago, cuyo camino desaparece, el camino a través del óxido metálico permanece, lo que significa que permanece conductor indefinidamente. Y es posible borrar el camino conductor aplicando otro voltaje al material. Entonces, los investigadores pueden cambiar una RRAM entre dos estados y usarlos para almacenar memoria digital.

Los investigadores de mediados de siglo no reconocieron el potencial de la computación energéticamente eficiente, ni la necesitaban todavía con los algoritmos más pequeños con los que estaban trabajando. Los investigadores tardaron hasta principios de la década de 2000, con el descubrimiento de nuevos óxidos metálicos, en darse cuenta de las posibilidades.

Wong, que trabajaba en IBM en ese momento, recuerda que un colega galardonado que trabajaba en RRAM admitió que no entendía completamente la física involucrada. "Si él no lo entiende", recuerda haber pensado Wong, "tal vez no debería tratar de entenderlo".

Pero en 2004, los investigadores de Samsung Electronics anunciaron que habían memoria RRAM integrada con éxito construido sobre un chip de computación tradicional, lo que sugiere que finalmente podría ser posible un chip de computación en memoria. Wong decidió al menos intentarlo.

Chips de cómputo en memoria para IA

 Durante más de una década, investigadores como Wong trabajaron para desarrollar la tecnología RRAM hasta el punto en que pudiera manejar de manera confiable tareas informáticas de alta potencia. Alrededor de 2015, los informáticos comenzaron a reconocer el enorme potencial de estos dispositivos energéticamente eficientes para grandes algoritmos de IA, que comenzaban a despegar. Ese año, científicos de la Universidad de California, Santa Bárbara mostró que los dispositivos RRAM podrían hacer algo más que almacenar memoria de una manera nueva. Podrían ejecutar tareas informáticas básicas por sí mismos, incluida la gran mayoría de los cálculos que tienen lugar dentro de las neuronas artificiales de una red neuronal, que son tareas simples de multiplicación de matrices.

En el chip NeuRRAM, las neuronas de silicio están integradas en el hardware y las celdas de memoria RRAM almacenan los pesos, los valores que representan la fuerza de las conexiones entre las neuronas. Y debido a que las celdas de memoria NeuRRAM son analógicas, los pesos que almacenan representan el rango completo de estados de resistencia que ocurren mientras el dispositivo cambia entre un estado de baja resistencia a uno de alta resistencia. Esto permite una eficiencia energética aún mayor que la que puede lograr la memoria RRAM digital porque el chip puede ejecutar muchos cálculos matriciales en paralelo, en lugar de uno tras otro, como en las versiones de procesamiento digital.

Pero dado que el procesamiento analógico todavía está décadas por detrás del procesamiento digital, todavía hay muchos problemas por resolver. Una es que los chips RRAM analógicos deben ser inusualmente precisos, ya que las imperfecciones en el chip físico pueden introducir variabilidad y ruido. (Para los chips tradicionales, con solo dos estados, estas imperfecciones no importan tanto). Eso hace que sea significativamente más difícil para los dispositivos RRAM analógicos ejecutar algoritmos de IA, dado que la precisión de, por ejemplo, reconocer una imagen se verá afectada si el El estado conductivo del dispositivo RRAM no es exactamente el mismo cada vez.

“Cuando miramos un camino de iluminación, cada vez es diferente”, dijo Wong. “Entonces, como resultado de eso, la RRAM exhibe un cierto grado de estocasticidad: cada vez que las programa es ligeramente diferente”. Wong y sus colegas demostraron que los dispositivos RRAM pueden almacenar pesos de IA continuos y seguir siendo tan precisos como las computadoras digitales si los algoritmos se entrenan para acostumbrarse al ruido que encuentran en el chip, un avance que les permitió producir el chip NeuRRAM.

Otro problema importante que tuvieron que resolver involucró la flexibilidad necesaria para admitir diversas redes neuronales. En el pasado, los diseñadores de chips tenían que alinear los diminutos dispositivos RRAM en un área junto a las neuronas de silicio más grandes. Los dispositivos RRAM y las neuronas estaban cableados sin capacidad de programación, por lo que el cálculo solo podía realizarse en una sola dirección. Para admitir redes neuronales con computación bidireccional, se necesitaban cables y circuitos adicionales, lo que inflaba las necesidades de energía y espacio.

El equipo de So Wong diseñó una nueva arquitectura de chip en la que se mezclaron los dispositivos de memoria RRAM y las neuronas de silicio. Este pequeño cambio en el diseño redujo el área total y ahorró energía.

“Pensé que [el arreglo] era realmente hermoso”, dijo Melika Payvand, investigador neuromórfico del Instituto Federal Suizo de Tecnología de Zúrich. “Definitivamente lo considero un trabajo innovador”.

Durante varios años, el equipo de Wong trabajó con colaboradores para diseñar, fabricar, probar, calibrar y ejecutar algoritmos de IA en el chip NeuRRAM. Consideraron usar otros tipos emergentes de memoria que también se pueden usar en un chip de computación en memoria, pero RRAM tenía una ventaja debido a sus ventajas en la programación analógica y porque era relativamente fácil de integrar con los materiales informáticos tradicionales.

Sus resultados recientes representan el primer chip RRAM que puede ejecutar algoritmos de IA tan grandes y complejos, una hazaña que anteriormente solo era posible en simulaciones teóricas. “Cuando se trata de silicio real, faltaba esa capacidad”, dijo Anup Das, científico informático de la Universidad de Drexel. “Esta obra es la primera demostración”.

“Los sistemas de IA digital son flexibles y precisos, pero mucho menos eficientes”, dijo Cauwenberghs. Ahora, dijo Cauwenberghs, su chip RRAM analógico flexible, preciso y de bajo consumo ha "cerrado la brecha por primera vez".

Ampliar

El diseño del equipo mantiene el chip NeuRRAM diminuto, del tamaño de una uña, al mismo tiempo que exprime 3 millones de dispositivos de memoria RRAM que pueden servir como procesadores analógicos. Y si bien puede ejecutar redes neuronales al menos tan bien como lo hacen las computadoras digitales, el chip también (y por primera vez) puede ejecutar algoritmos que realizan cálculos en diferentes direcciones. Su chip puede ingresar un voltaje a las filas de la matriz RRAM y leer salidas de las columnas como es estándar para los chips RRAM, pero también puede hacerlo al revés de las columnas a las filas, por lo que puede usarse en redes neuronales que operan con datos que fluyen en diferentes direcciones.

Al igual que con la propia tecnología RRAM, esto ha sido posible durante mucho tiempo, pero nadie pensó en hacerlo. "¿Por qué no pensamos en esto antes?" preguntó Payvand. “En retrospectiva, no lo sé”.

“Esto en realidad abre muchas otras oportunidades”, dijo Das. Como ejemplos, mencionó la capacidad de un sistema simple para ejecutar los enormes algoritmos necesarios para simulaciones de física multidimensional o automóviles autónomos.

Sin embargo, el tamaño es un problema. Las redes neuronales más grandes ahora contienen miles de millones de pesos, no los millones que contienen los nuevos chips. Wong planea escalar apilando varios chips NeuRRAM uno encima del otro.

Será igualmente importante mantener bajos los costos de energía en los dispositivos futuros o reducirlos aún más. Una forma de llegar es por copiando el cerebro aún más de cerca para adoptar la señal de comunicación utilizada entre neuronas reales: el pico eléctrico. Es una señal que se dispara de una neurona a otra cuando la diferencia de voltaje entre el interior y el exterior de la célula alcanza un umbral crítico.

“Hay grandes desafíos allí”, dijo tony kenyon, investigador de nanotecnología en el University College London. "Pero es posible que aún queramos avanzar en esa dirección, porque... lo más probable es que tenga una mayor eficiencia energética si usa picos muy escasos". Sin embargo, para ejecutar algoritmos que se disparan en el chip NeuRRAM actual, es probable que se requiera una arquitectura totalmente diferente, señaló Kenyon.

Por ahora, la eficiencia energética que logró el equipo al ejecutar grandes algoritmos de IA en el chip NeuRRAM ha creado nuevas esperanzas de que las tecnologías de memoria puedan representar el futuro de la informática con IA. Tal vez algún día seremos capaces de emparejar los 86 mil millones de neuronas del cerebro humano y los trillones de sinapsis que las conectan sin quedarse sin energía.