La teoría de la imaginación hace una predicción diferente sobre cómo se verá la repetición: cuando descansa en el sofá, su cerebro debe reproducir la secuencia "perro, florero, agua". Usted sabe por experiencia pasada que los perros son más propensos a causar floreros rotos que los floreros rotos a causar perros, y este conocimiento puede usarse para reorganizar la experiencia en un orden más significativo.
En RL profundo, la gran mayoría de los agentes ha utilizado la repetición de películas, porque es fácil de implementar (el sistema simplemente puede almacenar eventos en la memoria y reproducirlos tal como ocurrieron). Sin embargo, los investigadores de RL han seguido estudiando las posibilidades en torno a la reproducción de la imaginación.
Mientras tanto, en la neurociencia, las teorías clásicas de la reproducción postulan que la reproducción de la película sería útil para fortalecer las conexiones entre las neuronas que representan diferentes eventos o ubicaciones en el orden en que se experimentaron. Sin embargo, ha habido consejos de la neurociencia experimental que la repetición podría imaginar nuevas secuencias. El más convincente observación es que incluso cuando las ratas solo experimentaron dos brazos de un laberinto por separado, las secuencias de repetición posteriores a veces seguían trayectorias de un brazo al otro.
Pero estudios como este dejan abierta la pregunta de si la repetición simplemente une fragmentos de secuencias experimentadas o si puede sintetizar nuevas trayectorias a partir de toda la tela. Además, los experimentos con roedores se han limitado principalmente a espacial secuencias, pero sería fascinante saber si la capacidad de los humanos para imaginar secuencias está enriquecida por nuestra vasta reserva de abstractos conceptual conocimiento.
Un nuevo experimento de repetición en humanos
Hicimos estas preguntas en un conjunto de recientes experimentos realizado conjuntamente entre UCL, Oxford y DeepMind.
En estos experimentos, primero enseñamos a las personas una regla que definía cómo podía interactuar un conjunto de objetos. La regla exacta que utilizamos se puede encontrar en el documento. Pero para continuar en el lenguaje del ejemplo de "agua, florero, perro", podemos pensar en la regla como el conocimiento de que los perros pueden causar floreros rotos, y los floreros rotos pueden causar agua en el piso. Luego presentamos estos objetos a las personas en un revuelto orden (como "agua, florero, perro"). De esa manera, podríamos preguntarles si sus cerebros reprodujeron los elementos en el orden codificado que experimentaron, o en el orden no codificado que conectó significativamente los elementos. Se les mostró la secuencia revuelta y luego se les dio cinco minutos para descansar, sentados en un MEG escáner cerebral
Como en experimentos anteriores, las secuencias rápidas de reproducción de los objetos eran evidentes en las grabaciones cerebrales. (En otro ejemplo más de la circulo virtuoso entre la neurociencia y la IA, utilizamos el aprendizaje automático para leer estas firmas de la actividad cortical). Estas secuencias espontáneas se desarrollaron rápidamente durante aproximadamente un sexto de segundo y contenían hasta cuatro objetos seguidos. Sin embargo, las secuencias no se desarrollaron en el experimentado orden (es decir, el orden revuelto: agua derramada -> jarrón -> perro). En cambio, jugaron el descifrado, orden significativo: perro -> jarrón -> agua derramada. Esto responde, de manera afirmativa, a las preguntas de si la reproducción puede imaginar nuevas secuencias a partir de un paño, y si estas secuencias están moldeadas por el conocimiento abstracto.
Sin embargo, este hallazgo aún deja abierta la importante cuestión de cómo el cerebro construye estas secuencias descifradas. Para intentar responder a esto, jugamos una segunda secuencia para los participantes. En esta secuencia, ingresa a su fábrica y ve aceite derramado en el piso. Luego ves un barril de petróleo derribado. Finalmente, te vuelves para ver un robot culpable. Para descifrar esta secuencia, puede usar el mismo tipo de conocimiento que en la secuencia “agua, jarrón, perro”: conocimiento de que un agente móvil puede derribar recipientes, y esos recipientes volcados pueden derramar líquido. Usando ese conocimiento, la segunda secuencia también se puede descifrar: robot -> barril -> aceite derramado.
Al mostrar a las personas secuencias múltiples con la misma estructura, podríamos examinar dos nuevos tipos de representación neural. Primero, la parte de la representación que es común entre el agua derramada y el aceite derramado. Esto es un resumen código para "un líquido derramado", invariable sobre si estamos en la secuencia de inicio o en la secuencia de fábrica. Y segundo, la parte de la representación que es común entre el agua, el jarrón y el perro. Este es un código abstracto para "la secuencia inicial", invariable sobre qué objeto estamos considerando.
Encontramos ambos tipos de códigos abstractos en los datos del cerebro. Y para nuestra sorpresa, durante el descanso se desarrollaron en secuencias rápidas que se coordinaron con precisión con las secuencias de reproducción espontánea mencionadas anteriormente. Cada objeto en una secuencia de reproducción fue precedido ligeramente por ambos códigos abstractos. Por ejemplo, durante un perro, un jarrón, una secuencia de reproducción de agua, la representación de "agua" fue precedida por los códigos de "secuencia de inicio" y "líquido derramado".
Fuente: https://deepmind.com/blog/article/replay-in-biological-and-artificial-neural-networks
