La representación de gráficos en 3D para las últimas pantallas de alta resolución nunca ha sido una tarea fácil, y el nivel de desafío aumenta varias veces para los auriculares VR con pantallas gemelas que usan altas frecuencias de actualización, algo La empresa matriz de Oculus, Facebook sabe todo muy bien Hoy, los investigadores de Facebook revelado Una nueva técnica para el muestreo de contenido 3D renderizado en tiempo real, que utiliza el aprendizaje automático para transformar instantáneamente imágenes de baja resolución y computacionalmente más fáciles en una aproximación muy cercana de materiales de referencia de resolución mucho más alta.

La forma más fácil de entender la innovación de Facebook es imaginar la Mona Lisa representada como solo 16 cuadrados de colores, como una cuadrícula de 4 × 4. Un humano que mirara la cuadrícula vería una imagen imperdonablemente irregular y cuadrada, tal vez reconociendo los famosos contornos de la Mona Lisa, pero una computadora entrenada podría identificar instantáneamente la cuadrícula y reemplazarla con la obra de arte original. Empleando redes neuronales convolucionales de tres capas, los investigadores de Facebook han desarrollado una técnica que funciona no solo para imágenes planas sino también para escenas renderizadas en 3D, transformando la "entrada altamente alias" en "alta fidelidad y resultados temporalmente estables en tiempo real", tomando color , profundidad y vectores de movimiento temporal en cuenta.

Desde un punto de vista computacional, la investigación sugiere que un entorno 3D presentado de manera similar a la juego original de Doom podría ampliarse, con entrenamiento avanzado, a una experiencia de realidad virtual que se parece Quake. Esto no significa que ningún desarrollador pueda convertir un motor 3D primitivo en una rica experiencia de realidad virtual, sino que la técnica podría ayudar a un dispositivo de realidad virtual con limitaciones de energía: piense Búsqueda Oculus - renderice internamente menos píxeles (consulte "Entrada" en la foto de arriba) mientras muestra una salida hermosa ("Nuestra" en la foto de arriba), utilizando el aprendizaje automático como acceso directo para lograr resultados de calidad de referencia cercana.

Si bien los detalles del entrenamiento de la máquina son complicados, el resultado es que la red está entrenada usando imágenes tomadas de 100 videos de una escena 3D dada, ya que los usuarios reales lo habrían experimentado desde varios ángulos de cabeza. Estas imágenes permiten una escena de referencia de resolución completa que tardaría 140.6 milisegundos en renderizarse a 1,600 por 900 píxeles para reproducirse en 26.4 milisegundos a 400 por 225 píxeles, luego se muestreó 4 × 4 en 17.68 milisegundos, para un total de 44.08 milisegundos - un ahorro de casi 3.2x en tiempo de renderizado para una aproximación muy cercana de la imagen original. De esta manera, un usuario de auriculares Quest VR se beneficiaría del escenario que ya se ha explorado a fondo en computadoras mucho más potentes.

Los investigadores dicen que su sistema supera drásticamente el últimos motores de Unreal Engine técnica de aumento de la antialiasing temporal, mostrada como Unreal TAAU arriba, al ofrecer una precisión mucho mayor de los detalles reconstruidos. Ellos notan que Supermuestreo de aprendizaje profundo de Nvidia (DLSS) está más cerca de su solución, pero DLSS se basa en software y / o hardware patentado que podría no estar disponible en todas las plataformas. Facebook sugiere que su solución no requerirá hardware o software especial y puede integrarse fácilmente en los motores 3D modernos, utilizando sus entradas existentes para proporcionar un supermuestreo 4 × 4 en un momento en que las soluciones comunes usan un muestreo superior 2 × 2 como máximo.

Tan positivo como es el nuevo sistema, como era de esperar, no es perfecto. A pesar de todo el entrenamiento avanzado y la suavidad temporalmente estable de las imágenes resultantes, es posible que se pierdan algunos detalles finos en el proceso de reproducción, de modo que el texto podría no ser legible en una nota adhesiva (como se muestra arriba) si su presencia no fuera ' t marcado correctamente dentro de los últimos fotogramas del render de baja resolución. También hay preguntas sobre el costo de la implementación de "aplicaciones de visualización de alta resolución", aunque se espera que más potencia, mejores optimizaciones e ingeniería profesional mejoren el rendimiento del sistema.

El trabajo de investigación subyacente se publicó hoy como "Supermuestreo neuronal para renderizado en tiempo real", Atribuido a Lei Xiao, Salah Nouri, Matt Chapman, Alexander Fix, Douglas Lanman y Anton Kaplanyan de Facebook Reality Labs. Se presenta en siggraph 2020 a mediados de julio.