Los investigadores pueden tomar una imagen y usarla como punto de referencia para crear un mundo, objeto o persona virtual.
A medida que las empresas exploran tener una presencia en el metaverso a través de un gemelo digital, la capacidad de crear rápida y fácilmente contenido 3D estilizado y mundos virtuales solo se volverá más importante en el futuro.
Una publicado recientemente Cornell University El artículo exploró esta tendencia creciente y desarrolló una solución para producir campos de radiación neuronal estilizados (SNeRF) que se pueden utilizar para crear una amplia gama de escenas virtuales dinámicas a mayor velocidad que los métodos tradicionales.
Usando varias imágenes de referencia, el equipo de investigación de Jue Nguyen-Phuoc, feng liuy lei xiao pudieron generar escenas 3D estilizadas que podrían usarse en una variedad de entornos virtuales. Por ejemplo, imagina ponerte un visor de realidad virtual y ver cómo se vería el mundo real a través de una lente estilizada como una pintura de Pablo Picasso.
Este proceso permite al equipo no solo crear objetos virtuales rápidamente, sino también utilizar su entorno del mundo real como parte del mundo virtual con detección de objetos 3D.
Es importante tener en cuenta que el equipo de investigación también pudo observar el mismo objeto a través de diferentes direcciones de vista en el mismo punto de vista, también conocido como consistencia de vista cruzada. Esto crea un efecto 3D inmersivo cuando se ve en VR.
Al alternar los pasos de optimización de NeRF y estilización, el equipo de investigación pudo tomar una imagen y usarla como estilo de referencia para luego recrear un entorno, objeto o persona del mundo real de una manera que adapta la estilización de esa imagen, por lo tanto acelerar el proceso de creación.
“Presentamos un nuevo método de entrenamiento para abordar este problema al alternar los pasos de optimización de NeRF y estilización”, dijo el equipo. “Este método nos permite hacer un uso completo de nuestra capacidad de memoria de hardware para generar imágenes a mayor resolución y adoptar métodos de transferencia de estilo de imagen más expresivos. Nuestros experimentos muestran que nuestro método produce NeRF estilizados para una amplia gama de contenido, incluidas escenas interiores, exteriores y dinámicas, y sintetiza vistas novedosas de alta calidad con consistencia entre vistas”.
Debido a las limitaciones de memoria de NeRF, los investigadores también tuvieron que resolver otro problema de cómo podían generar más imágenes 3D de alta definición a una velocidad que se sintiera más como en tiempo real. La solución fue crear un bucle de vistas renderizadas que con cada iteración pudiera apuntar a los puntos de estilización de manera más consistente con cada paso y luego reconstruir la imagen con más detalle.
La tecnología también mejoró los avatares. El enfoque estilizado de SNeRF del equipo de investigación les permitió crear un avatar que era más expresivo durante las conversaciones. El resultado son avatares 4D dinámicos que pueden transmitir de manera realista emociones como la ira, el miedo, la emoción y la confusión, todo sin tener que usar un emoji o presionar un botón en un controlador de realidad virtual.
El trabajo de investigación aún continúa, pero por el momento el equipo pudo desarrollar un método para la estilización de escenas en 3D utilizando representaciones neuronales implícitas que impactaron su entorno y sus avatares. Además, su enfoque de usar un método de estilización alternativo les permitió aprovechar el uso completo de la capacidad de su memoria de hardware para estilizar escenas 3D tanto estáticas como dinámicas, lo que permitió al equipo generar imágenes a mayor resolución y adoptar una transferencia de estilo de imagen más expresiva. Métodos en VR.
Si está interesado en profundizar en los detalles, puede acceder a su informe esta página.
Crédito de la imagen: Universidad de Cornell
