Una imagen compartida en Twitter del próximo Magic Leap 2 muestra cámaras en los controladores, que se utilizan para el seguimiento de adentro hacia afuera.
En enero informamos sobre las especificaciones de Magic Leap 2, o al menos algunas de ellas, siendo compartido en SPIE Photonics West 2022. Pero resulta que, nos perdimos que la compañía también reveló que el controlador en sí usa el seguimiento de adentro hacia afuera. En ese momento no estaba claro qué significaba eso exactamente, pero la imagen compartido esta semana por el empresario Peter Diamandis muestra dos cámaras frontales.
Los controladores en casi todos los sistemas AR y VR disponibles en la actualidad son rastreados por el auricular o dependen de estaciones base externas. Meta's Quest 2, por ejemplo, rastrea un patrón de LED infrarrojos debajo del anillo de plástico de sus controladores, mientras que los controladores Valve's Index determinan su posición en relación con las estaciones base SteamVR "Lighthouse" ubicadas en la esquina de su habitación.
Confiar en los auriculares para el seguimiento tiene una falla: si el controlador se mueve fuera de la vista de los sensores o si alguna parte de su cuerpo se interpone en el camino, el seguimiento se interrumpirá temporalmente. Esto no es un problema para muchos casos de uso, pero limita las complejas interacciones a dos manos y escenarios como mirar a la izquierda mientras se dispara a la derecha. El uso de estaciones base externas puede aliviar la mayoría de estos problemas, pero eso aumenta el tiempo de configuración y limita severamente la portabilidad, y la ruta de los controladores a las estaciones base aún puede estar obstruida.
Magic Leap 1 y Pico Neo 2 utilizaron seguimiento magnético. A diferencia de la luz visible, el campo magnético puede atravesar el cuerpo humano, por lo que la oclusión no es un problema. Pero el seguimiento magnético no es tan preciso como pueden ser los sistemas de seguimiento óptico y agrega un peso y un costo significativos al hardware.
Los controladores con cámaras integradas prometen resolver el problema de oclusión mientras mantienen una alta precisión al rastrearse a sí mismos de la misma manera que lo hacen los auriculares de adentro hacia afuera, utilizando un tipo de algoritmo llamado Localización y mapeo simultáneos (SLAM). SLAM esencialmente funciona comparando la aceleración (de un acelerómetro) y la rotación (de un giroscopio) con el alto contraste de las características en su habitación que se mueven en relación con las cámaras. Los algoritmos iniciales de SLAM se diseñaron a mano, pero la mayoría hoy en día usa al menos algo de aprendizaje automático.
Las posibles desventajas de este enfoque son el costo de un chip lo suficientemente potente como para ejecutar el algoritmo de seguimiento, la reducción de la duración de la batería debido a la energía que consumiría ese chip y la necesidad de tener un entorno bien iluminado con características de alto contraste como carteles, aunque esa limitación también se aplica a los auriculares de adentro hacia afuera. Algunos han sugerido que la calidad de seguimiento puede reducirse en movimientos rápidos debido al desenfoque de movimiento, pero esto no debería ser más problemático que el seguimiento de LED de movimiento rápido: un sensor de obturador global con un tiempo de exposición bajo debería hacer que esto no sea un problema.
Aparentemente, Meta también planea usar controladores con seguimiento de adentro hacia afuera integrado en su próximo Auriculares del proyecto Cambria. Imágenes de controladores tipo Quest con cámaras en lugar de un anillo LED filtrado por primera vez en septiembrey los anillos no están presentes en el tráiler oficial de revelación tampoco.
Tanto Magic Leap 2 como Project Cambria están programados para lanzarse este año, aunque ninguno tiene una ventana de lanzamiento específica. Son productos muy diferentes: ML2 es un auricular AR transparente diseñado para empresas, mientras que Cambria es un auricular opaco para VR y realidad mixta, pero cualquiera que se lance primero será el primer sistema AR o VR en utilizar este nuevo enfoque para el seguimiento del controlador.
