Un vídeo publicado por un desarrollador de Vision Pro parece mostrar los niveles actuales de rendimiento de oclusión y seguimiento manual de los que son capaces los nuevos auriculares de Apple.
visión de manzana pro, se espera que se lance en los próximos meses, utilizará el seguimiento manual como método de entrada principal. Si bien las interacciones a nivel de sistema combinan el seguimiento manual con el seguimiento ocular para una modalidad de "mirar y tocar", los desarrolladores también pueden crear aplicaciones que permitan a los usuarios interactuar directamente con las aplicaciones usando sus manos.
El seguimiento de manos en Vision Pro se puede dividir en dos capacidades distintas: "seguimiento de manos" y "oclusión de manos".
Hand-tracking es el modelo 3D estimado de la mano, sus articulaciones y la posición de las yemas de los dedos. Este modelo se utiliza para determinar cuándo se tocan, se agarran y se interactúa con los objetos.
La oclusión de la mano se ocupa de cómo el sistema superpone su mano real en el contenido virtual. En lugar de dibujar un modelo 3D de una mano virtual en la escena, Vision Pro recorta la imagen de sus manos reales para mostrarlas en la escena. Hacerlo agrega otra capa de realismo al contenido virtual porque puedes ver tus propias y únicas manos.
Un desarrollador que creó Vision Pro usando Unity publicó un video que ofrece una visión clara tanto del seguimiento manual como de la oclusión.
En el vídeo de arriba, las manos reales muestran el sistema de oclusión en acción, mientras que los puntos verdes muestran la posición 3D estimada de la mano.
Podemos ver que la oclusión manual es muy buena pero no perfecta; cuando está completamente rodeado de contenido virtual y se mueve rápidamente, puede ver algunos recortes alrededor de los bordes de la mano.
Mientras tanto, la posición real de seguimiento de la mano va más por detrás de la oclusión de la mano, entre 100 y 200 ms. Sin embargo, no podemos determinar la verdadera latencia del seguimiento de manos de Vision Pro, porque solo tenemos una vista de las manos de seguimiento de oclusión para compararlas (que a su vez tendrán cierta latencia con respecto a las manos reales).
En este contexto, el video proviene de una conversación con un desarrollador de Unity que dice que sus primeros experimentos con Vision Pro mostraron una latencia de seguimiento manual muy alta, aparentemente en comparación con las últimas capacidades de seguimiento manual de Quest. Otros desarrolladores de Unity coincidieron en que estaban viendo una latencia similar en sus propios dispositivos Vision Pro.
Sin embargo, el video en cuestión es una integración de seguimiento manual dentro de una aplicación Unity, lo que significa que el rendimiento y la latencia del seguimiento manual pueden tener factores adicionales relacionados con Unity que no están presentes cuando se utilizan las herramientas de desarrollo Vision Pro propias de Apple. Y teniendo en cuenta que los auriculares aún no se han lanzado y que estas herramientas aún están en desarrollo, es posible que veamos mejoras adicionales cuando los auriculares lleguen a las tiendas.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/
