Hay algo mágico en construir en realidad virtual. Imagine poder ensamblar motores de automóviles sin peso, organizar espacios de trabajo virtuales dinámicos o crear castillos imaginarios con ladrillos infinitos. Organizar o ensamblar objetos virtuales es un escenario común en una variedad de experiencias, particularmente en educación, empresa y capacitación industrial, sin mencionar los juegos de mesa y los juegos de estrategia en tiempo real.
Artículo invitado por Barrett Fox y Martin Schubert
Barrett es el ingeniero interactivo principal de VR para Leap Motion. Mediante una combinación de creación de prototipos, herramientas y creación de flujo de trabajo con un ciclo de retroalimentación impulsado por el usuario, Barrett ha estado empujando, empujando, empujando y hurgando en los límites de la interacción de la computadora.
Martin es diseñador jefe de realidad virtual y evangelista de Leap Motion. Ha creado múltiples experiencias como Weightless, Geometric y Mirrors, y actualmente está explorando cómo hacer que lo virtual se sienta más tangible.
Barrett y Martin son parte de la élite. Leap Motion equipo que presenta un trabajo sustantivo en VR / AR UX de formas innovadoras y atractivas.
Actualización (3 / 18 / 18): Leap Motion tiene lanzó la demo de andamios para que cualquiera con un periférico Leap Motion lo descargue y lo pruebe por sí mismo. También han publicado un video que muestra cómo se ve el prototipo terminado (ver arriba).
Para nuestro último sprint de interacción, exploramos cómo la construcción y el apilamiento de las interacciones podrían sentirse ininterrumpidas, receptivas y estables. ¿Cómo podríamos colocar, apilar y ensamblar objetos virtuales de forma rápida y precisa, preservando al mismo tiempo los matices y la riqueza de una simulación física adecuada?
El Desafío
Manipular objetos virtuales simulados físicamente con las manos desnudas es una tarea increíblemente compleja. Esta es una de las razones por las que desarrollamos el Motor de interacción Leap Motion, cuyo propósito es hacer que los elementos fundamentales de agarrar y liberar objetos virtuales se sientan naturales.
No obstante, la rotación precisa, la colocación y el apilamiento de objetos habilitados para la física, aunque es muy posible, requieren un toque hábil. Apilar en particular es un buen ejemplo.
Apilar en realidad virtual no debería parecer una bomba desactivada.
Cuando apilamos objetos en el mundo físico, hacemos un seguimiento de muchos aspectos de la estabilidad de la torre a través de nuestro sentido del tacto. Al colocar un bloque en una torre de objetos, sentimos cuándo y dónde el bloque sostenido hace contacto con la estructura. En ese instante sentimos una resistencia física real.
La forma más fácil de contrarrestar estos problemas en la realidad virtual es desactivar la física y simplemente mover los objetos. Esto elimina con éxito colisiones involuntarias y empujones accidentales.
Con la gravedad y la inercia desactivadas, podemos ensamblar los bloques como queramos, pero carece del comportamiento realista basado en la física, que es una parte importante de cómo haríamos la misma tarea en el mundo real.
Sin embargo, esta solución está lejos de ser ideal, ya que la rotación precisa, la colocación y la alineación siguen siendo un desafío. Además, deshabilitar la física en los objetos virtuales hace que interactuar con ellos sea mucho menos convincente. Existe una riqueza innata en las interacciones virtuales simuladas físicamente en VR / AR que solo se amplifica cuando puede usar sus propias manos.
Un andamio desplegable
El mejor diseño de interacción VR / AR a menudo combina señales del mundo real con las posibilidades únicas del medio. Al investigar cómo hacemos más fácil el ensamblaje de cosas en el mundo físico, observamos cosas como reglas y cintas de medición para la alineación y el concepto de andamiaje, Una estructura temporal utilizada para soportar materiales en ayuda de la construcción.
Las cuadrículas ajustables son una característica común de las aplicaciones 3D de pantalla plana. Incluso en realidad virtual vemos ejemplos tempranos como la muy buena implementación en Bloques de Google.
Sin embargo, en lugar de cubrir todo el mundo en una cuadrícula, propusimos la idea de usarlos como herramientas volumétricas discretas. Esta sería una cuadrícula tridimensional temporal y redimensionable que ayudaría a crear conjuntos de objetos virtuales, ¡un andamio desplegable! A medida que los objetos se colocan en la cuadrícula, se encajan en su posición y son sostenidos por un resorte físico, manteniendo la simulación física durante toda la interacción. Una vez que un usuario termina de ensamblar, puede desactivar la cuadrícula. Esto libera los resortes y devuelve los objetos a una simulación física sin restricciones.
Para crear este sistema de andamios, necesitábamos construir dos componentes: (1) una cuadrícula 3D desplegable, redimensionable y ajustable, y (2) un conjunto de objetos de ejemplo para ensamblar.
Generando una cuadrícula 3D
Construir la cuadrícula visual alrededor de la cual se centran las interacciones Scaffold es sencillo. Pero dado que queremos poder cambiar las dimensiones de un Andamio dinámicamente, podemos tener muchos de ellos por Andamio (y potencialmente múltiples Andamios por escena). Para optimizar, creamos un sombreador personalizado con instancia de GPU para representar los puntos en nuestra cuadrícula Scaffold. Este tipo de representación repetitiva de objetos idénticos es excelente para colocar en la GPU porque ahorra ciclos de CPU y mantiene alta nuestra velocidad de cuadros.
En las primeras etapas de desarrollo, fue útil codificar por colores los puntos. Dado que la cuadrícula cambiará de tamaño dinámicamente, los colores son útiles para identificar lo que estamos destruyendo y recreando o si nuestro orden de puntos es ordenado (también era bonito y nos gustan las cosas del arco iris).
Rendimiento de desplazamiento de cuadrícula basado en sombreador
En nuestro trabajo, nos esforzamos por hacer que las cosas sean reactivas a nuestras acciones, aumentando la sensación de presencia y magia que hace de la realidad virtual un medio tan maravilloso. La realidad virtual carece de muchas de las señales de profundidad en las que confiamos en el mundo físico, por lo que la reactividad también es importante para impulsar la propiocepción (nuestro sentido de las posiciones relativas de diferentes partes de nuestro cuerpo).
Con eso en mente, no nos detuvimos simplemente haciendo una cuadrícula de cubos. Dado que renderizamos nuestros puntos de cuadrícula con un sombreador personalizado, podríamos agregar características a nuestro sombreador para ayudar a los usuarios a comprender mejor la posición y la profundidad de sus manos. Con eso en mente, nuestros puntos de cuadrícula crecerán y brillarán cuando su mano esté cerca, lo que la hace más receptiva y fácil de usar.
Fabricación de bloques reactivos para andamios y sus fantasmas
La creación de objetos que se pueden colocar dentro (y alinear) en nuestra nueva cuadrícula comienza con la adición de un componente InteractionBehaviour a uno de nuestros modelos de bloques. Combinado con el motor de interacción, se ocupa de la importante tarea de hacer que el objeto sea comprensible. Para permitir que el bloque interactúe con la cuadrícula, creamos y agregamos otro componente Monobehaviour que llamamos ScaffoldBehaviour. Este comportamiento maneja la mayor parte de la lógica específica del bloque posible para que las clases de cuadrícula sigan siendo menos complicadas y manejables (sí, es una palabra).
Al igual que con la cuadrícula en sí, hemos aprendido a pensar en las posibilidades de nuestras interacciones junto con las interacciones mismas. Diseñamos la lógica de interacción para crear y administrar un fantasma del bloque cuando está dentro de la cuadrícula, para que pueda saber fácilmente a dónde irá el bloque cuando lo libere:
Cambiar el tamaño de la cuadrícula con manijas del motor de interacción
Al construir manijas para agarrar y arrastrar, un usuario puede cambiar el tamaño del Andamio para que se ajuste a un área específica. Creamos manijas esféricas con comportamientos de Interaction Engine, que restringimos al movimiento en el eje que controlan. De esta manera, si el usuario coloca bloques en el Andamio y arrastra los tiradores para hacer que la cuadrícula sea más pequeña, los bloques se liberan y los sueltan. Por el contrario, si se arrastran las manijas para agrandar la cuadrícula y se colocaron bloques en esos puntos de la cuadrícula, entonces los bloques vuelven a su lugar.
