Manipular objetos con las manos desnudas nos permite aprovechar toda una vida de experiencia física, minimizando la curva de aprendizaje para los usuarios. Pero hay momentos en que los objetos virtuales estarán más lejos que el alcance del brazo, más allá del rango de manipulación directa del usuario. Como parte de sus sprints de diseño interactivo, Leap Motion, creadores del periférico de seguimiento manual del mismo nombre, crearon un prototipo de tres formas de interactuar eficazmente con objetos distantes en la realidad virtual.
Artículo invitado por Barrett Fox y Martin Schubert
Barrett es el ingeniero interactivo principal de VR para Leap Motion. Mediante una combinación de creación de prototipos, herramientas y creación de flujo de trabajo con un ciclo de retroalimentación impulsado por el usuario, Barrett ha estado empujando, empujando, empujando y hurgando en los límites de la interacción de la computadora.
Martin es diseñador jefe de realidad virtual y evangelista de Leap Motion. Ha creado múltiples experiencias como Weightless, Geometric y Mirrors, y actualmente está explorando cómo hacer que lo virtual se sienta más tangible.
Barrett y Martin son parte de la élite. Leap Motion equipo que presenta un trabajo sustantivo en VR / AR UX de formas innovadoras y atractivas.
Experimento 1: Invocación animada
El primer experimento buscaba crear una manera eficiente de seleccionar un solo objeto distante estático y luego convocarlo directamente en la mano del usuario. Después de inspeccionarlo o interactuar con él, el objeto se puede descartar y devolverlo a su posición original. El caso de uso aquí sería algo así como seleccionar y convocar un objeto de un estante y luego devolverlo automáticamente, útil para juegos, visualización de datos y simulaciones educativas.
Este enfoque implica cuatro etapas distintas de interacción: selección, convocatoria, retención / interacción y regreso.
1. Selección
Uno de los escollos en los que caen muchos desarrolladores de realidad virtual es pensar en las manos como análogas a los controladores y diseñar las interacciones de esa manera. Seleccionar un objeto a distancia es una tarea de apuntar y muy adecuado para la emisión de rayos. Sin embargo, sostener un dedo o incluso una mano entera firme en el aire para apuntar con precisión a objetos distantes es bastante difícil, especialmente si es necesario introducir una acción de disparo.
Para aumentar la precisión, utilizamos una posición de cabeza / auriculares como una transformación de referencia, agregamos un desplazamiento para aproximar la posición del hombro, y luego proyectamos un rayo desde el hombro a través de la posición de la palma y hacia un objetivo (los desarrolladores veteranos reconocerán esto como el enfoque experimental primero probado con el Módulo de entrada de IU) Esto permite un raycast proyectivo mucho más estable.
Además de la estabilización, se agregaron colisionadores proxy más grandes a los objetos distantes, lo que resultó en objetivos más grandes que son más fáciles de alcanzar. El equipo agregó algo de lógica a los colisionadores de proxy más grandes para que si el rayo de puntería golpea el colisionador de proxy de un objeto distante, el renderizador de línea se dobla para terminar en el punto central de ese objeto. El resultado es una especie de ajuste del renderizador de línea entre zonas alrededor de cada objeto de destino, lo que nuevamente hace que sea mucho más fácil seleccionar con precisión.
Después de decidir cómo funcionaría la selección, lo siguiente era determinar cuándo debería estar activo el 'modo de selección'; dado que una vez que el objeto estuvo al alcance, los usuarios querrían cambiar del modo de selección y volver a la manipulación directa regular.
Dado que disparar un rayo fuera de la mano para apuntar a algo fuera del alcance es una interacción bastante abstracta, el equipo pensó en metáforas o sesgos físicos relacionados que podrían anclar este gesto. Cuando un niño quiere algo fuera de su vecindad inmediata, su instinto natural es alcanzarlo, extendiendo sus manos abiertas con los dedos extendidos.
Esta acción se utilizó como base para activar el modo de selección: cuando la mano se extiende más allá de cierta distancia de la cabeza y los dedos se extienden, comenzamos a emitir rayos para posibles objetivos de selección.
Para completar la interacción de selección, se necesitaba una acción de confirmación, algo para marcar que el objeto suspendido es el que queremos seleccionar. Por lo tanto, curvar los dedos en una pose de agarre mientras se pasa el cursor sobre un objeto lo seleccionará. A medida que los dedos se curvan, el objeto suspendido y el círculo iluminado a su alrededor se reducen ligeramente, imitando un apretón. Una vez completamente curvado, el objeto vuelve a su escala original y el círculo resaltado cambia de color para indicar una selección confirmada.
2. Invocación
Para convocar el objeto seleccionado en el rango de manipulación directa, nos referimos a los gestos del mundo real. Una acción común para acercar algo comienza con una palma plana hacia arriba seguida de rizar los dedos rápidamente.
Al final de la acción de selección, el brazo se extiende, la palma mirando hacia el objeto distante, con los dedos curvados en una pose de agarre. Definimos la heurística para la acción de invocación como comprobar primero que la palma está (dentro de un rango) hacia arriba. Una vez que eso sucede, verificamos la curvatura de los dedos, usando qué tan lejos están curvados para conducir la animación del objeto a lo largo de un camino hacia la mano. Cuando los dedos estén completamente curvados, el objeto se animará hasta llegar a la mano y se sujetará.
Durante la fase de prueba, descubrimos que después de seleccionar un objeto, con el brazo extendido, la palma mirando hacia el objeto distante y los dedos doblados en una pose de agarre, muchos usuarios simplemente movían las muñecas y giraban la mano cerrada hacia ellos, como si tiraran del objeto. hacia ellos mismos. Dadas nuestras heurísticas para invocar (con la palma hacia arriba, luego el grado de animación de la curvatura del dedo), esta acción realmente convocó al objeto en la mano del usuario de inmediato.
Esta acción de movimiento único para seleccionar y convocar fue más eficiente que dos movimientos discretos, aunque ofrecieron más control. Como nuestras heurísticas eran lo suficientemente flexibles como para permitir ambos enfoques, los dejamos sin cambios y permitimos a los usuarios elegir cómo querían interactuar.
3. Sosteniendo e interactuando
Una vez que el objeto llega a la mano, toda la lógica específica de invocación adicional se desactiva. Se puede pasar de una mano a otra, colocarse en el mundo e interactuar con él. Mientras el objeto permanezca al alcance del usuario, no se puede seleccionar para invocarlo.
4. Regresando
Ya terminaste con esto, ¿y ahora qué? Si el objeto es agarrado y sostenido con el brazo extendido (más allá de un radio establecido desde la posición de la cabeza), aparece un renderizador de línea que muestra el camino que tomará el objeto para volver a su posición inicial. Si el objeto se libera mientras esta ruta está visible, el objeto vuelve automáticamente a su posición de anclaje.
En general, esta ejecución se sintió precisa y con poco esfuerzo. Habilita fácilmente la versión más simple de invocación: seleccionar, convocar y devolver un único objeto estático desde una posición de anclaje. Sin embargo, no se siente muy físico, dependiendo en gran medida de gestos y con objetos que animan a lo largo de rutas predeterminadas entre dos posiciones definidas.
Por esta razón, podría usarse mejor para invocar objetos no físicos como la interfaz de usuario, o en una aplicación donde el usuario está sentado con movilidad física limitada donde se preferiría una invocación precisa de punto a punto.
