VR combinada: realidad aumentada en cubo

Hay una actividad de desarrollo considerable en el extremo superior de la creación de hardware y contenido para realidad virtual y realidad aumentada, así como alias de AR como realidad mixta, realidad ampliada y otros.

La mayoría de las inversiones de la industria están dirigidas a los juegos de última generación y al desarrollo de aplicaciones industriales. Sin embargo, también vale la pena mirar la parte baja del mercado, para ver cómo las personas e instituciones sin grandes presupuestos – los consumidores y la educación – podrían adoptar estas tecnologías antes, en lugar de esperar años para que todos los adelantos bajen a niveles inferiores puntos de precio.

Un ejemplo de AR hecho en una escala más amigable con el ser humano es Merge VR. Sus fundadores parecen haber tomado la pista de The Graduate (“Una palabra: plásticos”), agregó software y un poco de creatividad, y luego lo aplicó a AR.

La óptica funcionó bien para mí

Primero, Merge VR construyó un auricular de plástico blando (que ellos llaman “gafas”) que se adapta a cualquier teléfono inteligente, incluso el más grande. La óptica funcionó bien para mí. Los controles físicos para ajustar la óptica son fáciles de usar, el auricular es cómodo de llevar, el plástico es fácil de limpiar, y es barato (US $ 60 al por menor a mediados de agosto de 2017). Dos botones de toque indirectos proporcionan un control táctil limitado en la aplicación mientras el teléfono inteligente está montado en el auricular. La gestión de cables es fácil: tanto para mantener el teléfono inteligente como para conectar auriculares.

Viene en una variedad de colores; He visto al menos 10 colores en las oficinas de Merge VR. El dispositivo se ve amable, no de alta tecnología. Es más, el auricular ha cumplido con los requisitos de seguridad de una amplia franja de reguladores para su uso por niños de tan solo 10 años de edad.

Un cubo engañosamente simple

Una inserción del panel frontal, cuando está instalada, mantiene el interior del auricular oscuro para aplicaciones VR, especialmente cuando se usa con teléfonos inteligentes más pequeños. Para aplicaciones AR, los usuarios pueden quitar el inserto y exponer la cámara del teléfono inteligente a través de la orientación adecuada del teléfono inteligente en el auricular.

Hay una enorme inversión en toda la industria para desarrollar pantallas transparentes para AR. Las pantallas transparentes prometen ofrecer superposiciones gráficas de campo visual completo (FoV) o, al menos, el mismo campo de visión que las gafas de sol envolventes. El desafío es que la creación de pantallas totalmente claras es muy difícil; por lo que es la creación completa FoV muestra. Las pantallas transparentes actuales son algo oscuras; usarlos es muy parecido a llevar gafas de sol en el interior.

Otra forma de lograr la transparencia es utilizar la cámara del teléfono inteligente para transmitir la imagen a la pantalla del teléfono, pero las cámaras son todavía mucho más baja resolución que mirando la realidad a través de una lente física – especialmente las cámaras de teléfonos inteligentes.

Mientras que la resolución de la cámara está aumentando, una sola cámara del smartphone no puede proporcionar la visión estereoscópica de alta calidad. En esta etapa temprana de AR, creo que “a través de la lente” la visualización gana sobre las pantallas transparentes, simplemente porque los espectadores de AR basados ​​en teléfonos inteligentes pueden ser construidos y vendidos a precios de consumo a gran escala.

¿Qué puede hacer una solución AR de una sola cámara basada en un teléfono inteligente?

Los teléfonos inteligentes tienen ahora suficiente potencia de procesamiento para ejecutar muchas clases de reconocimiento de imágenes de video en tiempo real. La potencia de procesamiento de gráficos utilizada para entregar juegos móviles también puede crear superposiciones 3D en tiempo real que rastrea objetos en una secuencia de vídeo.

El proceso de alinear gráficos en artefactos de video se llama “registro”. Los teléfonos inteligentes modernos tienen el poder de cálculo para realizar el registro tridimensional en tres ejes de rotación.

Ejecutar el reconocimiento y el registro de imágenes de video en tiempo real sin consumir toda la potencia del bateador de un smartphone requiere simplificar la tarea de reconocimiento de imagen.

Merge VR diseñó un artefacto de plástico específicamente para un fácil reconocimiento de imágenes de video en tiempo real para soportar aplicaciones de educación y entretenimiento sencillas y de bajo costo. El artefacto es un cubo, llamado, simplemente, el “Merge Cube”.

El Merge Cube tiene 72mm (2,83 pulgadas) de lado y es fácil para un niño o un adulto. Se fabrica con patrones únicos y fácilmente diferenciados en relieve en cada lado. Las tapas planas de los patrones son plata reflexiva; el espacio entre los patrones es gris mate.

Diseñar el artefacto no era suficiente. Combine el equipo de desarrollo de software de VR con el software de registro de imagen y de video empaquetado en el Merge Cube Software Developer Kit. Merge integró su Merge Cube SDK con la plataforma de desarrollo de juegos de Unity y el SDK de procesamiento de visión móvil de Vuforia. Las aplicaciones que integran el Merge Cube SDK funcionan encima del motor de juego de Unity en un teléfono inteligente. Hay muchas bibliotecas avanzadas de procesamiento de la visión emergentes para los teléfonos inteligentes, y Merge VR es probable que aproveche más de ellos en el futuro.

La mayoría de las marcas de registro AR son bidimensionales; girando una marca de registro 2D unos pocos grados puede lanzar el seguimiento fuera. El Merge Cube se puede rastrear en cualquier orientación, en cualquier ángulo. El software de seguimiento sabe que el Merge Cube es un cubo, y que cada lado es único. Sabe en qué orden están los lados – cuáles lados están conectados a los otros lados – de modo que, al girar el Cubo de Combinación, el software de seguimiento pueda anticipar el siguiente lado que se va a exponer.

Merge VR diseñó las marcas de registro para ser identificadas fácilmente sin necesidad de algoritmos de reconocimiento de patrones de propósito general. Sólo está escaneando la alimentación de video entrante para seis patrones únicos y no naturales. Reconocer gestos de las manos, por ejemplo, requeriría mucho más capacidad de cálculo y consumiría más energía de la batería.

Los desarrolladores crean una geometría 3D en Unity y la envuelven alrededor del Merge Cube. Unity entonces se encarga del trabajo para girar la geometría 3D cuando el Cubo Merge gira. El seguimiento es rápido porque se realiza con resolución de vídeo estándar y velocidades de fotogramas (normalmente 1080p), y no con la resolución fotográfica completa del sensor de imagen del teléfono inteligente.

Merge VR reduce el tamaño de la secuencia de vídeo para ahorrar energía y tiempo para el reconocimiento de imagen y, a continuación, elimina los componentes de color para procesar el vídeo en escala de grises. Usar el Merge Cube simplemente necesita un sensor de cámara de calidad moderada para cámaras – las cámaras de más de 12 megapíxeles están bien.

Los Smartphones deben ponerse al día

El Merge Cube SDK se ha optimizado para la mayoría de los teléfonos lanzados en los últimos dos años. Como referencia, el iPhone de Apple 6 y el Samsung Galaxy S6 están entre los teléfonos más antiguos que pueden ejecutar el SDK de Cube.

El desafío para Merge VR es que muchos teléfonos inteligentes aún en uso no tienen el complemento completo de funciones necesarias para soportar VR: Android 7.0+, pantalla de alta resolución, rendimiento gráfico aceptable y un conjunto completo de sensores de posición (acelerómetro, compás y giroscopio).

Sólo hay una versión de Merge Cube, porque los desarrolladores de aplicaciones pueden superponerla con lo que quieran.

Cualquier smartphone reciente, montado en un auricular Merge VR (con la cámara expuesta) y ejecutando una aplicación desarrollada con el Merge Cube SDK, puede convertir el Merge Cube en … algo más, cualquier otra cosa. Los usuarios giran el cubo en cualquier dirección e interactúan con los gráficos superpuestos en el Merge Cube, todo a una tasa de fama muy fluida.