domingo, 17 de junio de 2018

EyeAR Capture, guía oftalmológica con realidad aumentada

Asignatura: Narratives visuals, 2D y 3D
Nombre del estudiante: Tanit Colobrans Roura
Consultor y profesor: Aniol Marín y Antoni Marín

Introducción

Unos meses antes de empezar el TFG descubrí la realidad aumentada y todas las posibilidades que ofrecía esta tecnología. En ese momento empezó a formarse una idea en mi cabeza.
¿Y qué es la realidad aumentada? Es la visión de un entorno real a través de la cámara de un dispositivo móvil en el cual se mezclan elementos virtuales con elementos reales, sobreponiendo los primeros a los segundos. La característica principal de esta tecnología es el hecho de poder añadir capas adicionales de información al entorno real mejorando la experiencia del usuario.
EyeAR Capture nace queriendo fusionar todo lo aprendido durante el grado con mi trabajo diario de técnica óptica. Esta aplicación para dispositivos móviles permite añadir información extra a una guía oftalmológica en formato libro mediante la realidad aumentada.
La finalidad de este proyecto es la de crear una herramienta educativa, innovadora y práctica para todos los estudiantes y profesionales relacionados con la oftalmología.

Etapas y retos

Este proyecto se ha dividido en tres grandes etapas: el diseño gráfico de la guía y las ilustraciones, el modelado 3D y animación de los elementos, y la creación de la aplicación de realidad aumentada.
Durante la primera etapa se ha diseñado la guía oftalmológica, tanto las ilustraciones ubicadas dentro de la guía como el diseño y maquetado del propio libro.
Las ilustraciones se han creado a partir de esbozos del ojo que posteriormente se han digitalizado y trazado mediante el software Adobe Illustrator. Estas ilustraciones forman parte del texto explicativo incluido en la guía, pero también son los targets que usa Vuforia para lanzar el contenido de realidad aumentada de la aplicación.
Mediante el software Adobe Indesign se ha diseñado y maquetado la guía. A consecuencia del tiempo limitado para este proyecto, se han diseñado solo ocho páginas como prototipo y con contenido real de las ochenta páginas que tendría el libro final.
Imagen 1: Diseño de la guía oftalmológica.
En la segunda etapa se han modelado todos los elementos en 3Dnecesarios mediante el software Autodesk 3ds Max. El mayor reto de esta etapa ha sido el de conseguir reproducir de la manera más fiel posible a la realidad la anatomía del ojo humano. El modelo que muestra las capas del ojo es el objeto principal del proyecto y el más complejo de todos. Durante su modelado tuve algunos contratiempos y acabé dedicando el doble del tiempo establecido en la planificación inicial del TFG.
Para modelar el ojo humano se empezó con una esfera que se modificó usando diferentes modificadores (Shell para el espesor de la capa o Turbosmooth para el suavizado, por ejemplo) hasta conseguir la forma que tiene la capa más externa del ojo. Después se clonó esta capa haciéndola un poco más pequeña que la anterior para ajustarla justo por debajo de la primera, formando la segunda capa para luego darle la forma adecuada. Para generar la tercera capa, la más interna, se procedió del mismo modo. Para los demás elementos se utilizaron otras técnicas, como la generación de fibras para la zona del cristalino o el uso de lengüetas (splines) para la vascularización.
Imagen 2: Diseño de las capas del ojo humano.
Imagen 3: Diseño final con las texturas.
Los demás objetos se modelaron a partir del objeto base anterior, añadiendo diferentes elementos según la necesidad. De esta forma, se modelaron cuatro escenas que representan diferentes conceptos de oftalmología: las capas del ojo, un desprendimiento de retina, la colocación de un dispositivo de drenaje para el glaucoma y, finalmente, el estrabismo.
Imagen 4: Diseño del estrabismo.
A tres de estos objetos se les añadió una pequeña animación que mejoraba todavía más su entendimiento. Estas animaciones se crearon dentro del propio 3ds Max mediante el uso de keyframes, que posteriormente se exportaron con los modelos.
La tercera etapa englobó todo el proceso de creación de la aplicación de realidad aumentada junto con el test de usuarios.
La aplicación se creó mediante el software Unity, que al ser un programa multiplataforma se le pudo añadir el API de Vuforia, lo que permitió trabajar con la realidad aumentada dentro de un mismo programa. La configuración de la realidad aumentada se hizo desde la web de Vuforia, creando la licencia y la base de datos con los targets. Posteriormente se descargó esta base de datos para poder cargarla en Unity.
Dentro de Unity se crearon las cuatro escenas necesarias con los elementos que quería mostrar y se asociaron al target correspondiente. Además de estas cuatro escenas, se creó una quinta que contenía el modelo en 3D del logotipo de la aplicación. Una vez distribuidos todos los elementos, se escribieron diferentes textos que permiten que haya interactividad entre los modelos y el usuario. Después se creó el menú de navegación de la aplicación con los botones de «Menú», «Instrucciones» y «Créditos». Además, se creó un botón con el nombre de «Mostrar u ocultar etiquetas», que permite mostrar o desactivar los nombres de las capas o explicaciones de los modelos.
Durante las primeras pruebas de la aplicación tuve un problema con el enfoque de la cámara del dispositivo móvil, no enfocaba y, por tanto, no detectaba los targets. Para arreglar este error de Vuforia se descargó un texto hecho por terceros, con el nombre de CameraFocusController, que inicia el enfoque de la cámara cuando se lanza la aplicación.
Antes de obtener la versión beta final, hice un test de usuarios a personal relacionado con la oftalmología para poder detectar errores y posibles mejoras. Después de analizarlos se modificó el tamaño de los botones haciéndolos un poco más grandes para que destaquen, facilitando así su visualización. También se propusieron algunas mejoras que ayudarían a hacer la aplicación más compleja pero más usable, como por ejemplo la inclusión de botones para pausar las animaciones o una voz en off con las explicaciones de los conceptos.
Imagen 5: Distribución y creación de las escenas con Unity.
Finalmente se exportó la versión final de la aplicación en formato .apk lista para ser utilizada en dispositivos móviles con sistema operativo Android. Los usuarios tienen que usar EyeAR Capture junto con la guía oftalmológica, ya que la cámara escanea las ilustraciones del libro para lanzar los modelos 3D del ojo. Los usuarios pueden rotar los modelos 360º y hacer zoom para visualizarlos mejor y aprender de manera más rápida y fácil.
Imagen 6: Captura de la aplicación en funcionamiento.

Conclusiones

La versión beta entregada para el TFG es funcional y está lista para ser usada junto a la guía oftalmológica, pero no está acabada. El primer paso que hay que dar, si decido seguir con el proyecto, sería terminar la guía con contenido real (en el trabajo solo hay ocho páginas terminadas) y modelar el resto de los elementos que permitan explicar los conceptos descritos en el libro. El segundo paso sería mejorar la interactividad entre los modelos y el usuario, y hacer un poco más vistosa y creativa la parte de los botones.
A partir de aquí, se pueden hacer muchas más cosas, ya que la realidad aumentada es una tecnología en expansión y que poco a poco va mejorando. En concreto, en el ámbito sanitario acabará siendo una herramienta vital para cualquier especialista junto a la realidad virtual mejorando los diagnósticos, el aprendizaje de los estudiantes y el intercambio de impresiones con los pacientes.
Para finalizar, cabe comentar que desarrollar una aplicación desde cero siempre es un reto que tener en cuenta por muchos aspectos. He podido combinar diferentes técnicas estudiadas durante el grado (diseño gráfico, modelado 3D y realidad aumentada), aunque he tenido que investigar y aprender por mi propia cuenta algunos aspectos para poder avanzar en momentos concretos. He aprendido que hay que estructurar y planificar muy bien las diferentes fases que deben desarrollarse para no olvidarse de ningún paso importante. He aprendido también que hay que dejar un margen temporal por si durante el proyecto aparecen contratiempos, como me pasó a mí, y evitar retrasos que puedan llegar a comprometer el encargo. Asimismo, es importante destacar que al trabajar con programas diferentes pueden aparecer incompatibilidades entre ellos difíciles de gestionar; en mi caso, me encontré que en Unity los modelos no se visualizan correctamente, dado que este software no detecta algunos efectos como el Turbosmooth que suaviza las curvas.

Enlaces relacionados:

Anuncio promocional: https://vimeo.com/253109464

https://mosaic.uoc.edu/2018/06/06/eyear-capture-guia-oftalmologica-con-realidad-aumentada/

0 comentarios :

Publicar un comentario