Cómo Facebook pretende entregarte súperpoderes perceptivos

Por Rodrigo Orellana3 de septiembre de 2020 3:31PM PT

Un revolucionario experimento de Facebook pretende demostrar cómo el sonido podría desempeñar un papel importante en la realidad aumentada, al punto de entregar a las personas algo que los investigadores de la red social denominan “súperpoderes perceptivos”.

Facebook Reality Labs Research (FRL Research), el laboratorio de investigación de la red social, lleva seis años desarrollando una trabajo basado en la realidad aumentada y la realidad virtual que busca mejorar la comunicación humana.

Un equipo de audio interdisciplinario, compuesto por científicos investigadores, ingenieros, diseñadores, entre otros, tiene como misión crear sonidos virtuales perceptualmente indistinguibles de la realidad y redefinir la audición humana.

Las gafas de realidad aumentada podrían permitir captar el audio con micrófonos, usando pistas contextuales que sean capaces de medir qué sonidos son importantes y transmitirlos a través de un auricular con cancelación de ruido.

Adicionalmente, un sonido espacial mejorado podría proyectar las voces de los participantes de una conversación telefónica o una videollamada, aumentando la sensación de que están con otra persona o en presencia del audio.

Para conseguirlo, el equipo se ha enfocado en ofrecer dos capacidades:
Presencia de audio: la sensación de que la fuente de un sonido virtual está físicamente presente en el mismo lugar, con una fidelidad tan alta que es indistinguible del mundo real.
Superpoderes perceptivos: avances tecnológicos para oír mejor en entornos ruidosos, subiendo el volumen de la persona sentada frente a nosotros y bajar el audiod e los ruidos de fondo no deseados.
Calibración del audioAuriculares de FRL Research.FRL Research / Facebook

Facebook detalló los avances de la investigación del equipo dirigido por Ravish Mehra, que ha desarrollado un sistema de calibración de audio activo, que permite escuchar sonidos con una fidelidad ultra alta a través de un par de gafas equipadas con auriculares y 32 micrófonos.


Según la compañía, el mecanismo utiliza un algoritmo y las tecnologías de procesamiento de software que permiten recrear la acústica de una sala y hacen que dispositivos como los auriculares sean transparentes o imperceptibles para las personas.

En 2017, el equipo desarrolló sonidos virtuales que imitan las direcciones de donde provienen los sonidos en la vida real y tecnologías de simulación acústica de alta calidad, que hacen que los entornos virtuales sean más creíbles. Las tecnologías impulsaron el estado del arte del audio espacial y potencian muchas de las experiencias actuales, como los lentes de realidad virtual Oculus Quest y la plataforma Rift.
Mejorando el audio espacialFacebook

Una de las principales herramientas que sustentan el trabajo es el audio espacial, que ofrece la sensación de sentirse presente en el mismo lugar, aunque en realidad estén a kilómetros de distancia.


El audio espacial imita las direcciones de las que provienen los sonidos en la vida real y la acústica ambiental, algo que podría cambiar las reglas del juego para las videollamadas.

“Con una llamada telefónica de hoy, la voz de la otra persona suena como si viniera del propio teléfono (o del centro de tu cabeza, si usas audífonos), por lo que tu cerebro rechaza la idea de que la otra persona podría estar en la misma ubicación”, describe Lisa Brown, gerente de Tecnologías de Comunicaciones de Facebook.

La compañía cree que es posible combinar el audio espacial con Codec Avatars, representaciones ultrarrealistas de personas animadas en tiempo real. “Esto permitirá romper la verdadera presencia social. Al permitirle pasar tiempo con las personas importantes en su vida en lugares significativos, podemos transformar radicalmente su forma de vivir, trabajar y jugar”, añade Brown.

Súperpoderes de percepción

Mehra afirma que esta tecnología también permitiría a futuro brindar a las personas “superpoderes de percepción”.

Por ejemplo, sería posible mantener una conversación en un restaurante o bar lleno de gente, sin necesidad de levantar la voz para ser escuchado o esforzarse por comprender lo que otros dicen.

Al utilizar varios micrófonos en las gafas, es posible capturar los sonidos del entorno. Luego, con el patrón de los movimientos de la cabeza y los ojos, podemos averiguar cuál de estos sonidos está más interesado en escuchar.

“Esto nos permite mejorar los sonidos adecuados y atenuar otros, asegurándonos de que lo que realmente desea escuchar sea claro, incluso con ruido de fondo fuerte”, afirma Mehra.


El objetivo del equipo es cubrir la gama completa de sonidos que los humanos pueden escuchar, desde 20 hasta 20.000 Hz.

Actualmente, desarrollan monitores internos especiales (IEM), un prototipo de salida, que permite utilizar tecnologías de cancelación activa de ruido para reducir de manera efectiva el volumen del ruido de fondo no deseado.

“Cuando combinamos esto con el prototipo de entrada de FRL Research, incluida la matriz de micrófonos, podemos ofrecer la experiencia completa de los superpoderes auditivos”, explica Brown.