El MIT crea una revolucionaria pulsera que permite controlar una mano robótica a distancia

La próxima vez que uses tu teléfono, tómate un momento para apreciar esta proeza: este acto aparentemente trivial es posible gracias a la coordinación de 34 músculos, 27 articulaciones y más de 100 tendones y ligamentos en tu mano.

En este contexto, ingenieros del Instituto Tecnológico de Massachusetts (MIT) han diseñado una pulsera capaz de rastrear con precisión los movimientos de la mano del usuario en tiempo real. La pulsera produce imágenes de ultrasonido de los músculos, tendones y ligamentos de la muñeca mientras la mano se mueve, y se combina con un algoritmo de inteligencia artificial que traduce continuamente las imágenes a las posiciones correspondientes de los cinco dedos y la palma de la mano.

Los investigadores pueden entrenar la pulsera para que aprenda los movimientos de la mano del usuario, que el dispositivo puede comunicar en tiempo real a un robot o a un entorno virtual.

A medida que la persona gesticula o señala, el robot hace lo mismo. En una especie de interacción inalámbrica con una marioneta, el usuario puede manipular el robot para que toque una melodía sencilla en el piano y lance una pequeña pelota de baloncesto a una canasta de escritorio. Con la misma pulsera, el usuario también puede manipular objetos en la pantalla de un ordenador, por ejemplo, juntando los dedos para ampliar o reducir un objeto virtual.

«Creemos que este trabajo tiene un impacto inmediato al reemplazar potencialmente las técnicas de seguimiento de la mano con pulseras de ultrasonido portátiles en realidad virtual y aumentada», afirma Xuanhe Zhao, profesor Uncas y Helen Whitaker de Ingeniería Mecánica en el MIT.

Actualmente existen diversas maneras de capturar e imitar la destreza manual humana en robots. Algunas utilizan cámaras para registrar los movimientos de la mano mientras se manipulan objetos o se realizan tareas. Sin embargo, instalar un sistema de cámaras complejo para diferentes aplicaciones resulta poco práctico y propenso a obstáculos visuales. Además, los guantes con sensores podrían limitar los movimientos y sensaciones naturales de la mano.

En su nuevo estudio, el equipo del MIT incorporó el diseño de la pegatina de ultrasonido en una pulsera que se puede llevar puesta para obtener imágenes continuas de los músculos y tendones de la muñeca.

«Los tendones y músculos de la muñeca son como hilos que tiran de marionetas, que son los dedos. Así que la idea es: cada vez que tomes una foto del estado de los hilos, sabrás el estado de la mano», explica Lu.

El equipo diseñó una pulsera con una pegatina de ultrasonido del tamaño de un reloj inteligente y le añadió componentes electrónicos integrados del tamaño de un teléfono móvil. Colocaron la pulsera en la muñeca de un voluntario y confirmaron que el dispositivo producía imágenes nítidas y continuas de la muñeca mientras el voluntario movía los dedos en diferentes gestos.

El reto consistía entonces en relacionar las imágenes ecográficas en blanco y negro de la muñeca con posiciones específicas de la mano.

Para establecer estas conexiones, un voluntario que llevaba la pulsera movía la mano en diversas posiciones mientras los investigadores registraban los gestos con varias cámaras que lo rodeaban. Al correlacionar los cambios en ciertas regiones de las imágenes de ultrasonido con las posiciones de la mano registradas por las cámaras, el equipo pudo etiquetar las regiones de la imagen de la muñeca con el grado de libertad correspondiente en la mano.

El equipo utilizó un algoritmo de IA que puede entrenarse para reconocer patrones de imágenes y correlacionarlos con etiquetas específicas y, en este caso, con los distintos grados de libertad de la mano. Los investigadores entrenaron el algoritmo con imágenes de ultrasonido que etiquetaron meticulosamente, anotando las regiones de la imagen asociadas a un grado de libertad específico.

Una vez que los investigadores lograron integrar el algoritmo de IA con la pulsera, probaron el dispositivo con más voluntarios. Para demostrar las posibles aplicaciones, el equipo desarrolló un sencillo programa informático que conectaron de forma inalámbrica con la pulsera. A medida que el usuario realizaba movimientos de pellizco y agarre, estos gestos correspondían al acercamiento y alejamiento de un objeto en la pantalla del ordenador, y a su movimiento y manipulación virtual de forma fluida y continua.

Los investigadores también probaron la pulsera como controlador inalámbrico de una sencilla mano robótica comercial. Mientras llevaba puesta la pulsera, un voluntario simuló tocar un teclado. El robot, a su vez, imitó los movimientos en tiempo real para tocar una melodía sencilla en un piano. El mismo robot también fue capaz de imitar los toques de los dedos de una persona para jugar a un videojuego de baloncesto.

Zhao planea miniaturizar aún más el hardware de la pulsera, así como entrenar el software de IA con muchos más gestos y movimientos de voluntarios con manos de tamaños y formas más variadas. En definitiva, el equipo busca crear un rastreador de mano portátil que cualquier persona pueda usar para manipular de forma inalámbrica robots humanoides u objetos virtuales con gran destreza.

«Creemos que esta es la forma más avanzada de rastrear los movimientos diestros de la mano, mediante imágenes portátiles de la muñeca», afirma Zhao. «Pensamos que estas pulseras de ultrasonido portátiles pueden proporcionar controles intuitivos y versátiles para la realidad virtual y las manos robóticas».