Usando el lenguaje para dar a los robots una mejor comprensión de un mundo abierto | Noticias del MIT

Imagina que estás visitando a un amigo en el extranjero y miras dentro de su refrigerador para ver qué sería un excelente desayuno. Muchos de los artículos inicialmente le parecen extraños, cada uno de ellos encerrado en envases y contenedores desconocidos. A pesar de estas distinciones visuales, comienzas a comprender para qué se utiliza cada uno y a elegirlos según sea necesario.

Inspirándose en la capacidad de los humanos para manejar objetos desconocidos, un grupo del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT diseñó campos de funciones para la manipulación robótica (F3RM), un sistema que combina imágenes 2D con características del modelo básico en escenas 3D para ayudar a los robots a identificar y agarrar elementos cercanos. F3RM puede interpretar indicaciones de lenguaje abierto de humanos, lo que hace que el método sea útil en entornos del mundo real que contienen miles de objetos, como almacenes y hogares.

F3RM ofrece a los robots la capacidad de interpretar indicaciones de texto abierto utilizando lenguaje natural, ayudando a las máquinas a manipular objetos. Como resultado, las máquinas pueden comprender solicitudes menos específicas de los humanos y aun así completar la tarea deseada. Por ejemplo, si un usuario le pide al robot que “coja una taza alta”, el robot puede localizar y agarrar el artículo que mejor se ajuste a esa descripción.

"Hacer robots que realmente puedan generalizarse en el mundo real es increíblemente difícil", dice Ge Yang, postdoctorado en el Instituto de Inteligencia Artificial e Interacciones Fundamentales de la Fundación Nacional de Ciencias y MIT CSAIL. “Realmente queremos descubrir cómo hacerlo, así que con este proyecto intentamos impulsar un nivel agresivo de generalización, desde sólo tres o cuatro objetos hasta cualquier cosa que encontremos en el Stata Center del MIT. Queríamos aprender a hacer robots tan flexibles como nosotros, ya que podemos agarrar y colocar objetos aunque nunca los hayamos visto antes”.

Aprender “qué hay y dónde mirando”

El método podría ayudar a los robots a recoger artículos en grandes centros logísticos con un desorden e imprevisibilidad inevitables. En estos almacenes, los robots suelen recibir una descripción del inventario que deben identificar. Los robots deben hacer coincidir el texto proporcionado con un objeto, independientemente de las variaciones en el embalaje, para que los pedidos de los clientes se envíen correctamente.

Por ejemplo, los centros logísticos de los principales minoristas en línea pueden contener millones de artículos, muchos de los cuales nunca antes habría encontrado un robot. Para operar a tal escala, los robots necesitan comprender la geometría y la semántica de diferentes elementos, algunos de los cuales se encuentran en espacios reducidos. Con las capacidades avanzadas de percepción espacial y semántica de F3RM, un robot podría volverse más eficaz a la hora de localizar un objeto, colocarlo en un contenedor y luego enviarlo para empaquetarlo. En última instancia, esto ayudaría a los trabajadores de las fábricas a enviar los pedidos de los clientes de manera más eficiente.

"Una cosa que a menudo sorprende a la gente con F3RM es que el mismo sistema también funciona a escala de habitación y edificio, y puede usarse para construir entornos de simulación para el aprendizaje de robots y mapas grandes", dice Yang. “Pero antes de ampliar aún más este trabajo, primero queremos que este sistema funcione realmente rápido. De esta manera, podemos utilizar este tipo de representación para tareas de control robótico más dinámicas, con suerte en tiempo real, de modo que los robots que manejan tareas más dinámicas puedan utilizarla para la percepción”.

El equipo del MIT señala que la capacidad del F3RM para comprender diferentes escenas podría hacerlo útil en entornos urbanos y domésticos. Por ejemplo, este enfoque podría ayudar a robots personalizados a identificar y recoger artículos específicos. El sistema ayuda a los robots a captar su entorno, tanto física como perceptivamente.

"David Marr definió la percepción visual como el problema de saber 'qué hay y dónde mirando'", dice el autor principal Phillip Isola, profesor asociado de ingeniería eléctrica e informática del MIT e investigador principal de CSAIL. “Los modelos de fundaciones recientes se han vuelto realmente buenos al saber lo que están mirando; pueden reconocer miles de categorías de objetos y proporcionar descripciones textuales detalladas de imágenes. Al mismo tiempo, los campos radiantes se han vuelto muy buenos para representar dónde están las cosas en una escena. La combinación de estos dos enfoques puede crear una representación de qué es dónde en 3D, y lo que nuestro trabajo muestra es que esta combinación es especialmente útil para tareas robóticas, que requieren manipular objetos en 3D”.

Creando un “gemelo digital”

F3RM comienza a comprender su entorno tomando fotografías con un palo para selfies. La cámara montada toma 50 imágenes en diferentes poses, lo que le permite construir una campo de radiación neuronal (NeRF), un método de aprendizaje profundo que toma imágenes 2D para construir una escena 3D. Este collage de fotografías RGB crea un “gemelo digital” de su entorno en forma de una representación de 360 ​​grados de lo que hay cerca.

Además de un campo de radiación neuronal muy detallado, F3RM también crea un campo de características para aumentar la geometría con información semántica. El sistema utiliza ACORTAR, un modelo básico de visión entrenado en cientos de millones de imágenes para aprender conceptos visuales de manera eficiente. Al reconstruir las características CLIP 2D de las imágenes tomadas con el palo para selfies, F3RM eleva efectivamente las características 2D a una representación 3D.

Mantener las cosas abiertas

Después de recibir algunas demostraciones, el robot aplica lo que sabe sobre geometría y semántica para agarrar objetos que nunca antes había encontrado. Una vez que un usuario envía una consulta de texto, el robot busca en el espacio de posibles agarres para identificar aquellos con más probabilidades de lograr recoger el objeto solicitado por el usuario. Cada opción potencial se califica según su relevancia para el mensaje, la similitud con las demostraciones en las que se entrenó al robot y si causa alguna colisión. Luego se elige y ejecuta el agarre con la puntuación más alta.

Para demostrar la capacidad del sistema para interpretar solicitudes abiertas de humanos, los investigadores solicitaron al robot que recogiera a Baymax, un personaje de "Big Hero 6″ de Disney. Si bien F3RM nunca había sido entrenado directamente para recoger un juguete del superhéroe de dibujos animados, el robot utilizó su conciencia espacial y sus características de visión y lenguaje de los modelos básicos para decidir qué objeto agarrar y cómo recogerlo.

F3RM también permite a los usuarios especificar qué objeto quieren que maneje el robot en diferentes niveles de detalle lingüístico. Por ejemplo, si hay una taza de metal y una taza de vidrio, el usuario puede pedirle al robot la “taza de vidrio”. Si el robot ve dos tazas de cristal y una de ellas está llena de café y la otra de zumo, el usuario puede pedir la “taza de cristal con café”. Las características del modelo básico integradas en el campo de características permiten este nivel de comprensión abierta.

“Si le mostrara a una persona cómo tomar una taza por el borde, fácilmente podría transferir ese conocimiento para tomar objetos con geometrías similares, como tazones, vasos medidores o incluso rollos de cinta adhesiva. Para los robots, lograr este nivel de adaptabilidad ha sido todo un desafío”, dice el estudiante de doctorado del MIT, afiliado a CSAIL y coautor principal William Shen. "F3RM combina la comprensión geométrica con la semántica de modelos básicos entrenados con datos a escala de Internet para permitir este nivel de generalización agresiva a partir de solo una pequeña cantidad de demostraciones".

Shen y Yang escribieron el artículo bajo la supervisión de Isola, con la profesora del MIT e investigadora principal de CSAIL Leslie Pack Kaelbling y los estudiantes universitarios Alan Yu y Jansen Wong como coautores. El equipo contó con el apoyo, en parte, de Amazon.com Services, la Fundación Nacional de Ciencias, la Oficina de Investigación Científica de la Fuerza Aérea, la Iniciativa Universitaria Multidisciplinaria de la Oficina de Investigación Naval, la Oficina de Investigación del Ejército, el Laboratorio Watson del MIT-IBM y el MIT en busca de inteligencia. Su trabajo se presentará en la Conferencia sobre Aprendizaje de Robots de 2023.