Sistema automatizado enseña a los usuarios cuándo colaborar con un asistente de IA | Noticias del MIT

Los modelos de inteligencia artificial que detectan patrones en imágenes a menudo pueden hacerlo mejor que los ojos humanos, pero no siempre. Si un radiólogo utiliza un modelo de IA para ayudarla a determinar si las radiografías de un paciente muestran signos de neumonía, ¿cuándo debería confiar en los consejos del modelo y cuándo debería ignorarlos?

Un proceso de incorporación personalizado podría ayudar a este radiólogo a responder esa pregunta, según investigadores del MIT y del Laboratorio de IA Watson del MIT-IBM. Diseñaron un sistema que le enseña al usuario cuándo colaborar con un asistente de IA.

En este caso, el método de entrenamiento podría encontrar situaciones en las que el radiólogo confía en los consejos del modelo, excepto que no debería hacerlo porque el modelo es incorrecto. El sistema aprende automáticamente reglas sobre cómo debe colaborar con la IA y las describe con lenguaje natural.

Durante la incorporación, el radiólogo practica la colaboración con la IA mediante ejercicios de entrenamiento basados ​​en estas reglas, recibiendo retroalimentación sobre su desempeño y el desempeño de la IA.

Los investigadores descubrieron que este procedimiento de incorporación conducía a una mejora de aproximadamente el 5 por ciento en la precisión cuando los humanos y la IA colaboraban en una tarea de predicción de imágenes. Sus resultados también muestran que simplemente decirle al usuario cuándo confiar en la IA, sin formación, conducía a un peor rendimiento.

Es importante destacar que el sistema de los investigadores está completamente automatizado, por lo que aprende a crear el proceso de incorporación basándose en datos del ser humano y la IA que realizan una tarea específica. También puede adaptarse a diferentes tareas, por lo que se puede ampliar y utilizar en muchas situaciones en las que los humanos y los modelos de IA trabajan juntos, como en la moderación, redacción y programación de contenidos de redes sociales.

“Muy a menudo, a las personas se les dan estas herramientas de inteligencia artificial para que las utilicen sin ningún tipo de capacitación para ayudarlas a determinar cuándo serán útiles. Eso no es lo que hacemos con casi todas las demás herramientas que usa la gente; casi siempre viene con algún tipo de tutorial. Pero para la IA, esto parece faltar. Estamos tratando de abordar este problema desde una perspectiva metodológica y conductual”, dice Hussein Mozannar, estudiante de posgrado en el programa de doctorado de Sistemas Sociales y de Ingeniería del Instituto de Datos, Sistemas y Sociedad (IDSS) y autor principal de un artículo sobre este proceso de formación.

Los investigadores prevén que dicha incorporación será una parte crucial de la formación de los profesionales médicos.

“Se podría imaginar, por ejemplo, que los médicos que tomen decisiones de tratamiento con la ayuda de la IA primero tengan que realizar una formación similar a la que proponemos. Es posible que tengamos que repensar todo, desde la educación médica continua hasta la forma en que se diseñan los ensayos clínicos”, dice el autor principal David Sontag, profesor de EECS, miembro del MIT-IBM Watson AI Lab y de la MIT Jameel Clinic, y líder de el Grupo de Aprendizaje Automático Clínico del Laboratorio de Informática e Inteligencia Artificial (CSAIL).

A Mozannar, que también es investigador del Grupo Clínico de Aprendizaje Automático, se unen en el artículo Jimin J. Lee, licenciado en ingeniería eléctrica e informática; Dennis Wei, científico investigador senior de IBM Research; y Prasanna Sattigeri y Subhro Das, miembros del personal de investigación del MIT-IBM Watson AI Lab. El artículo se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.

Formación que evoluciona

Los métodos de incorporación existentes para la colaboración entre humanos e IA a menudo se componen de materiales de capacitación producidos por expertos humanos para casos de uso específicos, lo que dificulta su ampliación. Algunas técnicas relacionadas se basan en explicaciones, donde la IA le dice al usuario su confianza en cada decisión, pero las investigaciones han demostrado que las explicaciones rara vez son útiles, dice Mozannar.

“Las capacidades del modelo de IA están en constante evolución, por lo que los casos de uso en los que el ser humano podría beneficiarse potencialmente están creciendo con el tiempo. Al mismo tiempo, la percepción que el usuario tiene del modelo sigue cambiando. Por eso necesitamos un procedimiento de formación que también evolucione con el tiempo”, añade.

Para lograr esto, su método de incorporación se aprende automáticamente a partir de los datos. Se construye a partir de un conjunto de datos que contiene muchas instancias de una tarea, como detectar la presencia de un semáforo a partir de una imagen borrosa.

El primer paso del sistema es recopilar datos sobre los humanos y la IA que realizan esta tarea. En este caso, el humano intentaría predecir, con la ayuda de la IA, si las imágenes borrosas contienen semáforos.

El sistema incorpora estos puntos de datos en un espacio latente, que es una representación de datos en la que puntos de datos similares están más cerca unos de otros. Utiliza un algoritmo para descubrir regiones de este espacio donde el humano colabora incorrectamente con la IA. Estas regiones capturan casos en los que el humano confió en la predicción de la IA pero la predicción fue incorrecta y viceversa.

Quizás el humano confía erróneamente en la IA cuando las imágenes muestran una carretera de noche.

Después de descubrir las regiones, un segundo algoritmo utiliza un modelo de lenguaje grande para describir cada región como regla, utilizando lenguaje natural. El algoritmo afina de forma iterativa esa regla al encontrar ejemplos contrastantes. Podría describir esta región como "ignorar la IA cuando sea una carretera durante la noche".

Estas reglas se utilizan para construir ejercicios de entrenamiento. El sistema de incorporación muestra un ejemplo al humano, en este caso una escena borrosa de una carretera por la noche, así como la predicción de la IA, y pregunta al usuario si la imagen muestra semáforos. El usuario puede responder sí, no o utilizar la predicción de la IA.

Si el humano se equivoca, se le muestra la respuesta correcta y las estadísticas de desempeño del humano y la IA en estas instancias de la tarea. El sistema hace esto para cada región y, al final del proceso de entrenamiento, repite los ejercicios que el humano hizo mal.

"Después de eso, el ser humano ha aprendido algo sobre estas regiones que esperamos que aprenda en el futuro para hacer predicciones más precisas", dice Mozannar.

La incorporación aumenta la precisión

Los investigadores probaron este sistema con usuarios en dos tareas: detectar semáforos en imágenes borrosas y responder preguntas de opción múltiple de muchos dominios (como biología, filosofía, informática, etc.).

Primero mostraron a los usuarios una tarjeta con información sobre el modelo de IA, cómo se entrenó y un desglose de su desempeño en categorías amplias. Los usuarios se dividieron en cinco grupos: a algunos solo se les mostró la tarjeta, algunos pasaron por el procedimiento de incorporación de los investigadores, algunos pasaron por un procedimiento de incorporación básico, algunos pasaron por el procedimiento de incorporación de los investigadores y se les dieron recomendaciones sobre cuándo debían o no confiar en la IA, y a otros solo se les dieron las recomendaciones.

Sólo el procedimiento de incorporación de los investigadores sin recomendaciones mejoró significativamente la precisión de los usuarios, aumentando su rendimiento en la tarea de predicción del semáforo en aproximadamente un 5 por ciento sin ralentizarlos. Sin embargo, la incorporación no fue tan efectiva para la tarea de responder preguntas. Los investigadores creen que esto se debe a que el modelo de IA, ChatGPT, proporcionó explicaciones con cada respuesta que expresan si se debe confiar en él.

Pero brindar recomendaciones sin incorporación tuvo el efecto contrario: los usuarios no solo obtuvieron peores resultados, sino que también tardaron más tiempo en hacer predicciones.

“Cuando a alguien sólo le das recomendaciones, parece que se confunde y no sabe qué hacer. Esto descarrila su proceso. A la gente tampoco le gusta que le digan qué hacer, así que ese también es un factor”, afirma Mozannar.

Proporcionar recomendaciones por sí solas podría perjudicar al usuario si esas recomendaciones son incorrectas, añade. Por otro lado, con la incorporación, la mayor limitación es la cantidad de datos disponibles. Si no hay suficientes datos, la etapa de incorporación no será tan efectiva, afirma.

En el futuro, él y sus colaboradores quieren realizar estudios más amplios para evaluar los efectos a corto y largo plazo de la incorporación. También quieren aprovechar los datos sin etiquetar para el proceso de incorporación y encontrar métodos para reducir eficazmente la cantidad de regiones sin omitir ejemplos importantes.

“La gente está adoptando sistemas de IA de cualquier manera y, de hecho, la IA ofrece un gran potencial, pero estos agentes de IA todavía a veces cometen errores. Por lo tanto, es crucial que los desarrolladores de IA ideen métodos que ayuden a los humanos a saber cuándo es seguro confiar en las sugerencias de la IA”, dice Dan Weld, profesor emérito de la Escuela de Ciencias de la Computación e Ingeniería Paul G. Allen de la Universidad de Washington, quien no participó en esta investigación. “Mozannar et al. "Hemos creado un método innovador para identificar situaciones en las que la IA es confiable y (lo que es más importante) para describirlas a las personas de una manera que conduzca a mejores interacciones entre el equipo humano y la IA".

Este trabajo está financiado, en parte, por el MIT-IBM Watson AI Lab.