Formaci\u00f3n que evoluciona<\/strong><\/p>\nLos m\u00e9todos de incorporaci\u00f3n existentes para la colaboraci\u00f3n entre humanos e IA a menudo se componen de materiales de capacitaci\u00f3n producidos por expertos humanos para casos de uso espec\u00edficos, lo que dificulta su ampliaci\u00f3n. Algunas t\u00e9cnicas relacionadas se basan en explicaciones, donde la IA le dice al usuario su confianza en cada decisi\u00f3n, pero las investigaciones han demostrado que las explicaciones rara vez son \u00fatiles, dice Mozannar.<\/p>\n
\u201cLas capacidades del modelo de IA est\u00e1n en constante evoluci\u00f3n, por lo que los casos de uso en los que el ser humano podr\u00eda beneficiarse potencialmente est\u00e1n creciendo con el tiempo. Al mismo tiempo, la percepci\u00f3n que el usuario tiene del modelo sigue cambiando. Por eso necesitamos un procedimiento de formaci\u00f3n que tambi\u00e9n evolucione con el tiempo\u201d, a\u00f1ade.<\/p>\n
Para lograr esto, su m\u00e9todo de incorporaci\u00f3n se aprende autom\u00e1ticamente a partir de los datos. Se construye a partir de un conjunto de datos que contiene muchas instancias de una tarea, como detectar la presencia de un sem\u00e1foro a partir de una imagen borrosa.<\/p>\n
El primer paso del sistema es recopilar datos sobre los humanos y la IA que realizan esta tarea. En este caso, el humano intentar\u00eda predecir, con la ayuda de la IA, si las im\u00e1genes borrosas contienen sem\u00e1foros.<\/p>\n
El sistema incorpora estos puntos de datos en un espacio latente, que es una representaci\u00f3n de datos en la que puntos de datos similares est\u00e1n m\u00e1s cerca unos de otros. Utiliza un algoritmo para descubrir regiones de este espacio donde el humano colabora incorrectamente con la IA. Estas regiones capturan casos en los que el humano confi\u00f3 en la predicci\u00f3n de la IA pero la predicci\u00f3n fue incorrecta y viceversa.<\/p>\n
Quiz\u00e1s el humano conf\u00eda err\u00f3neamente en la IA cuando las im\u00e1genes muestran una carretera de noche.<\/p>\n
Despu\u00e9s de descubrir las regiones, un segundo algoritmo utiliza un modelo de lenguaje grande para describir cada regi\u00f3n como regla, utilizando lenguaje natural. El algoritmo afina de forma iterativa esa regla al encontrar ejemplos contrastantes. Podr\u00eda describir esta regi\u00f3n como \"ignorar la IA cuando sea una carretera durante la noche\".<\/p>\n
Estas reglas se utilizan para construir ejercicios de entrenamiento. El sistema de incorporaci\u00f3n muestra un ejemplo al humano, en este caso una escena borrosa de una carretera por la noche, as\u00ed como la predicci\u00f3n de la IA, y pregunta al usuario si la imagen muestra sem\u00e1foros. El usuario puede responder s\u00ed, no o utilizar la predicci\u00f3n de la IA.<\/p>\n
Si el humano se equivoca, se le muestra la respuesta correcta y las estad\u00edsticas de desempe\u00f1o del humano y la IA en estas instancias de la tarea. El sistema hace esto para cada regi\u00f3n y, al final del proceso de entrenamiento, repite los ejercicios que el humano hizo mal.<\/p>\n
\"Despu\u00e9s de eso, el ser humano ha aprendido algo sobre estas regiones que esperamos que aprenda en el futuro para hacer predicciones m\u00e1s precisas\", dice Mozannar.<\/p>\n
La incorporaci\u00f3n aumenta la precisi\u00f3n<\/strong><\/p>\nLos investigadores probaron este sistema con usuarios en dos tareas: detectar sem\u00e1foros en im\u00e1genes borrosas y responder preguntas de opci\u00f3n m\u00faltiple de muchos dominios (como biolog\u00eda, filosof\u00eda, inform\u00e1tica, etc.).<\/p>\n
Primero mostraron a los usuarios una tarjeta con informaci\u00f3n sobre el modelo de IA, c\u00f3mo se entren\u00f3 y un desglose de su desempe\u00f1o en categor\u00edas amplias. Los usuarios se dividieron en cinco grupos: a algunos solo se les mostr\u00f3 la tarjeta, algunos pasaron por el procedimiento de incorporaci\u00f3n de los investigadores, algunos pasaron por un procedimiento de incorporaci\u00f3n b\u00e1sico, algunos pasaron por el procedimiento de incorporaci\u00f3n de los investigadores y se les dieron recomendaciones sobre cu\u00e1ndo deb\u00edan o no confiar en la IA, y a otros solo se les dieron las recomendaciones.<\/p>\n
S\u00f3lo el procedimiento de incorporaci\u00f3n de los investigadores sin recomendaciones mejor\u00f3 significativamente la precisi\u00f3n de los usuarios, aumentando su rendimiento en la tarea de predicci\u00f3n del sem\u00e1foro en aproximadamente un 5 por ciento sin ralentizarlos. Sin embargo, la incorporaci\u00f3n no fue tan efectiva para la tarea de responder preguntas. Los investigadores creen que esto se debe a que el modelo de IA, ChatGPT, proporcion\u00f3 explicaciones con cada respuesta que expresan si se debe confiar en \u00e9l.<\/p>\n
Pero brindar recomendaciones sin incorporaci\u00f3n tuvo el efecto contrario: los usuarios no solo obtuvieron peores resultados, sino que tambi\u00e9n tardaron m\u00e1s tiempo en hacer predicciones.<\/p>\n
\u201cCuando a alguien s\u00f3lo le das recomendaciones, parece que se confunde y no sabe qu\u00e9 hacer. Esto descarrila su proceso. A la gente tampoco le gusta que le digan qu\u00e9 hacer, as\u00ed que ese tambi\u00e9n es un factor\u201d, afirma Mozannar.<\/p>\n
Proporcionar recomendaciones por s\u00ed solas podr\u00eda perjudicar al usuario si esas recomendaciones son incorrectas, a\u00f1ade. Por otro lado, con la incorporaci\u00f3n, la mayor limitaci\u00f3n es la cantidad de datos disponibles. Si no hay suficientes datos, la etapa de incorporaci\u00f3n no ser\u00e1 tan efectiva, afirma.<\/p>\n
En el futuro, \u00e9l y sus colaboradores quieren realizar estudios m\u00e1s amplios para evaluar los efectos a corto y largo plazo de la incorporaci\u00f3n. Tambi\u00e9n quieren aprovechar los datos sin etiquetar para el proceso de incorporaci\u00f3n y encontrar m\u00e9todos para reducir eficazmente la cantidad de regiones sin omitir ejemplos importantes.<\/p>\n
\u201cLa gente est\u00e1 adoptando sistemas de IA de cualquier manera y, de hecho, la IA ofrece un gran potencial, pero estos agentes de IA todav\u00eda a veces cometen errores. Por lo tanto, es crucial que los desarrolladores de IA ideen m\u00e9todos que ayuden a los humanos a saber cu\u00e1ndo es seguro confiar en las sugerencias de la IA\u201d, dice Dan Weld, profesor em\u00e9rito de la Escuela de Ciencias de la Computaci\u00f3n e Ingenier\u00eda Paul G. Allen de la Universidad de Washington, quien no particip\u00f3 en esta investigaci\u00f3n. \u201cMozannar et al. \"Hemos creado un m\u00e9todo innovador para identificar situaciones en las que la IA es confiable y (lo que es m\u00e1s importante) para describirlas a las personas de una manera que conduzca a mejores interacciones entre el equipo humano y la IA\".<\/p>\n
Este trabajo est\u00e1 financiado, en parte, por el MIT-IBM Watson AI Lab.<\/p>\n<\/p><\/div>\n
[ad_2]
\n
Source link <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"[ad_1] Los modelos de inteligencia artificial que detectan patrones en im\u00e1genes a menudo pueden hacerlo mejor que los ojos humanos, pero no siempre. Si un radi\u00f3logo utiliza un modelo de IA para ayudarla a determinar si las radiograf\u00edas de un paciente muestran signos de neumon\u00eda, \u00bfcu\u00e1ndo deber\u00eda confiar en los consejos del modelo y cu\u00e1ndo […]<\/p>\n","protected":false},"author":1,"featured_media":162104,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"categories":[52],"tags":[9622,9621,9624,9623],"class_list":["post-162103","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ciencia","tag-david-sontag","tag-hussain-mozannar","tag-incorporacion-de-ia","tag-interaccion-persona-computadora","et-has-post-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts\/162103","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/comments?post=162103"}],"version-history":[{"count":0,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts\/162103\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/media\/162104"}],"wp:attachment":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/media?parent=162103"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/categories?post=162103"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/tags?post=162103"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![](\"https:\/\/news.mit.edu\/sites\/default\/files\/styles\/news_article__cover_image__original\/public\/images\/202312\/MIT-AI-Onboarding-01-PRESS.jpg?itok=xuzsW6u9\")
<\/p>\n