Automatizaci\u00f3n de la interpretabilidad <\/strong><\/p>\nLos grandes modelos ling\u00fc\u00edsticos siguen manteniendo su estatus de celebridades m\u00e1s solicitadas del mundo tecnol\u00f3gico. Los avances recientes en los LLM han puesto de relieve su capacidad para realizar tareas de razonamiento complejas en diversos dominios. El equipo de CSAIL reconoci\u00f3 que, dadas estas capacidades, los modelos de lenguaje pueden servir como columna vertebral de agentes generalizados para la interpretabilidad automatizada. \"Hist\u00f3ricamente, la interpretabilidad ha sido un campo muy multifac\u00e9tico\", dice Schwettmann. \u201cNo existe un enfoque \u00fanico que sirva para todos; la mayor\u00eda de los procedimientos son muy espec\u00edficos de las preguntas individuales que podamos tener sobre un sistema y de modalidades individuales como la visi\u00f3n o el lenguaje. Los enfoques existentes para etiquetar neuronas individuales dentro de modelos de visi\u00f3n han requerido el entrenamiento de modelos especializados en datos humanos, donde estos modelos realizan solo esta \u00fanica tarea. Los agentes de interpretabilidad creados a partir de modelos de lenguaje podr\u00edan proporcionar una interfaz general para explicar otros sistemas: sintetizar resultados a trav\u00e9s de experimentos, integrarse en diferentes modalidades e incluso descubrir nuevas t\u00e9cnicas experimentales en un nivel muy fundamental\u201d. <\/p>\n
A medida que entramos en un r\u00e9gimen donde los modelos que explican son en s\u00ed mismos cajas negras, las evaluaciones externas de los m\u00e9todos de interpretabilidad se vuelven cada vez m\u00e1s vitales. El nuevo punto de referencia del equipo aborda esta necesidad con un conjunto de funciones con estructura conocida, que se modelan a partir de comportamientos observados en la naturaleza. Las funciones dentro de FIND abarcan una diversidad de dominios, desde el razonamiento matem\u00e1tico hasta operaciones simb\u00f3licas en cadenas y neuronas sint\u00e9ticas construidas a partir de tareas a nivel de palabras. El conjunto de datos de funciones interactivas se construye procedimentalmente; La complejidad del mundo real se introduce en funciones simples agregando ruido, componiendo funciones y simulando sesgos. Esto permite comparar m\u00e9todos de interpretabilidad en un entorno que se traduce en desempe\u00f1o en el mundo real. <\/p>\n
Adem\u00e1s del conjunto de datos de funciones, los investigadores introdujeron un protocolo de evaluaci\u00f3n innovador para evaluar la eficacia de los AIA y los m\u00e9todos de interpretabilidad automatizados existentes. Este protocolo implica dos enfoques. Para las tareas que requieren replicar la funci\u00f3n en c\u00f3digo, la evaluaci\u00f3n compara directamente las estimaciones generadas por IA y las funciones originales de verdad sobre el terreno. La evaluaci\u00f3n se vuelve m\u00e1s compleja para tareas que involucran descripciones de funciones en lenguaje natural. En estos casos, medir con precisi\u00f3n la calidad de estas descripciones requiere una comprensi\u00f3n automatizada de su contenido sem\u00e1ntico. Para afrontar este desaf\u00edo, los investigadores desarrollaron un modelo de lenguaje especializado de \"terceros\". Este modelo est\u00e1 entrenado espec\u00edficamente para evaluar la precisi\u00f3n y coherencia de las descripciones del lenguaje natural proporcionadas por los sistemas de IA y las compara con el comportamiento de la funci\u00f3n de verdad sobre el terreno. <\/p>\n
FIND permite la evaluaci\u00f3n y revela que todav\u00eda estamos lejos de automatizar completamente la interpretabilidad; Si bien los AIA superan los enfoques de interpretabilidad existentes, a\u00fan no logran describir con precisi\u00f3n casi la mitad de las funciones en el punto de referencia. Tamar Rott Shaham, coautora principal del estudio y posdoctorada en CSAIL, se\u00f1ala que \"si bien esta generaci\u00f3n de AIA es eficaz para describir la funcionalidad de alto nivel, a menudo todav\u00eda pasan por alto detalles m\u00e1s finos, particularmente en subdominios de funciones con ruido o comportamiento irregular. Es probable que esto se deba a un muestreo insuficiente en estas \u00e1reas. Un problema es que la eficacia de las AIA puede verse obstaculizada por sus datos exploratorios iniciales. Para contrarrestar esto, intentamos guiar la exploraci\u00f3n de las AIA iniciando su b\u00fasqueda con entradas espec\u00edficas y relevantes, lo que mejor\u00f3 significativamente la precisi\u00f3n de la interpretaci\u00f3n\u201d. Este enfoque combina nuevos m\u00e9todos AIA con t\u00e9cnicas anteriores utilizando ejemplos precalculados para iniciar el proceso de interpretaci\u00f3n.<\/p>\n
Los investigadores tambi\u00e9n est\u00e1n desarrollando un conjunto de herramientas para aumentar la capacidad de los AIA para realizar experimentos m\u00e1s precisos en redes neuronales, tanto en entornos de caja negra como de caja blanca. Este conjunto de herramientas tiene como objetivo equipar a las AIA con mejores herramientas para seleccionar entradas y refinar las capacidades de prueba de hip\u00f3tesis para un an\u00e1lisis de redes neuronales m\u00e1s preciso y matizado. El equipo tambi\u00e9n est\u00e1 abordando desaf\u00edos pr\u00e1cticos en la interpretabilidad de la IA, enfoc\u00e1ndose en determinar las preguntas correctas al analizar modelos en escenarios del mundo real. Su objetivo es desarrollar procedimientos automatizados de interpretabilidad que eventualmente podr\u00edan ayudar a las personas a auditar sistemas (por ejemplo, para conducci\u00f3n aut\u00f3noma o reconocimiento facial) para diagnosticar posibles modos de falla, sesgos ocultos o comportamientos sorprendentes antes de su implementaci\u00f3n. <\/p>\n
Observando a los observadores<\/strong><\/p>\nEl equipo prev\u00e9 que alg\u00fan d\u00eda se desarrollen AIA casi aut\u00f3nomos que puedan auditar otros sistemas, con cient\u00edficos humanos proporcionando supervisi\u00f3n y orientaci\u00f3n. Las AIA avanzadas podr\u00edan desarrollar nuevos tipos de experimentos y preguntas, potencialmente m\u00e1s all\u00e1 de las consideraciones iniciales de los cient\u00edficos humanos. La atenci\u00f3n se centra en ampliar la interpretabilidad de la IA para incluir comportamientos m\u00e1s complejos, como subredes o circuitos neuronales completos, y predecir entradas que podr\u00edan conducir a comportamientos no deseados. Este desarrollo representa un importante paso adelante en la investigaci\u00f3n de la IA, cuyo objetivo es hacer que los sistemas de IA sean m\u00e1s comprensibles y fiables.<\/p>\n
\"Un buen punto de referencia es una poderosa herramienta para afrontar desaf\u00edos dif\u00edciles\", afirma Martin Wattenberg, profesor de inform\u00e1tica de la Universidad de Harvard que no particip\u00f3 en el estudio. \u201cEs maravilloso ver este sofisticado punto de referencia para la interpretabilidad, uno de los desaf\u00edos m\u00e1s importantes del aprendizaje autom\u00e1tico actual. Estoy particularmente impresionado con el agente de interpretabilidad automatizado que crearon los autores. Es una especie de jiu-jitsu de interpretabilidad, que hace que la IA vuelva a s\u00ed misma para ayudar a la comprensi\u00f3n humana\u201d.<\/p>\n
Schwettmann, Rott Shaham y sus colegas presentaron su trabajo en NeurIPS 2023 en diciembre. Otros coautores del MIT, todos afiliados al CSAIL y al Departamento de Ingenier\u00eda El\u00e9ctrica y Ciencias de la Computaci\u00f3n (EECS), incluyen a la estudiante de posgrado Joanna Materzynska, al estudiante de pregrado Neil Chowdhury, Shuang Li PhD ’23, el profesor asistente Jacob Andreas y el profesor Antonio Torralba. El profesor asistente de la Universidad Northeastern, David Bau, es un coautor adicional.<\/p>\n
El trabajo fue apoyado, en parte, por el MIT-IBM Watson AI Lab, Open Philanthropy, un Amazon Research Award, Hyundai NGV, el Laboratorio de Investigaci\u00f3n del Ej\u00e9rcito de EE. UU., la Fundaci\u00f3n Nacional de Ciencias de EE. UU., el Programa de Liderazgo STEM Zuckerman y una beca Viterbi. .<\/p>\n<\/p><\/div>\n
[ad_2]
\n
Source link <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"[ad_1] Explicar el comportamiento de las redes neuronales entrenadas sigue siendo un enigma convincente, especialmente a medida que estos modelos crecen en tama\u00f1o y sofisticaci\u00f3n. Al igual que otros desaf\u00edos cient\u00edficos a lo largo de la historia, la ingenier\u00eda inversa sobre c\u00f3mo funcionan los sistemas de inteligencia artificial requiere una cantidad sustancial de experimentaci\u00f3n: formular […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"categories":[52],"tags":[],"class_list":["post-167114","post","type-post","status-publish","format-standard","hentry","category-ciencia","et-doesnt-have-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts\/167114","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/comments?post=167114"}],"version-history":[{"count":0,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts\/167114\/revisions"}],"wp:attachment":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/media?parent=167114"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/categories?post=167114"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/tags?post=167114"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![](\"https:\/\/news.mit.edu\/sites\/default\/files\/styles\/news_article__cover_image__original\/public\/images\/202401\/FIND.png?itok=DDrML3FL\")
<\/p>\n