Representante estable<\/a>, que no utiliza simplemente im\u00e1genes sint\u00e9ticas; los genera a trav\u00e9s de modelos ultrapopulares de conversi\u00f3n de texto a imagen como Stable Diffusion. Es como crear mundos con palabras. <\/p>\nEntonces, \u00bfqu\u00e9 hay en la salsa secreta de StableRep? Una estrategia llamada \u201caprendizaje contrastivo multipositivo\u201d.<\/p>\n
\"Estamos ense\u00f1ando al modelo a aprender m\u00e1s sobre conceptos de alto nivel a trav\u00e9s del contexto y la variaci\u00f3n, no solo aliment\u00e1ndolo con datos\", dice Lijie Fan, estudiante de doctorado en ingenier\u00eda el\u00e9ctrica del MIT, filial del Laboratorio de Ciencias de la Computaci\u00f3n e Inteligencia Artificial del MIT (CSAIL). ), investigador principal del trabajo. \"Cuando se generan varias im\u00e1genes, todas generadas a partir del mismo texto, todas tratadas como representaciones de lo mismo subyacente, el modelo profundiza en los conceptos detr\u00e1s de las im\u00e1genes, digamos el objeto, no solo sus p\u00edxeles\".<\/p>\n
Este enfoque considera m\u00faltiples im\u00e1genes generadas a partir de mensajes de texto id\u00e9nticos como pares positivos, proporcionando informaci\u00f3n adicional durante el entrenamiento, no solo agregando m\u00e1s diversidad sino especificando al sistema de visi\u00f3n qu\u00e9 im\u00e1genes son similares y cu\u00e1les son diferentes. Sorprendentemente, StableRep eclips\u00f3 la destreza de los modelos de primer nivel entrenados en im\u00e1genes reales, como SimCLR y CLIP, en extensos conjuntos de datos.<\/p>\n
\u201cSi bien StableRep ayuda a mitigar los desaf\u00edos de la adquisici\u00f3n de datos en el aprendizaje autom\u00e1tico, tambi\u00e9n marca el comienzo de una nueva era de t\u00e9cnicas de entrenamiento de IA. La capacidad de producir diversas im\u00e1genes sint\u00e9ticas de alto calibre podr\u00eda ayudar a reducir gastos y recursos engorrosos\u201d, afirma Fan. <\/p>\n
El proceso de recopilaci\u00f3n de datos nunca ha sido sencillo. En la d\u00e9cada de 1990, los investigadores tuvieron que capturar fotograf\u00edas manualmente para ensamblar conjuntos de datos de objetos y rostros. En la d\u00e9cada de 2000, las personas buscaban datos en Internet. Sin embargo, estos datos brutos y no seleccionados a menudo conten\u00edan discrepancias en comparaci\u00f3n con escenarios del mundo real y reflejaban prejuicios sociales, presentando una visi\u00f3n distorsionada de la realidad. La tarea de limpiar conjuntos de datos mediante la intervenci\u00f3n humana no s\u00f3lo es costosa, sino tambi\u00e9n sumamente desafiante. Imag\u00ednese, sin embargo, si esta ardua recopilaci\u00f3n de datos pudiera resumirse en algo tan simple como emitir una orden en lenguaje natural. <\/p>\n
Un aspecto fundamental del triunfo de StableRep es el ajuste de la \"escala de orientaci\u00f3n\" en el modelo generativo, que garantiza un delicado equilibrio entre la diversidad y la fidelidad de las im\u00e1genes sint\u00e9ticas. Cuando se ajustaron con precisi\u00f3n, se descubri\u00f3 que las im\u00e1genes sint\u00e9ticas utilizadas en el entrenamiento de estos modelos autosupervisados \u200b\u200beran tan efectivas, si no m\u00e1s, que las im\u00e1genes reales.<\/p>\n
Dando un paso m\u00e1s, se agreg\u00f3 la supervisi\u00f3n del idioma a la mezcla, creando una variante mejorada: StableRep+. Cuando se entren\u00f3 con 20 millones de im\u00e1genes sint\u00e9ticas, StableRep+ no solo logr\u00f3 una precisi\u00f3n superior sino que tambi\u00e9n mostr\u00f3 una eficiencia notable en comparaci\u00f3n con los modelos CLIP entrenados con la asombrosa cantidad de 50 millones de im\u00e1genes reales.<\/p>\n
Sin embargo, el camino por delante no est\u00e1 exento de baches. Los investigadores abordan con franqueza varias limitaciones, incluida la lentitud actual de generaci\u00f3n de im\u00e1genes, los desajustes sem\u00e1nticos entre las indicaciones de texto y las im\u00e1genes resultantes, la posible amplificaci\u00f3n de los sesgos y las complejidades en la atribuci\u00f3n de im\u00e1genes, todo lo cual es imperativo abordar para futuros avances. Otro problema es que StableRep requiere entrenar primero el modelo generativo con datos reales a gran escala. El equipo reconoce que empezar con datos reales sigue siendo una necesidad; sin embargo, cuando tiene un buen modelo generativo, puede reutilizarlo para nuevas tareas, como entrenar modelos de reconocimiento y representaciones visuales. <\/p>\n
El equipo se\u00f1ala que no han evitado la necesidad de comenzar con datos reales; es solo que una vez que tienes un buen modelo generativo puedes reutilizarlo para nuevas tareas, como entrenar modelos de reconocimiento y representaciones visuales. <\/p>\n
Si bien StableRep ofrece una buena soluci\u00f3n al disminuir la dependencia de grandes colecciones de im\u00e1genes reales, pone de relieve preocupaciones sobre sesgos ocultos dentro de los datos no seleccionados utilizados para estos modelos de texto a imagen. La elecci\u00f3n de las indicaciones de texto, parte integral del proceso de s\u00edntesis de im\u00e1genes, no est\u00e1 completamente libre de sesgos, \"lo que indica el papel esencial de la selecci\u00f3n meticulosa del texto o la posible curaci\u00f3n humana\", dice Fan. <\/p>\n
\u201cAl utilizar los \u00faltimos modelos de conversi\u00f3n de texto a imagen, hemos obtenido un control sin precedentes sobre la generaci\u00f3n de im\u00e1genes, lo que permite una amplia gama de elementos visuales a partir de una \u00fanica entrada de texto. Esto supera la recopilaci\u00f3n de im\u00e1genes del mundo real en eficiencia y versatilidad. Resulta especialmente \u00fatil en tareas especializadas, como equilibrar la variedad de im\u00e1genes en el reconocimiento de cola larga, lo que presenta un complemento pr\u00e1ctico al uso de im\u00e1genes reales para el entrenamiento\u201d, afirma Fan. \"Nuestro trabajo significa un paso adelante en el aprendizaje visual, hacia el objetivo de ofrecer alternativas de capacitaci\u00f3n rentables y al mismo tiempo resaltar la necesidad de mejoras continuas en la calidad y s\u00edntesis de los datos\".<\/p>\n
\"Uno de los sue\u00f1os del aprendizaje de modelos generativos ha sido durante mucho tiempo poder generar datos \u00fatiles para el entrenamiento de modelos discriminativos\", dice David Fleet, investigador de Google DeepMind y profesor de inform\u00e1tica de la Universidad de Toronto, que no particip\u00f3 en el art\u00edculo. \u201cSi bien hemos visto algunos signos de vida, el sue\u00f1o ha sido dif\u00edcil de alcanzar, especialmente en dominios complejos a gran escala como las im\u00e1genes de alta resoluci\u00f3n. Este art\u00edculo proporciona evidencia convincente, por primera vez que yo sepa, de que el sue\u00f1o se est\u00e1 convirtiendo en realidad. Muestran que el aprendizaje contrastivo a partir de cantidades masivas de datos de im\u00e1genes sint\u00e9ticas puede producir representaciones que superan a las aprendidas a partir de datos reales a escala, con el potencial de mejorar innumerables tareas de visi\u00f3n posteriores\u201d.<\/p>\n
A Fan se une Yonglong Tian PhD ’22 como autores principales del art\u00edculo, as\u00ed como el profesor asociado de ingenier\u00eda el\u00e9ctrica e inform\u00e1tica del MIT e investigador principal de CSAIL, Phillip Isola; Huiwen Chang, investigador de Google y miembro del personal t\u00e9cnico de OpenAI; y el cient\u00edfico investigador del personal de Google, Dilip Krishnan. El equipo presentar\u00e1 StableRep en la Conferencia de 2023 sobre sistemas de procesamiento de informaci\u00f3n neuronal (NeurIPS) en Nueva Orleans.<\/p>\n<\/p><\/div>\n
[ad_2]
\n
Source link <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"[ad_1] Los datos son el nuevo suelo, y en este nuevo terreno f\u00e9rtil, los investigadores del MIT est\u00e1n plantando algo m\u00e1s que p\u00edxeles. Al utilizar im\u00e1genes sint\u00e9ticas para entrenar modelos de aprendizaje autom\u00e1tico, un equipo de cient\u00edficos super\u00f3 recientemente los resultados obtenidos con los m\u00e9todos tradicionales de entrenamiento con \"imagenes reales\". El n\u00facleo del enfoque […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"categories":[52],"tags":[],"class_list":["post-157978","post","type-post","status-publish","format-standard","hentry","category-ciencia","et-doesnt-have-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts\/157978","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/comments?post=157978"}],"version-history":[{"count":0,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts\/157978\/revisions"}],"wp:attachment":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/media?parent=157978"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/categories?post=157978"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/tags?post=157978"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![](\"https:\/\/news.mit.edu\/sites\/default\/files\/styles\/news_article__cover_image__original\/public\/images\/202311\/StableRep2-transformed-cov.png?itok=v9yw_5Ec\"){kind=spacer}
<\/p>\n