Precisión del reconocimiento de imágenes: un desafío invisible que confunde a la IA actual | Noticias del MIT

Imagina que estás navegando por las fotos de tu teléfono y te encuentras con una imagen que al principio no puedes reconocer. Quizás parezca algo borroso en el sofá; ¿Podría ser una almohada o un abrigo? Después de un par de segundos, hace clic, ¡por supuesto! Esa bola de pelusa es el gato de tu amigo, Mocha. Si bien algunas de tus fotos se pueden entender en un instante, ¿por qué esta foto de gato fue mucho más difícil?

Los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT se sorprendieron al descubrir que, a pesar de la importancia crítica de comprender los datos visuales en áreas fundamentales que van desde la atención médica hasta el transporte y los dispositivos domésticos, la noción de la dificultad de reconocimiento de una imagen para los humanos ha sido casi completamente ignorada. ignorado. Uno de los principales impulsores del progreso en la IA basada en el aprendizaje profundo han sido los conjuntos de datos; sin embargo, sabemos poco sobre cómo los datos impulsan el progreso en el aprendizaje profundo a gran escala más allá de que cuanto más, mejor.

En aplicaciones del mundo real que requieren comprender datos visuales, los humanos superan a los modelos de reconocimiento de objetos a pesar de que los modelos funcionan bien en conjuntos de datos actuales, incluidos aquellos diseñados explícitamente para desafiar a las máquinas con imágenes sesgadas o cambios de distribución. Este problema persiste, en parte, porque no tenemos orientación sobre la dificultad absoluta de una imagen o conjunto de datos. Sin controlar la dificultad de las imágenes utilizadas para la evaluación, es difícil evaluar objetivamente el progreso hacia el desempeño a nivel humano, cubrir la gama de habilidades humanas y aumentar el desafío que plantea un conjunto de datos.

Para llenar este vacío de conocimiento, David Mayo, estudiante de doctorado del MIT en ingeniería eléctrica e informática y afiliado de CSAIL, profundizó en el mundo profundo de los conjuntos de datos de imágenes, explorando por qué ciertas imágenes son más difíciles de reconocer para los humanos y las máquinas que otras. "Algunas imágenes inherentemente tardan más en reconocerse, y es esencial comprender la actividad del cerebro durante este proceso y su relación con los modelos de aprendizaje automático. Quizás existan circuitos neuronales complejos o mecanismos únicos que faltan en nuestros modelos actuales, visibles solo cuando se prueban con imágenes desafiantes. "Estímulos. Esta exploración es crucial para comprender y mejorar los modelos de visión artificial", dice Mayo, autor principal de un nuevo artículo. documento sobre el trabajo.

Esto llevó al desarrollo de una nueva métrica, la “tiempo mínimo de visualización”(MVT), que cuantifica la dificultad de reconocer una imagen en función del tiempo que una persona necesita visualizarla antes de realizar una identificación correcta. Utilizando un subconjunto de ImageNet, un conjunto de datos popular en aprendizaje automático, y ObjectNet, un conjunto de datos diseñado para probar la solidez del reconocimiento de objetos, el equipo mostró imágenes a los participantes con duraciones variables, desde tan solo 17 milisegundos hasta 10 segundos, y les preguntó. para elegir el objeto correcto entre un conjunto de 50 opciones. Después de más de 200.000 pruebas de presentación de imágenes, el equipo descubrió que los conjuntos de pruebas existentes, incluido ObjectNet, parecían sesgados hacia imágenes MVT más cortas y más fáciles, y la gran mayoría del rendimiento de referencia se derivaba de imágenes que son fáciles para los humanos.

El proyecto identificó tendencias interesantes en el rendimiento del modelo, particularmente en relación con el escalamiento. Los modelos más grandes mostraron mejoras considerables en imágenes más simples, pero progresaron menos en imágenes más desafiantes. Los modelos CLIP, que incorporan tanto el lenguaje como la visión, se destacaron a medida que avanzaban hacia un reconocimiento más parecido al humano.

“Tradicionalmente, los conjuntos de datos de reconocimiento de objetos se han inclinado hacia imágenes menos complejas, una práctica que ha llevado a una inflación en las métricas de rendimiento del modelo, que no refleja realmente la solidez de un modelo o su capacidad para abordar tareas visuales complejas. Nuestra investigación revela que las imágenes más duras plantean un desafío más grave, provocando un cambio en la distribución que a menudo no se tiene en cuenta en las evaluaciones estándar”, afirma Mayo. “Lanzamos conjuntos de imágenes etiquetadas por dificultad junto con herramientas para calcular automáticamente MVT, lo que permite agregar MVT a los puntos de referencia existentes y extenderlos a varias aplicaciones. Estos incluyen medir la dificultad del conjunto de pruebas antes de implementar sistemas del mundo real, descubrir correlatos neuronales de la dificultad de la imagen y avanzar en técnicas de reconocimiento de objetos para cerrar la brecha entre el rendimiento de referencia y el del mundo real”.

“Una de mis conclusiones más importantes es que ahora tenemos otra dimensión en la que evaluar los modelos. Queremos modelos que sean capaces de reconocer cualquier imagen incluso si (quizás especialmente si) es difícil de reconocer para un humano. Somos los primeros en cuantificar lo que esto significaría. Nuestros resultados muestran que no sólo no es el caso con el estado del arte actual, sino también que nuestros métodos de evaluación actuales no tienen la capacidad de decirnos cuándo es el caso porque los conjuntos de datos estándar están muy sesgados hacia imágenes fáciles”. dice Jesse Cummings, estudiante de posgrado del MIT en ingeniería eléctrica e informática y coautor del artículo con Mayo.

De ObjectNet a MVT

Hace unos años, el equipo detrás de este proyecto identificó un desafío importante en el campo del aprendizaje automático: los modelos tenían problemas con imágenes fuera de distribución o imágenes que no estaban bien representadas en los datos de entrenamiento. Ingrese a ObjectNet, un conjunto de datos compuesto por imágenes recopiladas de entornos de la vida real. El conjunto de datos ayudó a iluminar la brecha de rendimiento entre los modelos de aprendizaje automático y las capacidades de reconocimiento humano, al eliminar correlaciones falsas presentes en otros puntos de referencia, por ejemplo, entre un objeto y su fondo. ObjectNet iluminó la brecha entre el rendimiento de los modelos de visión artificial en conjuntos de datos y en aplicaciones del mundo real, fomentando su uso por parte de muchos investigadores y desarrolladores, lo que posteriormente mejoró el rendimiento del modelo.

Un avance rápido hasta el presente, y el equipo ha llevado su investigación un paso más allá con MVT. A diferencia de los métodos tradicionales que se centran en el rendimiento absoluto, este nuevo enfoque evalúa el rendimiento de los modelos contrastando sus respuestas con las imágenes más fáciles y más difíciles. El estudio exploró más a fondo cómo se podría explicar la dificultad de la imagen y probar su similitud con el procesamiento visual humano. Utilizando métricas como c-score, profundidad de predicción y robustez del adversario, el equipo descubrió que las redes procesan las imágenes más difíciles de manera diferente. "Si bien hay tendencias observables, como que las imágenes más fáciles son más prototípicas, la comunidad científica sigue eludiendo una explicación semántica integral de la dificultad de la imagen", dice Mayo.

En el ámbito de la atención sanitaria, por ejemplo, la pertinencia de comprender la complejidad visual se vuelve aún más pronunciada. La capacidad de los modelos de IA para interpretar imágenes médicas, como los rayos X, está sujeta a la diversidad y dificultad de distribución de las imágenes. Los investigadores abogan por un análisis meticuloso de la distribución de las dificultades adaptado a los profesionales, garantizando que los sistemas de IA se evalúen según estándares de expertos, en lugar de interpretaciones de personas no profesionales.

Mayo y Cummings actualmente también están analizando los fundamentos neurológicos del reconocimiento visual, investigando si el cerebro exhibe actividad diferencial cuando procesa imágenes fáciles versus desafiantes. El estudio tiene como objetivo desentrañar si las imágenes complejas reclutan áreas cerebrales adicionales que no suelen asociarse con el procesamiento visual, con la esperanza de ayudar a desmitificar cómo nuestros cerebros decodifican el mundo visual de manera precisa y eficiente.

Hacia un desempeño a nivel humano

De cara al futuro, los investigadores no sólo se centran en explorar formas de mejorar las capacidades predictivas de la IA con respecto a la dificultad de las imágenes. El equipo está trabajando para identificar correlaciones con la dificultad del tiempo de visualización para generar versiones de imágenes más difíciles o más fáciles.

A pesar de los importantes avances del estudio, los investigadores reconocen limitaciones, particularmente en términos de la separación del reconocimiento de objetos de las tareas de búsqueda visual. La metodología actual se concentra en reconocer objetos, dejando de lado las complejidades introducidas por imágenes desordenadas.

"Este enfoque integral aborda el desafío de larga data de evaluar objetivamente el progreso hacia el desempeño a nivel humano en el reconocimiento de objetos y abre nuevas vías para comprender y avanzar en este campo", dice Mayo. “Con el potencial de adaptar la métrica de dificultad del tiempo mínimo de visualización para una variedad de tareas visuales, este trabajo allana el camino para un rendimiento más sólido y similar al humano en el reconocimiento de objetos, asegurando que los modelos sean realmente puestos a prueba y estén listos para el complejidades de la comprensión visual del mundo real”.

"Este es un estudio fascinante sobre cómo se puede utilizar la percepción humana para identificar debilidades en la forma en que normalmente se comparan los modelos de visión de IA, que sobreestiman el rendimiento de la IA al concentrarse en imágenes sencillas", dice Alan L. Yuille, Profesor Distinguido de Ciencias Cognitivas y Ciencias Cognitivas de Bloomberg. Ciencias de la Computación de la Universidad Johns Hopkins, que no participó en el artículo. "Esto ayudará a desarrollar puntos de referencia más realistas que conducirán no sólo a mejoras en la IA, sino también a realizar comparaciones más justas entre la IA y la percepción humana".

"Se afirma ampliamente que los sistemas de visión por computadora ahora superan a los humanos, y en algunos conjuntos de datos de referencia, eso es cierto", dice el miembro del personal técnico de Anthropic Simon Kornblith PhD ’17, que tampoco participó en este trabajo. “Sin embargo, gran parte de la dificultad en esos puntos de referencia proviene de la oscuridad de lo que hay en las imágenes; la persona promedio simplemente no sabe lo suficiente como para clasificar diferentes razas de perros. En cambio, este trabajo se centra en imágenes que las personas sólo pueden lograr correctamente si se les da suficiente tiempo. Estas imágenes son generalmente mucho más difíciles para los sistemas de visión por computadora, pero los mejores sistemas son sólo un poco peores que los humanos”.

Mayo, Cummings y Xinyu Lin MEng ’22 escribieron el papel junto con el científico investigador de CSAIL Andrei Barbu, el científico investigador principal de CSAIL Boris Katz y el investigador principal del laboratorio de IA Watson del MIT-IBM, Dan Gutfreund. Los investigadores son afiliados del Centro MIT para Cerebros, Mentes y Máquinas.

El equipo presentará su trabajo en la Conferencia de 2023 sobre sistemas de procesamiento de información neuronal (NeurIPS).