Método automatizado ayuda a los investigadores a cuantificar la incertidumbre en sus predicciones | Noticias del MIT

Los encuestadores que intentan predecir los resultados de las elecciones presidenciales y los físicos que buscan exoplanetas distantes tienen al menos una cosa en común: a menudo utilizan una técnica científica probada y verdadera llamada inferencia bayesiana.

La inferencia bayesiana permite a estos científicos estimar eficazmente algún parámetro desconocido (como el ganador de una elección) a partir de datos como los resultados de las encuestas. Pero la inferencia bayesiana puede ser lenta, y a veces consume semanas o incluso meses de tiempo de cálculo o requiere que un investigador pase horas derivando tediosas ecuaciones a mano.

Investigadores del MIT y de otros lugares han introducido una técnica de optimización que acelera las cosas sin requerir que un científico haga mucho trabajo adicional. Su método puede lograr resultados más precisos y más rápido que otro enfoque popular para acelerar la inferencia bayesiana.

Usando esta nueva técnica automatizada, un científico podría simplemente ingresar su modelo y luego el método de optimización hace todos los cálculos ocultos para proporcionar una aproximación de algún parámetro desconocido. El método también ofrece estimaciones de incertidumbre confiables que pueden ayudar al investigador a comprender cuándo confiar en sus predicciones.

Esta técnica versátil podría aplicarse a una amplia gama de dilemas científicos que incorporan la inferencia bayesiana. Por ejemplo, podrían utilizarlo economistas que estudien el impacto de los microcréditos en países en desarrollo o analistas deportivos que utilicen un modelo para clasificar a los mejores jugadores de tenis.

“Cuando realmente profundizas en lo que la gente hace en las ciencias sociales, la física, la química o la biología, a menudo utilizan muchas de las mismas herramientas bajo el capó. Hay muchísimos análisis bayesianos por ahí. Si podemos crear una herramienta realmente excelente que facilite la vida de estos investigadores, entonces realmente podremos marcar la diferencia para muchas personas en muchas áreas de investigación diferentes”, afirma la autora principal Tamara Broderick, profesora asociada del Departamento de Ingeniería Eléctrica y Tecnología del MIT. Informática (EECS) y miembro del Laboratorio de Sistemas de Información y Decisión y del Instituto de Datos, Sistemas y Sociedad.

A Broderick se unen en el artículo los coautores principales Ryan Giordano, profesor asistente de estadística en la Universidad de California en Berkeley; y Martin Ingram, científico de datos de la empresa de inteligencia artificial KONUX. El documento fue recientemente publicado en el Revista de investigación de aprendizaje automático.

Resultados más rápidos

Cuando los investigadores buscan una forma más rápida de inferencia bayesiana, a menudo recurren a una técnica llamada inferencia variacional de diferenciación automática (ADVI), que suele ser rápida de ejecutar y fácil de usar.

Pero Broderick y sus colaboradores han encontrado una serie de problemas prácticos con ADVI. Tiene que resolver un problema de optimización y sólo puede hacerlo de forma aproximada. Por lo tanto, ADVI aún puede requerir mucho tiempo de cálculo y esfuerzo del usuario para determinar si la solución aproximada es lo suficientemente buena. Y una vez que se llega a una solución, ésta tiende a proporcionar estimaciones de incertidumbre deficientes.

En lugar de reinventar la rueda, el equipo tomó muchas ideas de ADVI pero las transformó para crear una técnica llamada ADVI determinista (DADVI) que no tiene estas desventajas.

Con DADVI, queda muy claro cuándo finaliza la optimización, por lo que el usuario no necesitará dedicar tiempo de cálculo adicional para garantizar que se haya encontrado la mejor solución. DADVI también permite la incorporación de métodos de optimización más potentes que le dan un impulso adicional de velocidad y rendimiento.

Una vez que alcanza un resultado, DADVI se configura para permitir el uso de correcciones de incertidumbre. Estas correcciones hacen que sus estimaciones de incertidumbre sean mucho más precisas que las de ADVI.

DADVI también permite al usuario ver claramente en cuánto error ha incurrido en la aproximación al problema de optimización. Esto evita que un usuario ejecute innecesariamente la optimización una y otra vez con más y más recursos para intentar reducir el error.

"Queríamos ver si podíamos cumplir la promesa de la inferencia de caja negra en el sentido de que, una vez que el usuario crea su modelo, puede simplemente ejecutar la inferencia bayesiana y no tiene que derivar todo a mano, no No necesitan determinar cuándo detener su algoritmo y tienen una idea de cuán precisa es su solución aproximada”, dice Broderick.

Desafiando la sabiduría convencional

DADVI puede ser más eficaz que ADVI porque utiliza un método de aproximación eficiente, llamado aproximación de promedio muestral, que estima una cantidad desconocida siguiendo una serie de pasos exactos.

Debido a que los pasos a lo largo del camino son exactos, queda claro cuándo se ha alcanzado el objetivo. Además, alcanzar ese objetivo normalmente requiere menos pasos.

A menudo, los investigadores esperan que la aproximación del promedio de la muestra sea más intensiva desde el punto de vista computacional que un método más popular, conocido como gradiente estocástico, que utiliza ADVI. Pero Broderick y sus colaboradores demostraron que, en muchas aplicaciones, este no es el caso.

“Muchos problemas realmente tienen una estructura especial, y puedes ser mucho más eficiente y obtener un mejor rendimiento aprovechando esa estructura especial. Eso es algo que realmente hemos visto en este artículo”, añade.

Probaron DADVI en varios modelos y conjuntos de datos del mundo real, incluido un modelo utilizado por economistas para evaluar la eficacia de los préstamos de microcrédito y uno utilizado en ecología para determinar si una especie está presente en un sitio en particular.

En general, descubrieron que DADVI puede estimar parámetros desconocidos de manera más rápida y confiable que otros métodos, y logra una precisión tan buena o mejor que ADVI. Al ser más fácil de utilizar que otras técnicas, DADVI podría ofrecer un impulso a los científicos en una amplia variedad de campos.

En el futuro, los investigadores quieren profundizar en los métodos de corrección de las estimaciones de incertidumbre para poder comprender mejor por qué estas correcciones pueden producir incertidumbres tan precisas y cuándo podrían quedarse cortas.

“En estadística aplicada, a menudo tenemos que utilizar algoritmos aproximados para problemas que son demasiado complejos o de grandes dimensiones para permitir que se calculen soluciones exactas en un tiempo razonable. Este nuevo artículo ofrece un interesante conjunto de teorías y resultados empíricos que apuntan a una mejora en un popular algoritmo aproximado existente para la inferencia bayesiana”, dice Andrew Gelman ’85, ’86, profesor de estadística y ciencias políticas en la Universidad de Columbia, quien fue no involucrado con el estudio. "Como miembro del equipo involucrado en la creación de ese trabajo anterior, estoy feliz de ver que nuestro algoritmo sea reemplazado por algo más estable".

Esta investigación fue apoyada por el Premio CAREER de la Fundación Nacional de Ciencias y la Oficina de Investigación Naval de EE. UU.