Redes neuronales<\/a>, que comprenden muchas capas interconectadas de nodos, o \"neuronas\", que procesan datos para hacer una predicci\u00f3n. Cuando se ejecuta el modelo, se produce un proceso llamado inferencia, una entrada de datos (como una imagen) se pasa de una capa a otra hasta que la predicci\u00f3n (quiz\u00e1s la etiqueta de la imagen) se genera al final. Durante la inferencia, ya no es necesario almacenar cada capa despu\u00e9s de procesar la entrada.<\/p>\nPero durante el entrenamiento y el ajuste, el modelo pasa por un proceso conocido como retropropagaci\u00f3n. En la propagaci\u00f3n hacia atr\u00e1s, el resultado se compara con la respuesta correcta y luego el modelo se ejecuta a la inversa. Cada capa se actualiza a medida que la salida del modelo se acerca a la respuesta correcta.<\/p>\n
Debido a que es posible que sea necesario actualizar cada capa, se debe almacenar todo el modelo y los resultados intermedios, lo que hace que el ajuste requiera m\u00e1s memoria que la inferencia.<\/p>\n
Sin embargo, no todas las capas de la red neuronal son importantes para mejorar la precisi\u00f3n. E incluso para las capas que son importantes, es posible que no sea necesario actualizar toda la capa. No es necesario almacenar esas capas y trozos de capas. Adem\u00e1s, es posible que no sea necesario volver a la primera capa para mejorar la precisi\u00f3n; el proceso podr\u00eda detenerse en alg\u00fan punto intermedio.<\/p>\n
PockEngine aprovecha estos factores para acelerar el proceso de ajuste y reducir la cantidad de computaci\u00f3n y memoria requerida.<\/p>\n
El sistema primero ajusta cada capa, una a la vez, en una tarea determinada y mide la mejora de la precisi\u00f3n despu\u00e9s de cada capa individual. De esta manera, PockEngine identifica la contribuci\u00f3n de cada capa, as\u00ed como las compensaciones entre precisi\u00f3n y costo de ajuste, y determina autom\u00e1ticamente el porcentaje de cada capa que necesita ajuste.<\/p>\n
\"Este m\u00e9todo coincide muy bien con la precisi\u00f3n en comparaci\u00f3n con la propagaci\u00f3n completa hacia atr\u00e1s en diferentes tareas y diferentes redes neuronales\", a\u00f1ade Han.<\/p>\n
Un modelo minimalista<\/strong><\/p>\nConvencionalmente, el gr\u00e1fico de retropropagaci\u00f3n se genera durante el tiempo de ejecuci\u00f3n, lo que implica una gran cantidad de c\u00e1lculos. En cambio, PockEngine hace esto durante el tiempo de compilaci\u00f3n, mientras el modelo se prepara para la implementaci\u00f3n.<\/p>\n
PockEngine elimina fragmentos de c\u00f3digo para eliminar capas o fragmentos de capas innecesarios, creando un gr\u00e1fico reducido del modelo que se utilizar\u00e1 durante el tiempo de ejecuci\u00f3n. Luego realiza otras optimizaciones en este gr\u00e1fico para mejorar a\u00fan m\u00e1s la eficiencia.<\/p>\n
Dado que todo esto s\u00f3lo debe hacerse una vez, ahorra gastos de c\u00e1lculo durante el tiempo de ejecuci\u00f3n.<\/p>\n
\u201cEs como antes de emprender una excursi\u00f3n. En casa, har\u00edas una planificaci\u00f3n cuidadosa: qu\u00e9 senderos vas a seguir, qu\u00e9 senderos vas a ignorar. Entonces, en el momento de la ejecuci\u00f3n, cuando realmente est\u00e1s caminando, ya tienes un plan muy cuidadoso a seguir\u201d, explica Han.<\/p>\n
Cuando aplicaron PockEngine a modelos de aprendizaje profundo en diferentes dispositivos perif\u00e9ricos, incluidos los chips Apple M1 y los procesadores de se\u00f1ales digitales comunes en muchos tel\u00e9fonos inteligentes y computadoras Raspberry Pi, realiz\u00f3 el entrenamiento en el dispositivo hasta 15 veces m\u00e1s r\u00e1pido, sin ninguna p\u00e9rdida de precisi\u00f3n. PockEngine tambi\u00e9n redujo significativamente la cantidad de memoria necesaria para realizar ajustes.<\/p>\n
El equipo tambi\u00e9n aplic\u00f3 la t\u00e9cnica al modelo de lenguaje grande Llama-V2. Con modelos de lenguaje grandes, el proceso de ajuste implica proporcionar muchos ejemplos, y es crucial que el modelo aprenda c\u00f3mo interactuar con los usuarios, dice Han. El proceso tambi\u00e9n es importante para los modelos encargados de resolver problemas complejos o razonar sobre soluciones.<\/p>\n
Por ejemplo, los modelos Llama-V2 que fueron ajustados usando PockEngine respondieron a la pregunta \"\u00bfCu\u00e1l fue el \u00faltimo \u00e1lbum de Michael Jackson?\" correctamente, mientras que los modelos que no fueron ajustados fallaron. PockEngine redujo el tiempo necesario para cada iteraci\u00f3n del proceso de ajuste de unos siete segundos a menos de un segundo en una NVIDIA Jetson Orin, una plataforma GPU de vanguardia.<\/p>\n
En el futuro, los investigadores quieren utilizar PockEngine para ajustar modelos a\u00fan m\u00e1s grandes dise\u00f1ados para procesar texto e im\u00e1genes juntos.<\/p>\n
\u201cEste trabajo aborda los crecientes desaf\u00edos de eficiencia que plantea la adopci\u00f3n de grandes modelos de IA, como los LLM, en diversas aplicaciones en muchas industrias diferentes. No s\u00f3lo es prometedor para aplicaciones de borde que incorporan modelos m\u00e1s grandes, sino tambi\u00e9n para reducir el costo de mantener y actualizar grandes modelos de IA en la nube\u201d, dice Ehry MacRostie, gerente senior de la divisi\u00f3n de Inteligencia General Artificial de Amazon que no particip\u00f3 en este estudio. pero trabaja con el MIT en investigaciones relacionadas con la IA a trav\u00e9s del MIT-Amazon Science Hub.<\/p>\n
Este trabajo fue apoyado, en parte, por el MIT-IBM Watson AI Lab, el MIT AI Hardware Program, el MIT-Amazon Science Hub, la National Science Foundation (NSF) y la Qualcomm Innovation Fellowship.<\/p>\n<\/p><\/div>\n
[ad_2]
\n
Source link <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"[ad_1] Los modelos personalizados de aprendizaje profundo pueden permitir chatbots de inteligencia artificial que se adapten para comprender el acento de un usuario o teclados inteligentes que se actualicen continuamente para predecir mejor la siguiente palabra seg\u00fan el historial de escritura de alguien. Esta personalizaci\u00f3n requiere un ajuste constante de un modelo de aprendizaje autom\u00e1tico […]<\/p>\n","protected":false},"author":1,"featured_media":156902,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"categories":[52],"tags":[5926,5925,5924,5923,5921,5922],"class_list":["post-156901","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ciencia","tag-capacitacion-en-el-dispositivo","tag-dispositivos-de-borde","tag-internet-de-las-cosas","tag-ligeng-zhu","tag-pockengine","tag-song-han","et-has-post-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts\/156901","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/comments?post=156901"}],"version-history":[{"count":0,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/posts\/156901\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/media\/156902"}],"wp:attachment":[{"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/media?parent=156901"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/categories?post=156901"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/rbnews247.com\/v1\/wp-json\/wp\/v2\/tags?post=156901"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![](\"https:\/\/news.mit.edu\/sites\/default\/files\/styles\/news_article__cover_image__original\/public\/images\/202311\/MIT-Pocket-Engine-01-press.jpg?itok=MLCM1_nx\")
<\/p>\n