Metaheuristics for the Design of Deep Learning Models

Resumen

La Inteligencia Artificial (Artificial Intelligence - AI) está llevando a cabo una profunda revolución en diversos sectores industriales, remodelando el panorama de la innovación y la productividad con el desarrollo de sistemas de AI de propósito general (General- Purpose AI Systems - GPAIS). El Aprendizaje Automático (Machine Learning - ML) es el campo de la AI que se centra en el estudio y desarrollo de algoritmos que permiten a los ordenadores realizar tareas eficazmente aprendiendo de los datos y mejorando a través de la experiencia. La creciente repercusión de la AI se hace patente, no solamente en su capacidad para diseñar sistemas novedosos, sino también para mejorar la eficacia de los ya existentes. Los modelos de ML se han beneficiado enormemente de esta revolución gracias a su optimización. Esta revolución de la AI se ha visto impulsada por la explosión del Aprendizaje Profundo (Deep Learning - DL), que utiliza redes neuronales para aprender patrones complejos a partir de datos. Estos modelos se han aplicado para resolver una amplia gama de problemas, teniendo un gran impacto en la sociedad. La constante evolución de la AI y la aplicación de nuevos conceptos a subcampos del ML, como el DL, no ha hecho más que aumentar su importancia en los últimos años. Además, la existencia de modelos de AI capaces tanto de diseñar como de mejorar otros modelos de AI facilita la realización de nuevos enfoques. En este contexto, las metaheurísticas (Metaheuristics - MHs) son algoritmos de optimización que se utilizan para resolver de forma eficiente problemas complejos de optimización, concretamente cuando los métodos de optimización exactos resultan poco prácticos debido al gran espacio de búsqueda o a la complejidad computacional del problema. Una de las familias del campo de las MH son los algoritmos bioinspirados, que se basan en la simulación de procesos biológicos para crear estos algoritmos de optimización. Dentro de los algoritmos bioinspirados, los Algoritmos Evolutivos (Evolutionary Algorithms - EAs) constituyen uno de los algoritmos más utilizados para el diseño y optimización de modelos con características deseables como robustez y fiabilidad. La trayectoria extendida de los EAs en la optimización de modelos de ML proporciona la exploración de nuevos mecanismos que pueden ser aplicados tanto para el diseño como para la mejora de estos modelos. Esta tesis presenta como hipótesis la adaptación en el diseño de modelos de DL utilizando EAs, puesto que los EAs son capaces de adaptarse mejor al problema, mejorando el rendimiento, a la vez que fomentan otras propiedades deseables como la robustez, la diversidad y la explicabilidad. Esta tesis aborda los siguientes objetivos: 1. El primer objetivo consiste en un estudio del campo de las MH y, en concreto, del conjunto de algoritmos bioinspirados existentes en la literatura. Este estudio proporciona una taxonomía completa que abarca todas las categorías de algoritmos bioinspirados, integrada con un análisis dual tanto de la inspiración biológica como del modelo matemático subyacente. El propósito de este estudio es examinar las posibles conexiones entre los conceptos bioinspirados y sus representaciones matemáticas. Además, este texto presenta un análisis de la evolución del campo y propuestas notables. Se ofrece una visión de la evolución del campo a lo largo de estos últimos años e incluye algunas anotaciones sobre líneas de trabajo futuro. 2. El segundo objetivo implica el desarrollo de un EA para diseñar modelos de DL con mejores resultados, utilizando menos neuronas activas para superar los métodos de poda estándar. Estos métodos se centran en la reducción del modelo a costa de ofrecer peores resultados. El objetivo es utilizar los EAs para diseñar redes podadas mejoradas eliminando neuronas innecesarias de forma compatible para importar conocimiento previo. Además, en este estudio realizamos experimentos para confirmar que los resultados no se deben a la aleatoriedad del EA y también para evaluar la adaptación de los modelos conforme se introducen nuevos datos. 3. El tercer objetivo consiste en una extensión del estudio anterior hacia el diseño y optimización de modelos de DL teniendo en cuenta tres objetivos: rendimiento, complejidad y robustez. Además, con el objetivo de conseguir modelos de DL más interpretables, también se realiza una exploración de las neuronas más influyentes y su representación en la imagen original. Se utiliza una estrategia de ensemble para mejorar el rendimiento y la robustez del modelo DL, aprovechando la diversidad de los modelos iniciales. 4. El cuarto objetivo consiste en un análisis sobre el papel que la Computación Evolutiva puede jugar en el dominio de GPAIS. El propósito de este trabajo es estudiar la capacidad de los EAs para el diseño y mejora de los GPAIS. Además, este texto presenta cómo ciertas áreas basadas en EAs se pueden aplicar para satisfacer las propiedades deseadas de los GPAIS. También se incluyen varios ejemplos de EAs que mejoran GPAIS. Por último, se esbozan los retos que plantea el uso de los EAs en GPAIS y las posibles estrategias basadas en los EAs para diseñar o mejorar los GPAIS. La tesis aborda los diferentes objetivos descritos de manera exitosa. El objetivo relacionado con el estudio de la literatura aporta innovación al campo de investigación, mejorando la literatura ya existente al mismo tiempo que abre diferentes líneas de investigación futuras en diferentes ámbitos de la AI. Los siguientes dos objetivos, relacionados con la creación de modelos basados en los EAs para el diseño y mejora de modelos de DL, están respaldados por estudios empíricos comparativos. Partiendo de la premisa de eliminar las neuronas innecesarias, hemos diseñado con éxito redes mejoradas en rendimiento y robustez, reduciendo al mismo tiempo la complejidad. Por último, presentamos el trabajo que proporciona el análisis de la Computación Evolutiva, en particular sobre los EAs, dentro del dominio de los GPAIS. En concreto, se centra en la capacidad de los EAs para diseñar y mejorar estos sistemas. Además, alineamos varias áreas de investigación en las que los EAs han adquirido una gran influencia para las propiedades de los GPAIS e ilustramos esta sinergia con varios hitos. Asimismo, proponemos los beneficios de los EAs para los GPAIS y las estrategias basadas en estos algoritmos para el diseño y la mejora de los GPAIS.