Tesis:
Regularized model learning in EDAs for continuous and multiobjective optimization.
- Autor: KARSHENAS NAJAFABADI, Hossein
- Título: Regularized model learning in EDAs for continuous and multiobjective optimization.
- Fecha: 2013
- Materia: Sin materia definida
- Escuela: FACULTAD DE INFORMATICA
- Departamentos: INTELIGENCIA ARTIFICIAL
- Acceso electrónico: http://oa.upm.es/16609/
- Director/a 1º: LARRAÑAGA MUGICA, Pedro María
- Director/a 2º: BIELZA LOZOYA, María Concepción
- Resumen: La modelización probabilista es la característica definitoria de los algoritmos de estimación de distribuciones (EDAs, en inglés) que determina su comportamiento y rendimiento en problemas de optimización. La regularización es una técnica estadística bien conocida utilizada para obtener mejores modelos al reducir el error de generalización de la estimación, especialmente en problemas de alta dimensionalidad. La regularización L1 tiene la atractiva propiedad de seleccionar variables, lo que permite estimaciones de modelos dispersos. En esta tesis, estudiamos el uso de técnicas de regularización para el aprendizaje de modelos en EDAs. Se presentan y analizan dos aproximaciones para la estimación del modelo regularizado en dominios continuos basado en la asunción de distribución Gaussiana desde diferentes aspectos en situaciones de alta dimensionalidad, donde el tamaño de la población del EDA es logarítmico en el número de variables. Los resultados de optimización obtenidos para algunos problemas continuos, con un número creciente de variables, muestran que el EDA propuesto, basado en la estimación del modelo regularizado, realiza una optimización más robusta y es capaz de lograr resultados significativamente mejores para dimensiones más grandes en comparación con otros EDAs basados en la asunción de distribución Gaussiana. También proponemos un método para aprender un modelo de campo aleatorio de Markov Gaussiano que está marginalmente factorizado utilizando técnicas de regularización y un algoritmo de clustering. Los resultados experimentales muestran un rendimiento notable en optimización de problemas continuos aditivamente descomponibles cuando se utiliza este método de estimación del modelo. Nuestro estudio también cubre optimización multi-objetivo y proponemos una modelización probabilística conjunta de variables y objetivos en EDAs basada en redes Bayesianas, específicamente redes Bayesianas multidimensionales. Se demuestra que con este enfoque de modelización, en los modelos estimados se codifican dos nuevos tipos de relaciones además de las relaciones de variables capturadas en otros EDAs: relaciones de objetivo-variable y de objetivo-objetivo. Un amplio estudio experimental muestra la efectividad de este enfoque para optimización multi-objetivo y para muchos objetivos. Con la modelización propuesta, conjunta para variables y objetivos, además de la aproximación del conjunto de Pareto, el algoritmo es también capaz de obtener una estimación de la estructura del problema multi-objetivo. Por último, el estudio de optimización multi-objetivo basado en modelización probabilística conjunta se extiende a dominios con ruido, donde el ruido en los valores de los objetivos se representa por intervalos. Se introduce una nueva versión de la relación de dominancia de Pareto para ordenar las soluciones en estos problemas, denominada dominancia de Pareto de grado alfa, y se analizan sus propiedades. Mostramos que los métodos de ordenación basados en esta relación de dominancia pueden resultar en EDAs con un rendimiento competitivo con respecto a la calidad de la aproximación del conjunto dePareto. Esta relación de dominancia se utiliza después junto con un método de modelización probabilística conjunta basado en regularización L1 para selección multi-objetivo de subconjuntos de características en clasificación, donde se consideran seis medidas diferentes de precisión como los objetivos con valores de intervalo. La evaluación individual de estas dos propuestas de modelación probabilística conjunta y los métodos de ordenación en conjuntos de datos de pequeña-mediana dimensionalidad, cuando se utilizan dos clasificadores Bayesianos diferentes, demuestra que se aproximan conjuntos de Pareto de subconjuntos de características que comparables o mejores que con métodos estándar.