Aprendizaje evolutivo multiobjetivo de sistemas difusos jerárquicos y su aplicación en astrofísica

Resumen

Introducción: Un espacio multidimensional constituye el resultado de un complejo proceso de abstracción e idealización para generalizar el concepto espacio. Su dificultad está íntimamente relacionada con el número de variables del mismo. Un tipo de problema que se adecúa a estas características es la multidimensionalidad en espacios continuos, denominado problema de regresión. Un problema de regresión cuenta con un conjunto de variables de tipo real que podría ser resuelto mediante modelos matemáticos. Este tipo de modelizado puede proporcionar precisión en su solución, pero no existe cabida para la interpretación de los datos. Si lo que pretendemos es generar un conocimiento de esa información, debemos plantearnos usar metodologías basadas en la Inteligencia Artificial. Una forma de modelizado de problemas de regresión que tiene en cuenta tanto la precisión de la solución como su interpretación es el sistema basado en reglas difusas. La resolución de estos problemas suele ser satisfactoria cuando el número de variables del problema es pequeño. Si el problema es complejo, y con esto nos referimos específicamente a que esté formado por un número de variables considerable, se produce: 1) Un incremento exponencial del número de reglas. Cuanto mayor sea el número de reglas del sistema, más difícil será su interpretación. 2) Un aumento del tiempo de computación, de forma que a mayor número de reglas, mayor tiempo de computación del modelo. En este caso, debemos hacer uso de otros métodos como los sistemas difusos jerárquicos. Son sistemas estructurados en capas, donde cada capa está formada por uno o varios sistemas difusos (o módulos) que se encuentran enlazados entre sí, donde cada módulo puede recibir como entrada tanto variables del problema como la salida del módulo de la capa anterior. Como ya sabemos, la precisión y la interpretabilidad son conceptos inversamente proporcionales. Los algoritmos evolutivos pueden ayudarnos a solventar este problema ya que se puede enfocar como una tarea de optimización. Por tanto, parece interesante el aprendizaje de la estructura jerárquica de sistemas basados en reglas difusas mediante un algoritmo multi-objetivo que garantice una buena interpretabilidad, mejorando o manteniendo la precisión del sistema. Desarrollo teórico: El objetivo de este trabajo es el diseño e implementación de un conjunto de métodos de aprendizaje que permitan obtener modelizados jerárquicos difusos que aseguren una buena interpretabilidad del sistema, mejorando o igualando la precisión con respecto a un modelizado difuso convencional. Este objetivo general se descompone en los siguientes objetivos parciales: 1) Análisis del estado del arte en el campo del Aprendizaje Automático. Realizaremos un análisis profundo de las propuestas existentes en la actualidad. Debido a que este campo es amplio, nos ceñiremos a las técnicas que usamos en nuestro trabajo: modelizado mediante sistemas basados en reglas difusas, sistemas difusos jerárquicos y aprendizaje evolutivo. 2) Mejora en la interpretabilidad mediante Sistemas Difusos Jerárquicos. Propondremos una serie de métodos basados en el aprendizaje de estructuras jerárquicas de distintos tipos (serie, paralelo e híbrido). La principal virtud de cada uno de los métodos que presentamos en este trabajo es la reducción de la complejidad del sistema cuando se resuelven problemas con un número elevado de variables intentando que la precisión de cada uno de los modelos se mantenga o, incluso, mejore. Además, realizaremos un análisis exhaustivo de cada una de las tres propuestas para comprobar su capacidad frente a distintos conjuntos de datos. 3) Realizar una aplicación a problemas reales. Nos resulta interesante ver la aplicabilidad en problemas reales. Para ello, realizamos una experimentación con datos fotométricos astrofísicos referentes a conjuntos de datos reales de espectros de galaxias para determinar algunas de sus propiedades físicas. Conclusión: En este trabajo presentamos tres métodos de aprendizaje de sistemas jerárquicos, serie, paralelo e híbrido, para problemas de regresión de alta dimensionalidad con el objetivo de obtener soluciones equilibradas en precisión e interpretabilidad. Con una experimentación y un análisis exhaustivo de estas técnicas de modelizado utilizando distintos conjuntos de datos con diferente dimensionalidad, podemos deducir que el comportamiento de cada una de las tres propuestas algorítmicas de este trabajo reducen el número de reglas del sistema en términos de interpretabilidad. Además, el número de variables por regla es menor, lo que hace que este tipo de sistemas se caracterice por su simplicidad. Con respecto a la precisión, está claro que depende principalmente de la topología. La topología en paralelo se caracteriza por no hacer uso de variables exógenas en las capas intermedias del sistema, sin importar el número de módulos existentes en cada capa. Como venimos comentando, la inferencia de cada módulo genera un error que se incrementa a medida que transcurre la información por la jerarquía hasta llegar al módulo de salida. El error acarreado depende directamente del número módulos, esto es, cuanto mayor sea número de módulos, el sistema genera un mayor error en la predicción. Esto repercute negativamente en la precisión del sistema. Este comportamiento se atenúa en la topología híbrida. La topología híbrida, como se puede apreciar en su propia morfología, hace uso de variables exógenas que aportan información sin ruido al sistema a nivel de capa. De esta forma, el propio sistema mitiga la propagación del error a lo largo de las capas, aunque el número de módulos de la jerarquía sea elevado. Un problema importante que presenta este tipo de jerarquía es el incremento del espacio de búsqueda de soluciones. Un modelizado híbrido contempla topología serie, paralela y ambos simultáneamente en una misma estructura, lo que incrementa en tres veces el espacio de búsqueda y hace que encontrar una solución buena sea una tarea ardua. Por otro lado, la topología en serie es una estructura más simple, ya que por cada capa solo genera un módulo. Por ello, la generación de errores por módulo es menor y por supuesto, la propagación del mismo es menor. A ésto se une la cualidad de que en cada capa puede existir una variable exógena, es decir, puede contar con la presencia de datos sin ruido que ayudan a mitigar la generación y propagación del error a través de las capas, lo que repercute positivamente en la precisión final del sistema. Dado el buen comportamiento que presenta esta topología frente a las otras dos, hemos podido comprobar que un ajuste en las funciones de pertenencia hace que las jerarquías en serie obtenidas afinen aún más en la precisión y pueda ser comparable a otros modelos de la literatura que utilizan mecanismos de ajuste en el modelado difuso. Resumiendo, un sistema difuso jerárquico puede ser una buena apuesta en problemas de multidimensionalidad ya que nos proporciona simplicidad e interpretabilidad, pero si no queremos perder precisión, hemos de ser cautos en su diseño atendiendo tanto en el número de módulos como en la distribución del tipo de variables. Bibliografía: Acosta, J., Nebot, A., Villar, P., y Fuertes, J. (2007a). Learning fuzzy partitions in fir methodology. International Journal of General Systems, 36, 703-731. Acosta, J., Nebot, A., Villar, P., y Fuertes, J. (2007b). Optimization of fuzzy partitions dor inductive reasoning using genetic algorithms. International Journal of Systems Science, 38, 991-1011. Adnan, M. M., Sarkheyli, A., Adnan, A. M., y Haron, H. (2015). Fuzzy logic for modeling machining process: a review. Artificial Intelligence Review, 43(3), 345-379. Ahlawat, A., y Ramaswamy, A. (2001). Multiobjective optimal structural vibration control using fuzzy logic control system. Journal of Structural Engineering, 127(11), 1330-1337. Aja-Fernández, S., y Alberola-López, C. (2008). Matriz modeling of hierarchical fuzzy systems. IEEE Transactions on Fuzzy Systems, 16(3), 585-599. Alcalá, R., Casillas, J., Cordón, O., Herrera, F., y Zwir, J. (2000). Learning and tuning fuzzy rule-based systems for linguistic modeling (Vol. 3; C. Leondes, Ed.).San Diego, EE.UU.: Academic Press. Alcalá, R., Gacto, M., Herrera, F., y Alcalá-Fdez, J. (2007). A multi-objective genetic algorithm for tuning and rule selection to obtain accurate and compact linguistic fuzzy rule-based systems. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 15(5), 539-557. Alcalá, R., y Nojima, Y. (2009). Special issue on genetic fuzzy systems: new advances. Evolutionary Intelligence, 2, 1-3 Alcalá, R., Alcalá-Fdez, J., Casillas, J., Cordón, O., y Herrera, F. (2006). Hybrid learning models to get the interpretability-accuracy trade-off in fuzzy modeling. Soft Computing, 10, 717-734. Alcalá, R., Alcalá-Fdez, J., Gacto, M., y Herrera, F. (2007). Rule base reduction and genetic tuning of fuzzy systems based on the linguistic 3-tuples representation. Soft Computing, 11, 401-419. Alcalá, R., Alcalá-Fdez, J., Herrera, F., y Otero, J. (2007). Genetic learning of accurate and compact fuzzy rule based systems based on the 2-tuples linguistic representation. International Journal of Approximate Reasoning, 44(1), 46-64. Alcalá, R., Gacto, M., y Herrera, F. (2011). A fast and scalable multiobjective genetic fuzzy system for linguistic fuzzy modeling in high-dimensional regression problems. IEEE Transactions on Fuzzy Systems, 19, 666-681. Alcalá, R., Nojima, Y., Herrera, F., y Ishibuchi, H. (2011). Multiobjective genetic fuzzy rule selection of single granularity-based fuzzy classification rules and its interaction with the lateral tuning of membership functions. Soft Computing, 15(12), 2303-2318. Alcalá-Fdez, J., Herrera, F., Márquez, F., y Peregrín, A. (2007). Increasing fuzzy rules cooperation based on evolutionary adaptive inference systems. International Journal on Intelligent Systems, 22, 1035-1064. Alonso, J., y Magdalena, L. (2011). Special issue on interpretable fuzzy systems. Information Sciences, 181, 4331-4339. Alsina, C., y Trillas, E. (1992). Synthesizing implications. International Journal of Intelligent Systems, 7, 705-713. An, Z., y Zhang, Y. (2007). The application study of machine learning. Journal of Changzhi University, 24(2), 21-24. Antonelli, M., Ducange, P., Lazzerini, B., y Marcelloni, F. (2011). Learning knowledge bases of multi-objective evolutionary fuzzy systems by simultaneously optimizing accuracy, complexity, and partition integrity. Soft Computing, 15(12), 2335-2354. Arroyo, J., y Armentano, V. (2005). Genetic local search for multi-objective flow shop scheduling problems. European Journal of Operational Research, 167, 717-738. Ata, R. (2015). Artificial neural networks applications in wind energy systems: a review. Renewable and Sustainable Energy Reviews, 49, 534-562. Babuška, R. (1998). Fuzzy modeling for control. Norwell, Massachusetts, EE. UU.: Kluwer Academic. Bárdossy, A., y Duckstein, L. (1995). Fuzzy rule-based modeling with application to geophysical, biological and engineering systems. Boca Raton, Florida, EE. UU.: CRC Press. Bäck, T., Foussette, C., y Krause, P. (2013). Taxonomy of evolution strategies. Springer Berlin Heidelberg. Benítez, A.D., y Casillas, J. (2009). Genetic learning of serial hierarchical fuzzy systems for large-scale problems. En Proceedings of joint 2009 international fuzzy systems association world congress and 2009 european society of fuzzy logic and technology conference (ifsa-eusflat 2009) (pp. 1751-1756). Lisboa, Portugal. Beyer, H., y Schwefel, H. (2002). Evolution strategies. a comprehensive introduction. Natural Computing, 1(1), 3-52. Botta, A., Lazzerini, B., Marcelloni, F., y Stefanescu, D. (2009). Context adaptation of fuzzy systems through a multi-objective evolutionary approach based on a novel interpretability index. Soft Computing, 13(5), 437-449. Bouchaala, L., Masmoudi, A., Gargouri, F., y Rebai, A. (2010). Improving algorithms for structure learning in bayesian networks using a new implicit score. Expert Systems with Applications, 37, 5470-5475. Breiman, L. (1996). Bagging predictors. Machine Learning, 24, 123-140. Breiman, L., Friedman, J., Olshen, R., y Stone, C. (1984). Classification and regression trees (Chapman y Hall, Eds.). Monterey, CA, EE.UU.:Wadsworth International Group. Burke, E., y Kendall, G. (Eds.). (2005). Search methodologies. Spring Street, New York, U.S.A: Springer US. Cala, S., y Moreno-Velo, F. (2010). Xfhl: A tool for the induction of hierarchical fuzzy systems. En Ieee international conference on fuzzy systems (pp. 1-6). Barcelona, España: IEEE. Cao, Z., y Kandel, A. (1989). Applicability of some fuzzy implication operators. Fuzzy Sets and Systems, 31, 151-186. Casillas, J., y Carse, B. (2009). Genetic fuzzy systems: Recent developments and future directions. Soft Computing, 13, 417-418. (Special Issue) Casillas, J., Cordón, O., del Jesús, M., y Herrera, F. (2001). Genetic feature selection in a fuzzy rule-based classification system learning process for high-dimensional problems. Information Sciences, 136, 135-157. Casillas, J., Cordón, O., Herrera, F., y Magdalena, L. (Eds.). (2003a). Accuracy improvements to find the balance interpretability-accuracy in linguistic fuzzy modeling: An overview. Springer Berlin Heidelberg. Casillas, J., Cordón, O., Herrera, F., y Magdalena, L. (Eds.). (2003b). Interpretability improvements to find the balance interpretability-accuracy in fuzzy modeling: An overview. Springer Berlin Heidelberg. Casillas, J., Cordón, O., del Jesús, M., y Herrera, F. (2005). Genetic tuning of fuzzy rule deep structures preserving interpretability and its interaction with fuzzy rule set reduction. IEEE Transactions on Fuzzy Systems, 13(1), 13-29. Casillas, J., Cordón, O., y Herrera, F. (2002). Cor: a methodology to improve ad hoc data-driven linguistic rule learning methods by inducing cooperation among rules. IEEE Transactions on Systems, Man, and Cybernetics-Part B: Cybernetics, 32(4), 526-537. Casillas, J., Cordón, O., Herrera, F., y Magdalena, L. (Eds.). (2003). Cor methodology: a simple way to obtain linguistic fuzzy models with good interpretability and accuracy. Heidelberg, Alemania: Accuracy Improvements in Linguistic Fuzzy Modeling, Studies in Fuzziness and Soft Computing, Springer. Casillas, J., Herrera, F., Pérez, R., del Jesús, M., y Villar, P. (2007). Special issue on genetic fuzzy systems and the interpretability-accuracy trade-off. International Journal on Approximate Reasonint, 44, 1-3. Casillas, J., Martínez, P., y Benítez, A. (2009). Learning consistent, complete and compact sets of fuzzy rules in conjunctive normal form for regression problems. Soft Computing, 13, 451-465. Castro, J., Castro-Sánchez, J., y Zurita, J. (1999). Learning maximal structure rules in fuzzy logic for knowledge acquisition in expert systems. Fuzzy Sets and Systems, 101, 331-342. Chambers, L. (Ed.). (1998). (Vol. 3). EE.UU.: CRC Press Inc. Chen, L., y Wang, D. (2007). Multivariate decision trees based on regression and discriminant analysis. En International conference on convergence information technology (pp. 1733-1741). Gyeongju, Corea del Sur: IEEE. Chen, Y., y Abraham, A. (2010). Hierarchical fuzzy systems (J. Kacprzyk y L. C. Jain, Eds.). Intelligent Systems Reference Library, Springer Berlin Heidelberg. Chen, Y., Dong, J., y Yang, B. (2004). Automatic design of hierarchical ts-fs model using ant programming and pso algorithm. En C. Bussler y D. Fensel (Eds.), Proceedings 12th international conference on artificial intelligence, methodology, systems and applications, lecture notes on artificial inteligence, lnai 3192 (pp. 285-294). Chen, Y., Yang, B., Abraham, A., y Peng, L. (2007). Automatic design of hierarchical takagi-sugeno type fuzzy systems using evolutionary algorithms. IEEE Transactions on Fuzzy Systems, 15(3), 385-397. Cheong, F. (2007). A hierarchical fuzzy system with high input dimensions for forecasting foreign exchange rates. IEEE Congress on Evolutionary Computation, CEC, 1642-1647. Chiu, S. (1996). Selecting input variables for fuzzy models. Journal of Intelligent and Fuzzy Systems, 4(4), 243-256. Cid-Fernandes, R., Mateus, A., Jr, L. S., Stasinska, G., y Gomes, J. (2005). Semiempirical analysis of sloan digital sky survey galaxies - i. spectral synthesis method. Monthly Notices of the Royal Astronomical Society, 358, 363-378. doi: 10.1111/j.1365-2966.2005.08752.x Cid-Fernandes, R., Stasi¿nska, G., Schlickmann, M., Mateus, A., Vale-Asari, N., Schoenell, W., y Jr, L. S. (2010). Alternative diagnostic diagrams and forgotten population of weak line galaxies in the sdss. Monthly Notices of the Royal Astronomical Society, 403, 1036-1053. doi: 10.1111/j.1365-2966.2009.16185.x Coello, C., Lamont, G., y Veldhuizen, D. V. (Eds.). (2007). Springer US. Collette, Y., y Siarry, P. (Eds.). (2004). Springer-Verlag Berlin Heidelberg. Contreras, J., Misa, R., y Ureta, L. (2007). Algoritmos para identificación de modelos difusos interpretables. IEEE Latin America Transactions, 8, 346-351. Cordón, O. (2011). A historical review of evolutionary learning methods for mamdani-type fuzzy rule-based systems: Designing interpretable genetic fuzzy systems. International Journal of Approximate Reasoning, 52, 894-913. Cordón, O., Gomide, F., Herrera, F., Hoffmann, F., y Magdalena, L. (2004). Ten years of genetic fuzzy systems: current framework and new trends. Fuzzy Sets and Systems, 141, 5-31. doi: 10.1016/S0165-0114(03)00111-8 Cordón, O., Herrera, F., Magdalena, L., y Villar, P. (2001). A genetic learning process for the scaling factors, granularity and contexts of the fuzzy rule-based system data base. Information Sciences, 136, 85-107. Cordón, O., Herrera, F., y Peregrín, A. (1997). Applicability of the fuzzy operators in the design of fuzzy logic controllers. Fuzzy Sets and Systems, 86(1), 15-41. Cordón, O., Herrera, F., y Sánchez, L. (1999). Solving electrical distribution problems using hybrid evolutionary data analysis techniques. Applied Intelligence, 10(1), 5-24. Cordón, O., Herrera, F., y Villar, P. (2001). Generating the knowledge base of a fuzzy rule-based system by the genetic learning of the data base. IEEE Transactions on Fuzzy Systems, 9(4), 667-674. Davis, L. (Ed.). (1991). Nueva York, EE.UU.: Van Nostrand Reinhold. Deb, K. (Ed.). (2001). Multi-objective optimization using evolutionary algorithms. Boston, Massachusetts, EE.UU.: Wiley Custom. Deb, K., Pratap, A., Agarwal, S., y Meyarevian, T. (2002). A fast and elitist multiobjective genetic algorithm: Nsga-ii. IEEE Transactions on Evolutionary Computation, 6(2), 182-197. Driankov, D., Hellendoorn, H., y Reinfrank, M. (1993). An introduction to fuzzy control. Heidelberg, Alemania: Springer-Verlag. Duan, J., y Chung, F. (2002). Multilevel fuzzy relational systems: structure and identification. Soft Computing, 6(2), 71-86. Essabri, A., Gzara, M., y Loukil, T. (2006). Parallel multi-objective evolutionary algorithm with multi-front equitable distribution. En Fifth international conference on grid and cooperative computing (pp. 241-244). Hunan, China: IEEE. Fakhari, A., y Moghadam, A. (2013). Combination of classification and regression in decision tree for multi-labeling image annotation and retrieval. Applied Soft Computing, 13, 1292-1302. Fazzolari, M., Alcalá, R., Nojima, Y., Ishibuchi, H., y Herrera, F. (2013). A review of the application of multiobjective evolutionary fuzzy systems: Current status and further directions. IEEE Transactions on Fuzzy Systems, 21(1), 45-65. Fernández, A., López, V., Jesús, M. D., y Herrera, F. (2015). Revisiting evolutionary fuzzy systems: Taxonomy, applications, new trends and challenges. Knowledge-Based Systems, 80, 109-121. Fogel, D., y Fogel, L. (1996). An introduction to evolutionary programming (J. Alliot, E. Lutton, E. Ronald, M. Schoenauer, y D. Snyers, Eds.). Springer Berlin Heidelberg. Fogel, G. (2012). Evolutionary programming (G. Rozenberg, T. Bäck, y J. Kok, Eds.). Springer Berlin Heidelberg. Fonseca, C., y Fleming, P. (1993). Genetic algorithms for multiobjective optimization: Formulation, discussion and generalization. En (pp. 416-423). Gacto, M., Alcalá, R., y Herrera, F. (2010). Integration of an index to preserve the semantic interpretability in the multiobjective evolutionary rule selection and tuning of linguistic fuzzy systems. IEEE Transactions on Fuzzy Systems, 18(3), 515-531. Gacto, M., Alcalá, R., y Herrera, F. (2011). Interpretability of linguistic fuzzy rulebased systems: An overview of interpretability measures. Information Sciences, 181, 4340-4360. Gacto, M., Alcalá, R., y Herrera, F. (2009). Adaptation and application of multiobjective evolutionary algorithms for rule reduction and parameter tuning of fuzzy rule-based systems. Soft Computing, 13, 419-436. Garg, A., y Tai, K. (2012). Review of genetic programming in modeling of machining processes. En Proceedings of international conference on modelling, identification and control (icmic) (pp. 653-658). IEEE. Gaweda, A., y Scherer, R. (2004). Fuzzy number-based hierarchical fuzzy system. Lecture Notes in Computer Science, 3070, 302-307. Giordana, A., y Neri, F. (1995). Search-intensive concept induction. Evolutionary Computation, 3, 375-416. Goldberg, D. (Ed.). (1989). Genetic algorithms in search, optimization and machine learning. Boston, Massachusetts, EE.UU.: Addison-Wesley Longman Publishing Co., Inc. González, A., y Pérez, R. (2001). Selection of relevant features in a fuzzy genetic learning algorithm. IEEE Transactions on Systems, Man, and Cybernetics¿Part B: Cybernetics, 31(3), 417-425. Greene, D., y Smith, S. (1993). Competition-based induction of decision models from examples. Machine Learning, 3, 229-257. Gunn, J., Siegmund, W., Mannery, E., y otros. (2006). The 2.5 m telescope of the sloan digital sky survey. The Astronomical Journal, 131, 2332-2359. Gupta, M. M., y Qi, J. (1991). Design of fuzzy logic controllers based on generalized t-operators. Fuzzy Sets and Systems, 40, 473-489. Hagras, H., Callaghan, V., Colley, M., y Carr-West, M. (1999). A behaviour based hierarchical fuzzy control architecture for agricultural autonomous mobile robots. En Proceedings of the international conference on computational intelligence for modelling, control and automation (pp. 166-171). Viena, Austria. Heckerman, D. (1998). A tutorial on learning with bayesian networks (Vol. 89; M. Jordan, Ed.). Boston, EE.UU.: Kluwer Academic Publishers. Heckerman, D., Geiger, D., y Chickering, D. (1995). Learning bayesian networks: the combination of knowledge and statistical data. Machine Learning, 20, 197-243. Hellendoorn, H., y Thomas, C. (1993). Deffuzification in fuzzy controllers. Journal of Intelligent Fuzzy Systems, 1, 109-123. Hermoso-Gutiérrez, J., y Hernández-Bastida, A. (Eds.). (1997). Curso básico de estadística descriptiva y probabilidad. Granada, España: Némesis. Herrera, F. (2008). Genetic fuzzy systems: taxonomy, current research trends and prospects. Evolutionary Intelligence, 1, 27-46. Herrera, F., y Lozano, M. (2009). Fuzzy evolutionary algorithms and genetic fuzzy systems: A positive collaboration between evolutionary algorithms and fuzzy systems. Computational Intelligence, 1, 83-130. Herrera, F., y Magdalena, L. (1997). Genetic fuzzy systems: A tutorial. Tatra Mountains Mathematical Publications (Slovakia), 13, 93-121. Hüllermeier, E. (2008). Fuzzy methods for data mining and machine learning: State of the art and prospects. Fuzzy Sets and Their Extensions: Representation, Aggregation and Models, 357-375. Ho, T. K., y Basu, M. (2002). Complexity measures of supervised classification problems. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(3), 289-300. Ho, T. K., Basu, M., y Law, M. (2006). Measures of geometrical complexity in classification problems. En Data complexity in pattern recognition (pp. 1-23). Springer. Hoimafar, A., y Mccormic, E. (1995). Simultaneous design of membership functions and rule sets for fuzzy controllers using genetic algorithms. IEEE Transactions on Fuzzy Systems, 3, 129-139. Holland, H. (Ed.). (1975). Adaptation in natural and artificial systems. Ann Arbor, Michigan, EE.UU.: University of Michigan Press. Holmes, G., Hall, M., y Frank, E. (1999). Generating rule sets from model trees. En Twelfth australian joint conference on artificial intelligence (p. 1-12). Springer. Holve, R. (1998). Investigation of automatic rule generation for hierarchical fuzzy systems. Fuzzy Systems Proceedings. IEEE World Congress on Computational Intelligence, 2, 973-978. Hong, T., y Chen, J. (1999). Finding relevant attributes and membership functions. Fuzzy Sets and Systems, 103(3), 389-404. Hong, T., y Lee, C. (1999). Effect of merging order on performance of fuzzy induction. Intelligent Data Analysis, 103, 389-404. Hong, X., y Harris, C. (2001). Variable selection algorithm for the construction of mimo operating point dependent neurofuzzy networks. IEEE Transactions on Fuzzy Systems, 9(1), 88-101. Horn, J., Nafpliotis, N., y Goldberg, D. (1994). A niched pareto genetic algorithm for multiobjective optimization. En (pp. 82-87). IEEE. Huang, Z., Li, J., Su, H., Watts, G., y Chen, H. (2007). Large-scale regulatory network analysis from microarray data: modified bayesian network learning and association rule mining. Decision Support Systems, 43, 1207-1225. Ikonomovska, E., Gama, J., y Dzeroski, S. (2015). Online tree-based ensembles and option trees for regression on evolving data streams. Neurocomputing, 150, 458-470. Ishibuchi, H., K. Nozaki, Yamamoto, N., y Tanaka, H. (1995). Selecting fuzzy if-then rules for classification problems using genetic algorithms. IEEE Transactions on Fuzzy Systems, 3(3), 260-270. Ishibuchi, H., Masuda, H., Tanigaki, Y., y Nojima, Y. (2014). Review of coevolutionary developments of evolutionary multi-objective and many-objective algorithms and test problems. En Ieee symposium on computational intelligence in multicriteria decision-making (pp. 178-184). Orlando, Florida, EE.UU.: IEEE. Ishibuchi, H., Yoshida, T., y Murata, T. (2003). Balance between genetic search and local search in memetic algorithms for multi-objective permutation flow shop. IEEE Transactions on Evolutionary Computation, 7, 204-223. Jaimes, A., y Coello, C. C. (2005). Mrmoga: parallel evolutionary multi-objective optimization using multiple resolutions. En Ieee congress on evolutionary computation (pp. 2294-2301). Kanpur, India: IEEE. Jarraya, A., Leray, P., y Masmoudi, A. (2014). Discrete exponential bayesian networks: Definition, learning and application for density estimation. Neurocomputing, 137, 142-149. Jayaram, B. (2008). Rule reduction for efficient inferencing in similarity based reasoning. Approximate Reasoning, 48, 156-173. Jelleli, T., y Alimi, A. (2005). Improved hierarchical fuzzy control scheme. Adaptive and Natural Computing, 1, 128-131. Jelleli, T., y Alimi, A. (2010). Automatic design of a least complicated hierarchical fuzzy system. 6th IEEE World Congress on Computational Intelligence, 1-7. Jin, Y. (2000). Fuzzy modeling of high-dimensional systems: complexity reduction and interpretability improvement. IEEE Transactions on Fuzzy Systems, 8(2), 212¿221. Jing, C., Jing-qi, F., y Wei, S. (2011). Learning bayesian network parameters based on iterative learning control. En International conference on consumer electronics, communications and networks (pp. 4161-4165). XianNing, China: IEEE. Jong, K. D., Spears, W., y Gordon, D. (1993). Using genetic algorithms for concept learning. Machine Learning, 13, 161-188. Joo, M., y Lee, J. (1999). Hierarchical fuzzy control scheme using structured takagi-sugeno type fuzzy inference. En Proceedings of ieee international fuzzy systems conference (pp. 78-83). Seúl, Corea. Joo, M., y Lee, J. (2002). Universal approximation by hierarchical fuzzy system with constrains on the fuzzy rule. Fuzzy Sets and Systems, 130(2), 175-188. Joo, M., y Sudkamp, T. (2009). A method of converting a fuzzy system to a twolayered hierarchical fuzzy system and its run-time efficiency. IEEE Transactions on Fuzzy Systems, 17(1), 93-103. Kim, D., Choi, Y., y Lee, S. (2002). An accurate cog defuzzier design using Lamarckian co-adaptation of learning and evolution. Fuzzy Sets Systems, 130, 207-225. Kiszka, J., Kochanska, M., y Sliwinska, D. (1985). The influence of some fuzzy implication operators on the accuracy of a fuzzy model. Partes I y II Fuzzy Sets and Systems, 15,15, 111-128,223-240. Kleeman, M., y Lamont, G. (2006). Co-evolutionary multi-objective eas: the next frontier? En Ieee congress on evolutionary computation (pp. 1726-1735). Vancouver, Canadá: IEEE. Kotsiantis, S. (2013). Decision trees: a recent overview. Artificial Intelligence Review, 39, 261-283. Kovacs, T. (2004). Springer-Verlag London. Lee, H., Chen, C., Chen, J., y Jou, Y. (2001). An efficient fuzzy classifier with feature selection based on fuzzy entropy. IEEE Transactions on Systems, Man, and Cybernetics¿Part B: Cybernetics, 31(3), 426-432. Lee, M., Chung, H., y Yu, F. (2003). Modeling of hierarchical fuzzy systems. Fuzzy Sets and Systems, 138(2), 343-361. Mackiewicz, A., y Ratajczak, W. (1993). Principal components analysis. Computers and Geosciences, 13(3), 303¿342. Maeda, H. (1996). An investigation on the spread of fuzziness in multi-fold multistage approximate reasoning by pictorial representation under sup-min composition and triangular type membership function. Fuzzy Sets and Systems, 80(2), 133-148. Mamdani, E. H. (1974). Applications of fuzzy algorithms for control a simple dynamic plant. Proceedings of the IEE 121, 12, 1585-1588. Masmoudi, N. K., Rekik, C., Djemel, M., y Derbel, N. (2010). Optimal control for discrete large scale nonlinear systems using hierarchical fuzzy systems. En Proceedings 2nd international conference on machine learning and computing (pp. 91-95). Bangalore, India: IEEE. Mencar, C. (2013). Interpretability of fuzzy systems. En Proceedings 10th international workshop on fuzzy logic and applications (pp. 22-35). Genova, Italia: Springer International Publishing. Mikut, R., Jäkel, J., y Gröll, L. (2005). Interpretability issues in data-based learning of fuzzy systems. Fuzzy Sets and Systems, 150, 179-197. Montazer, G., y Giveki, D. (2015). An improved radial basis function neural network for object image retrieval. Neurocomputing, 168, 221-223. Márquez, A., Márquez, F., y Peregrín, A. (2010). A multi-objective evolutionary algorithm with an interpretability improvement mechanism for linguistic fuzzy systems with adaptative defuzzification. En Proceedings of ieee international conference on fuzzy systems (pp. 1-7). Murata, T., y Ishibuchi, H. (1995). Moga: multi-objective genetic algorithms. En (Vol. 1). Perth, WA, Australia: IEEE. Nauk, D., y Kruse, R. (1999). Neuro-fuzzy systems for function approximation. Fuzzy Sets and Systems, 101, 261-271. Nojima, Y., Alcalá, R., Ishibuchi, H., y Herrera, F. (2011). Special issue on evolutionary fuzzy systems. Soft Computing, 15(12), 2299-2301. Patel, R., y Raghuwanshi, M. (2010). Review on real coded genetic algorithms used in multiobjective optimization. En 3rd international conference on emerging trends in engineering and technology (pp. 610-613). Goa, India: IEEE. Pedrycz,W. (1994). Why triangular membership functions? Fuzzy Sets and Systems, 64, 21-30. Pedrycz, W. (2001). Fuzzy equalization in the construction of fuzzy sets. Fuzzy Sets and Systems, 119, 329-335. Peng, X., y Xu, D. (2013). A local information-based feature-selection algorithm for data regression. Pattern Recognition, 46, 2519-2530. Quinlan, J. (1986). Introduction to decision tree. Machine Learning, 1, 81-106. Quinlan, R. (1992). Learning with continuous classes. En 5th australian joint conference on artificial intelligence (pp. 343-348). Singapur, Malasia:World Scientific. Raju, G., Zhou, J., y Kisner, R. (1991). Hierarchical fuzzy control. International Journal Control, 54(5), 1201-1216. Rattasiri, W., y Halgamuge, S. (2000). Computational complexity of hierarchical fuzzy systems. En Proceedings 19th international conference of the north american. (pp. 383-387). Atlanta, EE.UU.: IEEE. Rojas, I., Pomares, H., Ortega, J., y Prieto, A. (2000). Self-organized fuzzy systems generation from training examples. IEEE Transactions on Fuzzy Systems, 8, 23-36. Rokach, L. (2016). Decision forest: Twenty years of research. Information Fusion, 27, 111-123. Rosenblatt, F. (1962). Principles of neurodynamics: Perceptrons and the theory of brain mechanism (G. Palm y A. Aertsen, Eds.). Chicago, EE.UU.: Spartan Books. Salgado, P. (2005). Clustering and hierarchization of fuzzy systems. Soft Computing, 9(10), 715-731. Salgado, P. (2008). Rule generation for hierarchical collaborative fuzzy system. Applied Mathematical Modelling, Science Direct, 32(7), 1159-1178. Salimans, T. (2012). Variable selection and functional form uncertainty in crosscountry. Journal of Econometrics, 171, 267-280. Schoenell, W., Cid-Fernandes, R., Benítez, N., y Vale-Asari, N. (2013, Mayo). Recovering physical properties from narrow-band photometry. En J. C. Guirado, L. M. Lara, V. Quilis, y J. Gorgas (Eds.), Highlights of spanish astrophysics vii (pp. 405-410). Valencia, España. Serra, G., y Bottura, C. (2006). Multiobjective evolution based fuzzy pi controller design for nonlinear systems. Engineering Applications of Artificial Intelligence, 19(2), 157-167. Shapiro, A. (2005). Fuzzy regression models. Article of Penn State University. Shi, G. (2014). Decision trees (G. Shi, Ed.). San Diego, California, EE.UU.: Elsevier. Shimojima, K., Fukuda, T., y Hasegawa, Y. (1995). Self-tuning fuzzy modeling with adaptive membership function, rules, and hierarchical structure based on genetic algorithm. Fuzzy Sets and Systems, 71(3), 295-309. Shukla, P., y Tripathi, S. (2012). A review on the interpretability-accuracy trade-off in evolutionary multi-objective fuzzy systems (emofs). Information, 3, 256-277. Sivanandam, S., y Deepa, S. (2008). Springer Berlin Heidelberg. Smith, S. (1980). A learning system based on genetic algorithms. PhD Thesis, University of Pittsburg, Pittsburg. Srinivas, N., y Deb, K. (1995). Multiobjective function using nondominated sorting genetic algorithms. Evolutionary Computation, 2(3), 221-248. Stulp, F., y Sigaud, O. (2015). Many regression algorithms, one unified model: A review. Neural Networks, 69, 60-79. Sun, S. (2013). A review of deterministic approximate inference techniques for bayesian machine learning. Neural Computing and Applications, 23, 2039-2050. Takagi, T., y Sugeno, M. (1985). Fuzzy identification of systems and its application to modeling and control. IEEE Transactions on Systems, Man, and Cybernetics, 15, 116-132. Tan, F., Fu, X., Zhang, Y., y Bourgeois, A. (2008). A genetic algorithm-based method for feature subset selection. Soft Computing, 12, 111-120. Taniguchi, T., Tanaka, K., Ohtake, H., y Wang, H. (2001). Model construction, rule reduction, and robust compensation for generalized form of takagi-sugeno fuzzy systems. IEEE Transactions on Fuzzy Systems, 9(4), 525-538. Thilagam, P., y Ananthanarayana, V. (2008). Extraction and optimization of fuzzy association rules using multi-objective genetic algorithm. Pattern Analysis and Applications, 11(2), 159-168. Thrift, P. (1991). Fuzzy logic synthesis with genetic algorithms. En 4th international conference on genetic algorithms (pp. 509-513). San Diego, California, EE.UU.: Morgan Kaufmann. Torra, V. (2002). A review of the construction of hierarchical fuzzy systems. International Journal of Intelligent Systems, 17(5), 531-543. Trillas, E., Valverde, L., Gupta, M. M., Kandel, A., Bandler, W., y Kiszka, J. B. (1985). One mode and implication in aproximate reasoning. En Approximate reasoning in expert systems. Amsterdam, Holanda: North-Holland. Trillas, E., Valverde, L., Kracpryzk, J., y Yager, R. (1985). On implications and indistinguishability in the setting of fuzzy logic. En Managements decision support systems using fuzzy logic and possibility theory (pp. 198-212). Colonia, Alemania: Verlag TUV Rheinland. Uysal, I., y Altay-Güvenir, H. (1999). An overview of regression techniques for knowledge discovery. The Knowledge Engineering Review, 14(4), 319-340. Vehtari, A., y Lampinen, J. (1999). Bayesian neural networks for industrial applications. En J. Martikainen (Ed.), Proceedings of the 1999 ieee midnight-sun workshop on soft computing methods in industrial applications (pp. 63-68). Kuusamo, Finlandia: IEEE. Venturini, G. (1993). Sia: a supervised inductive algorithm with genetic search for learning attribute based concepts. En European conference on machine learning (pp. 280-296). Viena, Austria: Morgan Kaufmann. Wang, D., Zeng, X., y Keane, J. (2006). Learning for hierarchical fuzzy systems based on gradient-descent method. En Proceedings of ieee international conference on fuzzy systems (pp. 92-99). Wang, H., Zhou, L., y Ma, C. (2009). A brief review of machine learning and its application. En Proceedings of ieee international conference on information engineering and computer science (pp. 1-4). Wang, L. (1998). Universal approximation by hierarchical fuzzy systems. Fuzzy Sets and Systems, 93(2), 223-230. Wang, L. (1999). Analysis and design of hierarchical fuzzy systems. IEEE Transactions on Fuzzy Systems, 7(5), 617-624. Wang, L., y Mendel, J. (1992). Generating fuzzy rules by learning from examples. IEEE Transactions on Systems, Man, and Cybernetics, 22(6), 1414-1427. Wang, L. X. (1994). Adaptive fuzzy systems and control, design and stability analysis. Engleweed Cliffs, NJ, EE. UU.: Prentice Hall. Wang, R., Fleming, P., y Purshouse, R. (2014). General framework for localized multi-objective evolutionary algorithms. Information Sciences, 258, 29-53. Wang, S., F.L.Chung, Wang, J., y J.Wu. (2015). A fast learning method for feedforward neural networks. Neurocomputing, 149, 295-307. Weigend, A., y Gershenfeld, N. (Eds.). (1993). Time series prediction: forecasting the future and understanding the past. Santa Fe, Nuevo Méjico: 1992 NATO Advanced Research Workshop on Comparative Time Series Analysis, Addison-Wesley. Whitley, D. (1994). A genetic algorithm tutorial. Statistics and Computing, 4, 65-85. Wright, S. (1921). Correlation and causation. Journal of Agricultural Research, 20, 557-585. Xiong, N., y Funk, P. (2006). Construction of fuzzy knowledge bases incorporating feature selection. Soft Computing, 10, 796-804. Xiong, N., y Litz, L. (2000). Fuzzy modeling based on premise optimization. En Proceedings of the 9th ieee transactional conference on fuzzy systems (pp. 859-964). San Antonio, TX, EE.UU.: Springer Berlin Heidelberg. Yang, S., Guo, S., y Jie, L. (2005). A novel evolution strategy for multi-objective optimization problem. Applied Mathematics and Computation, 170, 850-873. Yao, X., y Liu, Y. (2014). Machine learning (E. K. Burke y G. Kendall, Eds.). Springer US. Yen, V. (1999). Rule selections in fuzzy expert systems. Expert Systems with Applications, 16, 79-84. York, D., Adelman, J., Jr., J. A., Anderson, S., Annis, J., y otros. (2000). The sloan digital sky survey: Technical summary. The Astronomical Journal, 120, 1579-1587. Zadeh, L. (1965). Fuzzy sets. Information and Control, 8, 338¿353. Zadeh, L. A. (1973). Outline of a new approach to the analysis of complex systems and decision processes. IEEE Transactions on Systems, Man, and Cybernetics, 1, 28-44. Zadeh, L. A. (1975). The concept of a linguistic variable and its application to approximate reasoning. Partes I, II y III Information Science, 8, 8, 9, 199¿249, 301¿357, 43-80. Zajaczkowski, J., y Verma, B. (2012). Selection and impact of different topologies in multi-layered hierarchical fuzzy systems. Applied Intelligence, 36(3), 564-584. Zeng, X., Goulermas, J., Liatsis, P., Wang, D., y Keane, J. (2008). Hierarchical fuzzy systems for function approximation on discrete input spaces with application. IEEE Transactions on Fuzzy Systems, 16(5), 1197-1215. Zhang, X., Onieva, E., Perallos, A., Osaba, E., y Lee, V. (2014). Hierarchical fuzzy rule-based system optimized with genetic algorithms for short term traffic congestion prediction. Transportation Research. Part C., 43(1), 127-142. doi: http://dx.doi.org/10.1016/j.trc.2014.02.013 Zhang, X., y Zhang, N. (2006). Universal approximation of binary-tree hierarchical fuzzy system with typical flus. Lecture Notes in Computer Science, 4114, 177-182. Zhang, Y., Li, Y., Sun, J., y Ji, J. (2015). Estimates on compressed neural networks regression. Neural Networks, 63, 10-17. Zheng, Y., y Lei, D. (2008). New progresses and prospect of multi-objective evolutionary algorithm. En International conference on machine learning and cybernetics (pp. 962-968). Kunming, China: IEEE. Zitzler, E., Laumanns, M., y Thiele, L. (2001). Spea2: Improving the strength pareto evolutionary algorithm. En K. Giannakoglou (Ed.), (pp. 12-21). Atenas, Grecia. Zitzler, E., y Thiele, L. (1998). An evolutionary algorithm for multiobjective optimization: The strength pareto approach (Inf. Téc. No. 43). Swiss Federal Institute of Technology, TIK-Report.