New developments in evolutionary image registration for complex 3D scenarios

Laburpena

It can be argued that image registration is a ubiquitous computer vision task, playing a crucial role in a wide variety of problems from industrial to clinical applications. In essence, the registration task involves the search for a correspondence between images acquired under different circumstances. Relating the information of different sets of imaging data is essential for the application of other subsequent image analysis or computer vision tasks involving its integration, comparison, or manipulation. Along with the latest developments of three-dimensional imaging technology, image registration techniques have considerably evolved to a point where efficiency, versatility, robustness, and real-time performance are feasible goals. Nevertheless, these criteria are only fulfilled in ideal conditions or controlled scenarios. In fact, the intensive computational requirements and the unavoidable imprecision present in real world applications prevent a successful accomplishment of the previous goals. Within the framework of this PhD thesis, the focus has been placed on identifying determinant factors leading to complexity from the point of view of soft computing and artificial intelligence. Both fields provide a huge number of techniques that have thrived in solving complex optimization problems. The relevance of such techniques relies on their ability to endure imprecision while reaching reasonable solutions efficiently in evolving environments where noise, incomplete or ambiguous information is present. The main motivation is thus to exploit the latter advantages to address a multidisciplinary IR problem handling the implicit complexity of recent and significant applications. Recently, different metaheuristic approaches, such as evolutionary computation and swarm intelligence methods belonging to a family of nature-inspired algorithms, have awakened a growing interest of the research community due to their promising capabilities to efficiently handle complex environments. Several adverse conditions affect the performance and effectiveness of image registration techniques. In this contribution, different factors have been identified and assessed in order to overcome the difficulties of three distinct applications. In particular, we have addressed a 3D reconstruction problem involving time-of-flight range images. As a result of the low quality and resolution provided by these novel devices, we designed an image preprocessing pipeline to improve their quality along with a novel swarm intelligence registration method to face this challenging problem. Moreover, the proposed nature-inspired method has been extended to face a 3D medical problem involving the alignment of 3D brain magnetic resonance scans. Finally, soft computing techniques have also been applied to address a forensic identification problem. Precisely, we designed a craniofacial superimposition method involving the articulation of the mandible. This problem is solved by applying a skull-face overlay technique, based on the 3D/2D registration of the articulated skull and the photograph of a missing individual. El desarrollo de las tecnologías digitales en 3D ha desembocado en notables avances en diferentes áreas como la robótica, medicina, astrofotografía, o las industrias automovilística y del entretenimiento. Impulsados por estos avances, áreas de investigación como el análisis de imágenes o la visión por computador han cobrado una gran relevancia dada la necesidad de representar el mundo que nos rodea en tres dimensiones y analizar su contenido. En concreto, el registrado de imágenes es una tarea indispensable en visión por computador, a medio camino entre las técnicas de procesamiento y de análisis de imágenes, con un claro propósito: extraer información relevante de imágenes digitales. El registrado de imágenes consiste en la búsqueda de una transformación óptima entre dos o más imágenes provenientes de orígenes diferentes. El objetivo consiste en establecer un sistema de coordenadas común que dé lugar a una correspondencia espacial entre las imágenes en cuestión. Para ello, la búsqueda de la transformación óptima se formula como un problema de optimización. Junto con el desarrollo de las tecnologías 3D, las técnicas de registrado de imágenes también han evolucionado haciendo posible encontrar métodos versátiles, eficientes, robustos y capaces de operar en tiempo real. Sin embargo, estos criterios únicamente se cumplen en condiciones ideales o escenarios controlados. De hecho, la imprecisión asociada a cada contexto particular y los exigentes requisitos computacionales de la gran mayoría de aplicaciones reales hacen imposible el diseño de métodos de registrado universales. La principal motivación de esta tesis doctoral reside en la identificación de diferentes factores limitantes en aplicaciones reales de registrado, así como en el diseño de técnicas novedosas que permitan superar estas dificultades. En esta tesis doctoral se presentan dos contribuciones principales, adoptando los últimos avances en campos como soft computing y visión por computador. La primera propuesta está relacionada con el empleo de un método de inteligencia de enjambres, basado en la búsqueda de nutrientes por parte de bacterias, para abordar la complejidad existente en dos problemas de registrado de imágenes diferentes. En primer lugar, hemos realizado un estudio para evaluar la viabilidad de las cámaras de tiempo de vuelo en un problema de reconstrucción de objetos en 3D. Debido a la complejidad inducida por la baja calidad de las imágenes adquiridas mediante este tipo de dispositivos, se ha desarrollado un método de mejora de calidad para imágenes de rango. Además, se han introducido una serie de modificaciones en el diseño original del algoritmo basado en bacterias y adaptado al problema de reconstrucción 3D siguiendo un enfoque por pares que permite alinear vistas adyacentes de los objetos. A continuación, se ha planteado analizar las posibilidades de nuestra propuesta bio-inspirada en una aplicación complementaria, el registrado de imágenes médicas en 3D. En concreto, hemos considerado un problema exigente que implica la alineación de imágenes cerebrales adquiridas mediante técnicas de resonancia magnética. La complejidad de este problema está localizada en la gran cantidad de información existente en dichas imágenes, que además contienen lesiones y diferentes niveles de ruido. Para abordar este problema, hemos seguido un enfoque basado en características que permite reducir la dimensionalidad del problema, explotando la información de curvatura contenida en los pliegues de la superficie cerebral. Se han llevado a cabo dos estudios experimentales para evaluar la idoneidad de las diferentes variantes propuestas, analizando el problema de reconstrucción 3D y de registrado de imágenes médicas. A partir de los resultados obtenidos, consideramos que un gran número de las variantes propuestas son capaces de mejorar considerablemente el diseño original del algoritmo de alimentación de bacterias. Aunque en algunos escenarios médicos nuestras variantes no han sido capaces de mejorar nítidamente los resultados del estado del arte actual, las alternativas de diseño y la alta modularidad del algoritmo considerado justifican su consideración como un método de registrado estable y aplicable a aplicaciones reales de gran complejidad. La segunda contribución de esta tesis doctoral está relacionada con la complejidad existente en un problema concreto de registrado 3D/2D, la superposición craneofacial. En anteriores contribuciones se identificaron una serie de fuentes de imprecisión que afectan a la precisión de los métodos de superposición. En nuestra propuesta, hemos abordado una de estas fuentes con el objetivo de mejorar la robustez y fiabilidad de esta técnica de identificación. En concreto, hemos modelado e integrado la articulación mandibular en el diseño del método de superposición más reciente. La idoneidad de este nuevo método se ha evaluado mediante un diseño experimental minucioso. Para ello, hemos diseñado una base de datos de casos de superposición que nos permite realizar la evaluación del modelo de apertura mandibular de forma objetiva. Los resultados obtenidos han puesto de manifiesto que la integración del modelo de apertura mejora considerablemente la fiabilidad, la precisión y la versatilidad del actual método del estado del arte en superposición craneofacial. Esta mejora considerable facilita el uso de fotografías en las que el individuo aparece sonriendo o con diferentes expresiones faciales donde la boca aparece parcialmente abierta. Este tipo de fotografías son generalmente descartadas en escenarios de identificación reales, por lo que la disponibilidad de nuevas evidencias ante mortem es una consecuencia directa del método desarrollado en esta contribución. La fiabilidad de la técnica de identificación forense basada en superposición craneofacial está directamente relacionada con la cantidad de fotos analizadas para un mismo individuo. A modo de resumen, concluimos que los resultados obtenidos en las tres aplicaciones diferentes corroboran el cumplimiento de los objetivos propuestos para esta tesis doctoral. Los resultados de la investigación desarrollada en este trabajo se han reflejado en tres publicaciones científicas en revistas internacionales y un congreso internacional. Durante el desarrollo de esta disertación, se ha puesto de manifiesto la necesidad de considerar un enfoque polifacético a la hora de abordar problemas reales de aplicaciones interdisciplinares. No sólo es indispensable el desarrollo y la aplicación de métodos computacionales innovadores que permitan afrontar la complejidad de estos problemas, sino también considerar el amplio abanico de instrumentos y técnicas que proporcionan campos de investigación muy diversos: visión por computador, soft computing, inteligencia artificial, procesado de imágenes, análisis de imágenes, antropología forense, etc... Como trabajos futuros, creemos que el estudio de nuevos enfoques bio-inspirados en diferentes aplicaciones como el registrado de imágenes es beneficioso y conveniente para analizar el alcance de este tipo de métodos. Además, resultaría de gran interés analizar la evolución de la tecnología de adquisición de imágenes en 3D en los últimos años, ya que ha dado lugar a una gran variedad de dispositivos caracterizados por su precisión, velocidad y portabilidad. Por otro lado, los resultados de la integración del modelo mandibular en el método de superposición han sido notablemente satisfactorios tanto desde el punto de vista del proceso de optimización como de la calidad del solapamiento. Sin embargo, uno de los posibles trabajos futuros consistiría en analizar el impacto en la fiabilidad de la superposición de otro tipo de modelos articulares más complejos o realistas. Así mismo, planteamos el desarrollo de otro tipo de diseños innovadores que mejoren el proceso de optimización de la técnica de superposición.