Automation of the assessment of craniofacial superimposition using soft computing and computer vision

Laburpena

Within the forensic identification techniques, craniofacial superimposition is one of the most relevant skeleton-based approaches. It involves the process of overlaying a skull with one or more photographs of missing persons and the analysis of their morphological correspondence. This identification technique has a great application potentiality since nowadays the wide majority of the people have photographs (ante-mortem material) where their faces are clearly visible. The counterpart, the skull (post-mortem material), is a bone that hardly degrades with the effect of fire, humidity, high or low temperatures, time lapse, etc. Three consecutive stages for the whole CFS process have been distinguished: 1) Acquisition and processing of the materials, the skull (the 3D model in the latest techniques) and the ante-mortem facial photographs of the possible candidates; 2) Skull-face overlay, which focuses on achieving the best possible superimposition of the skull and a single ante-mortem image; 3) Decision making, where the degree of support that the skull and the face belong to the same person (positive identification) or not (exclusion) is determined. Soft computing and computer vision present certain characteristics that become it powerful tools to automate craniofacial superimposition, reducing the time taken by the expert and obtaining an unbiased overlay result. Previous works perform the skull-face overlay projecting the skull 3D model on the facial 2D image through a direct correspondence between cranial and facial landmarks using evolutionary algorithms and fuzzy sets. It also models the imprecision location of the facial landmarks in the photograph. This method has achieved promising results, however, the final decision of the third stage is made manually by the forensic anthropologist in view of the superimposition obtained in the previous step. The aim of this PhD dissertation is to extend the functionality of the current automatic CFS procedure in order to develop a more reliable and robust computer-aided system. Concerning the second stage of the process, we have accomplished an extension of the existing automatic methods to superimpose a skull 3D model on a facial photograph by modelling the facial soft tissue depth between corresponding pairs of cranial and facial landmarks. This information is available in several anthropometric studies but its imprecise nature has caused it not to be considered in automatic skull-face overlay methods yet. Besides, a deep study for applying the most appropriate metrics in order to obtain the best possible superimposition has been performed. In the third stage, we propose a complete framework for a decision support system, which takes into account all the sources of information and uncertainty involved in the process. This decision support system has been developed using computer vision techniques and fuzzy logic, and it has been evaluated and validated with real positive and negative cases obtaining really good performance. Dentro de la identificación forense, una de las principales técnicas basadas en el estudio de los restos óseos es la superposición cráneo-facial. En ella se superpone un cráneo encontrado, del que se desconoce la identidad, sobre una o más fotografías de personas desaparecidas y se comparan analizando sus correspondencias morfológicas. Este método de identificación ofrece un gran potencial de aplicación debido a que en la actualidad la gran mayoría de gente dispone de fotografías que muestran con claridad sus caras (material ante-mortem). Además, el cráneo (material post-mortem) es un hueso que se conserva en perfecto estado con el paso de los años y no se degrada fácilmente bajo los efectos de elementos como el fuego, la humedad, las temperaturas extremas, etc. En este proceso se distinguen tres etapa: 1) La adquisición y el procesado de los materiales, el cráneo (que en las técnicas más novedosas se escanea obteniendo un modelo 3D) y las fotografías faciales ante-mortem de los posibles candidatos; 2) El proceso de solapamiento cráneo-cara, consistente en obtener la mejor superposición posible entre el cráneo y la cara de una fotografía concreta; 3) La toma de decisiones, en la cual se estudia la correspondencia morfológica y anatómica cráneo-cara con el objetivo de determinar si ambos pertenecen a la misma persona o no. La técnica de superposición cráneo-facial presenta dos limitaciones principales que impiden que pueda ser considerada como un método de identificación fiable. Por un lado, la ausencia de una metodología común aceptada mundialmente. En este sentido, los expertos suelen aplicar sus propias técnicas basándose en sus conocimientos anatómicos del cuerpo humano, en el estudio de distancias del tejido blando entre el cráneo y la cara, y en las tecnologías disponibles. Por otro lado, la superposición cráneo-facial suele llevarse a cabo de forma subjetiva, por lo que las diferentes fuentes de incertidumbre asociadas al proceso no son consideradas apropiadamente, lo que lo convierte en un proceso largo de prueba y error. El soft computing y la visión por computador presentan ciertas características que los convierten en potentes herramientas para automatizar la superposición cráneo-facial, reduciendo drásticamente el tiempo que emplearía un experto forense en aplicar la técnica de forma manual. En trabajos anteriores se lleva a cabo el solapamiento cráneo-cara mediante la proyección del modelo 3D sobre la imagen 2D utilizando algoritmos evolutivos y conjuntos difusos para lograr la correspondencia directa entre landmarks faciales y craneales, modelando también la localización imprecisa de landmarks faciales en la fotografía. Este enfoque presenta una buena aproximación al problema, sin embargo, el algoritmo minimiza erróneamente la distancia entre los correspondientes landmarks, ya que no considera la distancia del tejido blanco existente entre el cráneo y la cara. Además, la tercera etapa sigue realizándose de forma manual por el antropólogo forense, quien toma la decisión final sobre la identificación a partir de las superposiciones obtenidas en el paso anterior. En la presente tesis se extiende la funcionalidad del método existente de superposición cráneo-facial, desarrollando un procedimiento guiado por computador, más fiable, robusto y completo. Para llevar a cabo este objetivo se ha hecho uso de técnicas de soft computing, visión por computador y estudios anatómicos forenses. Por un lado, para la segunda etapa del proceso de superposición cráneo-facial, se ha diseñado un nuevo método automático de solapamiento que incorpora los estudios disponibles de las distancias de tejido blando entre los landmarks faciales y craneales mediante algoritmos evolutivos y lógica borrosa. De esta forma, se consiguen resultados mucho mejores que los obtenidos con las técnicas anteriores. También se ha llevado a cabo un estudio en profundidad de las métricas más adecuadas para este método con el objetivo de obtener las mejores superposiciones posibles. Por otro lado, en cuanto a la tercera etapa, se ha propuesto un marco de trabajo jerárquico de ayuda al forense mediante el cual se integra toda la información disponible en la toma de decisiones. La automatización de este proceso se basa en el uso de distintos criterios anatómicos del cráneo y la cara combinados a diferentes niveles mediante funciones de agregación. Por primera vez, se presenta un sistema completo que proporciona como resultado un grado de correspondencia cráneo-facial. Además, se ha validado el sistema como herramienta automática de identificación analizando sus capacidades en casos abiertos y cerrados y comparando su funcionamiento con el de expertos forenses, obteniendo muy buenos resultados. El sistema propuesto ha demostrado ser válido para filtrar listas de posibles candidatos (el 62,5% de los casos positivos se asignaron a la primera posición) así como para ser usado como método de exclusión (97,4% y el 83.03% de verdaderos negativos en los datos en entrenamiento y test, respectivamente). En general, los resultados obtenidos demuestran que hemos alcanzado el objetivo principal de la tesis. También se han alcanzado los distintos sub-objetivos definidos al inicio de la misma. El éxito del trabajo realizado se refleja en cuatro publicaciones en revistas científicas, otro artículo recientemente enviado y varias contribuciones en congresos. Además, han sido publicados otros dos artículos gracias a la participación en el proyecto MEPROCS. Aun así, la superposición cráneo-facial todavía no puede considerarse una técnica de identificación sólida. Aunque lleva aplicándose y desarrollándose durante más de un siglo, su fiabilidad no está todavía clara. Por un lado, resultaría esencial trabajar con conjuntos de datos con un mayor número de casos para poder reforzar las conclusiones de nuestro sistema. Aumentar el tamaño de los conjuntos de datos utilizados presentaría muchas posibilidades para generalizar el proceso y aumentaría la probabilidad de producir resultados consistentes, precisos y reproducibles. Por otro lado, sería necesario un sistema automático más objetivo y fiable que considere más información de diferentes fuentes. En este trabajo, aún se ignoran varios tipos de fuentes de incertidumbre y de grados de confianza, como la calidad de las superposiciones obtenidas en la segunda fase, las delimitaciones de las regiones 3D y 2D y el número de regiones evaluadas. A pesar de que se han tenido en cuenta hasta nueve regiones, algunos estudios sugieren la importancia de evaluar aún más y en algunos trabajos se usan más de 13 criterios para tomar la decisión de identificación final. La calidad de las superposiciones influye significativamente en el funcionamiento de nuestro sistema de ayuda a la decisión. Por esta razón, los trabajos futuros van encaminados a mejorar esta calidad mediante una nueva parametrización de la cámara y un diseño innovador de los algoritmos de optimización en la fase del solapamiento cráneo-cara. En este aspecto, también es crucial el modelado de la articulación de la mandíbula con el objetivo de mejorar las superposiciones obtenidas con nuestro algoritmo. Además, el desarrollo de nuevos estudios de los tejidos blandos entre cráneo y la cara que incluyan la dirección espacial y una métrica estadística robusta, podrían incrementar la funcionalidad del método. Por último, se podría realizar una selección de características para mejorar la clasificación de nuestro sistema. Esta selección podría aplicarse diferenciando grupos de edad, género, etnia o incluso poses frontales, laterales y oblicuas de los casos.