Agentes animados personificados en sistemas interactivosdiseño y evaluación

Resumen

La proliferación de sistemas de interacción hombre-máquina con capacidades cada vez más parecidas a los humanos, ha generado una gran variedad de enfoques y estrategias en la incorporación de la tecnología de los Agentes Animados Personificados en los sistemas interactivos. Esta Tesis aborda esta problemática desde el punto de vista del diseño y la evaluación en dos áreas de aplicación muy específicas: los sistemas de diálogo hablado (SLDSs) orientados a tarea y las aplicaciones educativas destinadas a niños con parálisis cerebral. En el primer dominio de aplicación se analiza cómo puede ayudar un Agente Animado Personificado a mejorar la robustez de un SLDS. Para ello se estudia la problemática de robustez de los SLDS y se diseñan estrategias para la gestión de errores añadiendo información no verbal al sistema por medio de un Agente Animado Personificado. Se plantea una evaluación tradicional del sistema de diálogo desde un punto de vista centrado en el usuario, basada en estándares de la ITU, a la que se han añadido aspectos específicos de los Agentes Animados Personificados que han dado lugar a un estudio exhaustivo de la influencia de esta tecnología en el diálogo. Del estudio comparativo de la experiencia del usuario sobre un prototipo funcional con un Agente Animado Personificado en el interfaz y otro sin él, se concluye que esta tecnología estaría ayudando a mejorar la robustez del sistema en relación a ciertos aspectos de la interacción del usuario con el sistema. Sin embargo esta mejoría no se ve reflejada en la percepción subjetiva y la aceptación del sistema por parte del usuario, debido, probablemente, al compromiso entre las expectativas que estaría generando ésta tecnología y el funcionamiento real del sistema de diálogo. En el segundo dominio de aplicación se estudia el papel de los Agentes Animados Per¬sonificados en la Educación Especial. Se analizan las capacidades de esta tecnología tales como la mejora de la confianza en la interacción, el uso de diferentes roles o el empleo de comunicación no verbal, y se crean aplicaciones que, aportando estas capacidades, sirvan como herramientas de apoyo a la Educación Especial. El diseño y la evaluación en este área se lleva a cabo en un entorno de uso real, mediante una enriquecedora experiencia de trabajo colaborativo en la que participan niños con discapacidad física y psíquica severa, y profesores del Colegio Público de Educación Especial Infanta Elena de Madrid. En el proceso de creación de nuevas aplicaciones se va más allá de los planteamientos tradicio¬nales de diseño y evaluación centrados en el usuario, y se emplean técnicas de codiseño en la que tanto niños como profesores adquieren un papel activo. De esta experiencia se crean dos aplicaciones: Emo y Animaddin. Con ellas se muestra el éxito de la tecnología de los Agentes Animados Personificados como complemento motivador para incitar e involucrar a los niños en la interacción, como patrón gestual de imitación para expresar emociones, y como refuerzo para afianzar el aprendizaje. Por otra parte se observa la necesidad de re-visión continua del comportamiento y la apariencia del Agente Animado Personificado en este tipo de aplicaciones para mantener el interés de los niños, y destaca la importancia de dotar de flexibilidad y accesibilidad al diseño de aplicaciones que incorporen la tecnología de los Agentes Animados Personificados para promover su uso entre el personal docente. In recent years, there has been a proliferation of human-computer interactive systems with abilities that seek to be similar to those of human. As part of these developments, a great variety of approaches and strategies are being proposed for incorporating Embodied Conversational Agents (ECAs) into interactive systems. Following a design and evaluation approach this Thesis analyses a full scope of aspects, from benefits to difficulties and limi¬tations, relevant to the inclusion of ECAs in two specific application areas: task-oriented spoken language dialogue systems (SLDSs) and educational applications for children with cerebral palsy. Regarding the first application domain, a discussion is presented on how an ECA could help to improve robustness in a SLDS. First, problematic situations related to robustness are studied, and various strategies are designed with the object of managing these error-prone situations by adding nonverbal information to the interface, through an Embodied Conversational Agent. Secondly, a user-centered evaluation of the dialogue system is presented, based on International Telecommunication Union (ITU) standards, to which specific parameters related to ECAs have been added. A comprehensive study of the influence of this technology on the dialogue is presented, including a comparative evaluation using a functional prototype with vs. without an ECA in its interface, centred on the user experience. As a result of this evaluation it is concluded that this technology can help to improve dialogue system robustness in relation to specific aspects of the system-user interaction. The observed improvements, however, did not noticeably affect the users’ perceptions and their acceptance of the system. It is suggested that the reason for this discrepancy may be that ECA technology generates higher expectations in users, which are then at odds with the actual performance of the dialogue system. The role of Embodied Conversational Agents in the second application domain, Special Education, is then studied, paying attention to salient aspects such as the improvement of the children’s confidence during the interaction, the different roles that an ECA might adopt, and the nonverbal communication abilities that can be trained. Therefore, based on this analysis, new applications are created as a complement for traditional methods of learning in Special Education. The design and evaluation process was developed in a real environment of use, providing an enriching experience of collaborative work, with children with both severe physical and psychical disabilities and teachers from Special Education School Infanta Elena in Madrid. During the application creation process we intended to go one step further with respect to traditional approaches in user-centered design and evaluation, by employing co-design techniques. Co-design enables both children and tea¬chers to play an active role in the creation of new applications. Two applications have been created following this approach: Emo and Animaddin. The use of both applications shows the success of Embodied Conversational Agent technology to motivate, encourage and involve children in the interaction during the learning process. ECAs are also useful to children as they exhibit gestures that express emotions which can be imitated, and they are also valuable as a reinforcement tool to consolidate the learnt concepts. However, it has been observed that in order to maintain the children’s interest, the ECA’s behavior and appearance has to be continually updated. Furthermore, it is very important to pro¬vide flexibility to, and ensure the accessibility of, the application that incorporates ECA technology, to encourage the educational community to embrace it.