Tesis:
Design, characterisation and application of multimodal haptic interaction systems for the torso in virtual environments
- Autor: GARCÍA-VALLE, Gonzalo
- Título: Design, characterisation and application of multimodal haptic interaction systems for the torso in virtual environments
- Fecha: 2020
- Materia: Sin materia definida
- Escuela: E.T.S. DE INGENIEROS INDUSTRIALES
- Departamentos: AUTOMATICA, INGENIERIA ELECTRONICA E INFORMATICA INDUSTRIAL
- Acceso electrónico: http://oa.upm.es/66245/
- Director/a 1º: FERRE PÉREZ, Manuel
- Director/a 2º: SERRANO PEDRAZA, Ignacio
- Resumen: En cualquier situación cotidiana, el sentido del tacto es fundamental para interaccionar con todo aquello que nos rodea, pues proporciona diversa información del entorno y de los objetos, como la textura, el peso, el estado (sólido, viscoso) o la temperatura, que no se puede percibir a través del resto de sentidos. Actualmente, al simular una situación real en un entorno virtual, usualmente se emiten estímulos visuales y auditivos, que son los más sencillos de reproducir. Sin embargo, el sentido del tacto se mantiene infrautilizado, perdiendo toda esa información que podría contribuir a desarrollar una sensación completa de experimentar una situación real. En los últimos años, la inclusión de dispositivos hápticos en sistemas de realidad virtual se ha incrementado exponencialmente, pero centrándose en aquellas zonas del cuerpo que permiten interactuar de manera activa con el escenario virtual (por ejemplo, las manos), olvidando las zonas de cuerpo que pueden estimularse de manera pasiva, como el torso. En esta tesis, se presenta el diseño y el desarrollo de un chaleco háptico para el torso que incluye realimentación vibrotáctil, térmica y de impacto. Los actuadores vibrotáctiles son motores de masa excéntrica rotatoria, que proporcionan un amplio rango de vibraciones para crear patrones hápticos. En este caso, los motores se han caracterizado para optimizar su funcionamiento de acuerdo a las condiciones experimentales del chaleco háptico. Los actuadores térmicos son células Peltier, que permiten generar estímulos de frío y calor con un solo dispositivo. Por último, dada la escasez de sistemas que simulen impactos, se ha diseñado y desarrollado un nuevo actuador basado en un sistema mecánico que genere impactos fácilmente perceptibles. El último paso ha sido el diseño de los sistemas de control, tanto individuales para cada actuador, como general para controlar el chaleco háptico completo y comunicarse con los sistemas de realidad virtual. También es esencial el diseño textil del chaleco para colocar los actuadores de manera que el dispositivo final no sea pesado ni voluminoso, y para que los actuadores permanezcan siempre pegados a la piel del usuario para transmitir la información háptica de manera fiable. Tanto la distribución de actuadores en el chaleco como la creación de patrones que proporcionen información precisa a los usuarios deben basarse en variables psicofísicas de percepción sobre el torso, como la agudeza espacial vibrotáctil y térmica permite conocer la distancia que debe haber entre dos actuadores funcionando simultáneamente para que los usuarios perciban dos estímulos distintos. Distribuir los actuadores de acuerdo a esas distancias confiere más versatilidad al proceso creativo, y los patrones hápticos resultantes pueden crear una estimulación generalizada o secuencias que proporcionen información más concreta. Por otra parte, los umbrales perceptivos (absolutos y diferenciales) permiten saber cuáles son los límites para detectar vibraciones o estímulos térmicos, de manera que los patrones creados siempre sean perceptibles y transmitan la información de manera fiable. Una vez diseñado y desarrollado el chaleco, se ha validado para asegurar que la configuración es correcta y que la creación de patrones vibrotáctiles, térmicos y de impacto es fiable. La validación consistió en crear estímulos en todas las zonas del torso, que los usuarios debían identificar y detallar sus características. Como los resultados fueron satisfactorios, el chaleco háptico está preparado para integrarse en un sistema de realidad virtual. El siguiente paso fue realizar pruebas para comprobar si el chaleco se integra correctamente en sistemas de realidad virtual y si proporciona beneficios a los usuarios. En el primer experimento, el usuario tenía que interaccionar con un entorno virtual en el que se produce una explosión. Los resultados determinaron que el chaleco háptico mejora la inmersión en el entorno virtual y, por lo tanto, proporciona beneficios para finalizar las tareas encomendadas con más facilidad y seguridad. Además, el experimento también indicó que la percepción varía en función de la experiencia previa de los usuarios con sistemas similares. Los usuarios profesionales evaluaron de forma más crítica que aquellos usuarios que nunca habían utilizado sistemas de realidad virtual o dispositivos hápticos. La validación y el primer experimento mostraron acciones correctivas para mejorar el funcionamiento del chaleco háptico. En el siguiente experimento se utilizó el chaleco háptico optimizado integrado en un entorno virtual para potenciar las características estresantes o angustiosas, buscando potenciar las respuestas de los usuarios respecto a la inmersión y el sentido de presencia percibidos. En este caso, se añadieron evaluaciones objetivas (medidas fisiológicas u observación de las respuestas autónomas, entre otras) para reforzar los resultados subjetivos. No solo se mejoraba la percepción subjetiva respecto a la prueba anterior, sino que las medidas objetivas respaldaron firmemente las conclusiones sobre la influencia del chaleco háptico en cuando al incremento de la inmersión y la presencia en el entorno virtual, así como en la optimización del rendimiento de los usuarios para completar las tareas encomendadas. Finalmente, la colaboración con el Perceptual Robotics Laboratory (PERCRO) de la Scuola Superiore Sant’Anna - TeCIP Institute de Pisa, permitió avanzar hacia el desarrollo de dispositivos hápticos de cuerpo completo, integrando un dispositivo para la punta del dedo que permitía interactuar activamente con el mismo entorno virtual estresante. La integración conjunta de ambos elementos (el chaleco y el dispositivo manual) otorga mayor versatilidad para interaccionar con el escenario virtual, optimizando las sensaciones de los usuarios y el rendimiento para completar las tareas y cumplir los objetivos. Los resultados de este experimento ayudan a establecer las bases para la creación de dispositivos hápticos completos que consigan que un usuario perciba un entorno virtual a través de cualquier parte del cuerpo como si estuviera en una situación real. ----------ABSTRACT---------- The sense of touch is fundamental to interact with the surroundings in whichever daily situation since it provides diverse information of the environment and the objects, such as textures, weight, state (solid, viscous) or the temperature, that a human being cannot perceive through the rest of the senses. Currently, the simulation of a real situation in a virtual environment usually renders visual and auditory stimuli because they are simpler to create. However, the sense of touch remains underused, losing all that information that would contribute to develop the full sensation of being experiencing a real situation. During the last years, the inclusion of haptic devices in virtual reality systems have increased exponentially, but focusing on those areas of the body which allow an active interaction with the virtual scenario (e.g. the hands), forgetting those areas which can be passively stimulated (e.g. the torso or the legs). In this thesis, I designed and developed a haptic vest for the torso, which contains vibrotactile, thermal, and impact feedback. Vibrotactile actuators are eccentric rotating mass motors, which provide a broad range of vibrations intensity to create haptic patterns. In this case, the motors have been characterised to optimise their operation according to the experimental conditions of the haptic vest. The thermal actuators are Peltier cells, which allow the rendering of cold and hot stimuli with a single device. Lastly, I designed and developed a new actuator owing to the scarcity of systems for simulating impacts. The actuator is based on a mechanical system to render impacts readily perceptible. The last step was the design of the control systems for each actuator, and an overall control system to handle the entire haptic vest and communicate with virtual reality systems. It is also essential the textile design of the vest to place the actuators so that the definitive device is not heavy or bulky, and actuators remain always fully attached to the user’s skin for conveying the haptic information dependably. Both the distribution of actuators in the vest and the creation of haptic patterns which provide accurate information to users must be based on psychophysical variables of the perception over the torso, such as the vibrotactile and thermal spatial acuity afford to know the required distance between two actuators simultaneously operating so that users perceive two different stimuli. Distributing the actuators according to those distances confers more versatility to the creative procedure, and the ensuing haptic patterns can serve either to create a generalised stimulation or to develop haptic sequences to provide more specific information. Furthermore, the perceptual thresholds (absolute and differential) afford to know the limits to detect vibratory or thermal stimuli, in such a manner that created patterns are always perceptible, and they convey accurate information. It was necessary to validate the design and the development of the vest to ensure that the configuration is adequate, and the creation of vibrotactile, thermal, and impact patterns is reliable. The validation experiment consisted of creating stimuli all over the torso, which users had to identify and detail all their characteristics. As results were satisfactory, the haptic vest is ready for its integration into whichever virtual reality system. The next step was to conduct several tests to verify if the haptic vest is integrated appropriately into virtual reality systems and if it benefits the user’s experience. In the first experiment, the user had to interact with a virtual environment during a post-explosion scenario. Results determine that the haptic vest improves the subjective perception of the virtual environment (immersion and sense of presence) and, therefore, it provides benefits to end the entrusted tasks with more easiness and accuracy. Moreover, this experiment also denoted that the perception differs according to the previous expertise of users with similar systems. Professional users customarily assessed more critically than those users who had never employed virtual reality systems or haptic devices. The validation and the first experiment revealed corrective actions to enhance the operation of the haptic vest. The next experiment employed the optimised vest integrated into a stressful and distressing virtual environment, aiming to foster the user’s responses regarding the immersion and the sense of presence. Moreover, this experiment also employed objective measures (physiological constants or the observation of autonomous physical responses, among others) to reinforce the subjective results. Not only did the subjective perception improve regarding the previous experiment, but the objective measures firmly bolstered conclusions about the influence of the haptic vest for increasing the immersion and the sense of presence in the virtual environment, and optimising the performance to complete the entrusted tasks. Finally, the collaboration with the Perce Perceptual Robotics Laboratory (PERCRO) de la Scuola Superiore Sant’Anna - TeCIP Institute in Pisa afforded to move forward the development of full-body haptic devices, integrating a fingertip haptic device to interact actively with the same stressful virtual environment. The joint integration of both elements (i.e. the fingertip device and the haptic vest) gives more versatility to interact with a virtual scenario, optimising the user’s sensations during the experience and the performance to finish the tasks and fulfil the objectives. Results of this experiment support to set the foundation for creating full-body haptic devices so that users accomplish the perception of a virtual environment through whichever body part as if they were in a real situation.