Tesis:
Methodology for the integration of high-throughput data and image acquisition systems in EPICS
- Autor: ESQUEMBRI MARTÍNEZ, Sergio
- Título: Methodology for the integration of high-throughput data and image acquisition systems in EPICS
- Fecha: 2017
- Materia: Sin materia definida
- Escuela: E.T.S.I. Y SISTEMAS DE TELECOMUNICACIÓN
- Departamentos: INGENIERIA TELEMATICA Y ELECTRONICA
- Acceso electrónico: http://oa.upm.es/48304/
- Director/a 1º: BARRERA LÓPEZ DE TURISO, Eduardo
- Director/a 2º: RUIZ GONZÁLEZ, Mariano
- Resumen: Los sistemas de adquisición y procesamiento de datos son fundamentales hoy en día. El fundamento de un sistema de adquisición es tomar muestras del mundo real de manera que puedan ser procesadas para obtener información. Estos sistemas están presentes en muchas escalas, desde los sistemas más pequeños, como los utilizados en la tecnología portable (smartphones, tablets,…), hasta grandes sistemas basados en buses industriales que adquieren y procesan gigabytes de información por segundo. Un caso especial de estos sistemas son los utilizados en grandes experimentos físicos. La naturaleza o propósito de estos experimentos varía enormemente de unos a otros, pero todos tienen en común la necesidad de extraer la mayor cantidad de información posible del fenómeno bajo estudio, y con la mayor precisión que se pueda alcanzar. Esto da lugar a gran volumen de datos generados que deben ser procesados y almacenados. Además algunos de los datos adquiridos o resultado de procesar los mismos son requeridos para operar el experimento, por lo que deben ser calculados en tiempo real y con la menor latencia posible. Como requisito adicional, estos sistemas necesitan garantizar su disponibilidad y fiabilidad para poder operar correctamente la máquina. Estas características se hacen críticas para ciertos sistemas, como los encargados de los sistemas de seguridad y control del experimento. Otra característica común en los experimentos físicos es que siguen un modelo de adquisición y control (SCADA) distribuido. La envergadura de estos experimentos hace necesario el uso de estos modelos que permiten separar la funcionalidad de los distintos sistemas mientras que la comunicación entre los mismos permite coordinar y sincronizar las acciones de cada uno de ellos. En esta tesis doctoral se propone un modelo genérico como solución de referencia para los sistemas de adquisición y procesamiento de datos en grandes experimentos físicos, con enfoque especial en dispositivos de fusión nuclear por confinamiento magnético. El modelo diseñado intenta satisfacer los requisitos comunes de este tipo de sistemas utilizando tecnologías que se encuentran actualmente en uso en diferentes instalaciones, como dispositivos basados en hardware de lógica configurable del tipo FPGA, dispositivos de procesamiento de gráficos (GPUs), unidades de procesamiento central (CPUs), y arquitecturas basadas en una versión industrial del bus PCIe conocida como PXIe. Como sistema SCADA para la integración del sistema de adquisición se ha elegido EPICS, por ser uno de los sistemas de control distribuido más usados en grandes experimentos físicos. No obstante, el uso de estas tecnologías no está exenta de problemas. Integrar los sistemas en EPICS requiere el desarrollo de una aplicación intermedia que actúe de interfaz entre los dispositivos usados y EPICS. En el caso del uso de FPGAs el desarrollo de esta aplicación se dificulta, debido a que en la FPGA se pueden implementar un gran número de soluciones distintas, y el desarrollo de una aplicación distinta para cada solución dificultaría mucho la mantenibilidad del experimento. También es necesario tener en cuenta que la aplicación debe integrar dispositivos muy dispares, como FPGAs, GPUs y CPUs, de manera que contribuyan de manera conjunta al procesamiento de los datos. Por otro lado, debido a los distintos usos que pueden tener estos sistemas, es necesario que los mismos se puedan personalizar de manera fácil permitiendo la inclusión de nuevas funcionalidades, como procesamiento de datos específico o mecanismos de control integrados en la plataforma de adquisición. Por todo esto, esta tesis se centra en el desarrollo de una metodología para la implementación de sistemas de adquisición y procesamiento de datos de alto rendimiento y su integración en EPICS. La metodología toma como sistema objetivo el modelo propuesto anteriormente, y trata de ofrecer solución los problemas de la arquitectura y facilitar la tarea de implementar estos sistemas. Esta metodología se basa en el uso de unas herramientas software que han sido específicamente diseñadas para la misma y que han sido puestas a disposición de la comunidad científica bajo licencia de software libre. Teniendo en cuenta lo anterior, los puntos abordados en esta tesis doctoral son los siguientes: • Estudio de los requisitos de los sistemas de adquisición y procesamiento de datos en el contexto de los grandes experimentos físicos como ejemplo de aplicaciones que requieren gran rendimiento. • Análisis de la arquitectura hardware y software de un sistema de adquisición de datos basado en las tecnologías citadas anteriormente. • Definición y especificación de la metodología y el ciclo de desarrollo establecido por la misma para la implementación de los sistemas y su integración en EPICS. • Explicación de los productos desarrollados para soportar la metodología y facilitar el uso de las diferentes tecnologías que componen el sistema. • La evaluación y validación de la metodología propuesta, incluyendo casos de uso en los que actualmente se está utilizando la metodología desarrollada. ----------ABSTRACT---------- Data acquisition and processing systems are essential parts of today’s world. The purpose of this systems is to take measurements from real world characteristics in such a way that they can be processed to obtain information. The scale of these systems varies enormously from the smallest examples found in portable and wearable technology (such as smartphones and tablets) to big systems based on industrial communication buses that acquire and process several gigabytes of information per second. Special cases of these systems are those used in big physics experiments. The nature and purpose of these experiments change considerably from one to another, but all of them need to extract as much information as possible and with the utmost precision from the physic phenomena under study. This leads to a large amount of data to be processed and archived. Moreover, some of the acquired or processed data may be needed for the control of the experiments, so it is necessary to calculate them in real-time and with the lowest possible latency. Additionally, the reliability and availability of these systems must be guaranteed for the correct operation of the experiments, especially for the control and safety systems of the experiment. Another common characteristic in big physics experiments is their organization as a Supervisory Control And Data Acquisition (SCADA) system. The size and complexity of these experiments make necessary the use of these systems that allow dividing the functionality among the different systems while they are communicated for the coordination and synchronization of the actions taken by each one of them. This doctoral dissertation proposes a generic model as reference for the real-time data acquisition and processing solutions in big physics experiments, especially for those used in magnetic confinement fusion experiments. The proposed model tries to address the common requirements for this kind of systems. The model is designed using the technologies present in current experiments, as reconfigurable logic devices based on Field Programmable Gate Arrays (FPGAs), Graphics Processing Units (GPUs), Central Processing Units (CPUs), and architectures based on the industrial version of Peripheral Component Interconnect Express (PCIe) known as PCI eXtensions for Instrumentation Express (PXIe). The SCADA system used for the integration of the data acquisition systems is the Experimental Physics and Industrial Control System (EPICS), chosen for being one most used distributed control system in big physics experiments. However, there are some problems derived from the use of these technologies. The integration of the systems in EPICS requires the development of an intermediate application that interfaces between the hardware devices and EPICS. In the case of systems involving FPGA-based devices, the development of these applications becomes more challenging. This is because FPGAs devices can be configured in many different ways, and the development of one application for each possible configuration will increase the maintainability cost of the experiment. It is also necessary to consider that the application must integrate together devices very different from each other, as FPGAs, GPUs, and CPUs, and this must be done in such a way that they can work in collaboration for the data process. However, also important is that the systems developed are easily customizable, as they will be used for playing very different roles in the experiment, and it will be necessary to add custom functionalities, as specific data process or control actions taken by the acquisition device. In response to the problems described, this thesis is focused on the development of a methodology for the implementation of high throughput data acquisition and processing systems and its integration in EPICS. The methodology takes the proposed model system as a reference, and it tries to address the issues that the architecture presents pursuing to ease the implementation of these systems. The proposed methodology is based on the use of a set of software tools specifically designed for this purpose. The developed tools are publicly available and at the disposal of the scientific community under an open software license. Given the above, the main topics of this thesis are the following: • Study of data acquisition and processing systems requirements for big physics experiments as an example of an application where a high throughput is required. • Analysis of the hardware and software architecture of a data acquisition and processing system based on the technologies mentioned previously. • Definition and specification of the methodology and the related development cycle for the implementation of those systems and their integration in EPICS. • Description of the products developed in support of the methodology and for easing the use of the different technologies involved in the system. • Evaluation and validation of the proposed methodology, including actual use cases where the methodology is being applied.