Tesis:
Proceso de revisión sistemática de experimentos en ingeniería del software
- Autor: GRIMÁN PADUA, Anna
- Título: Proceso de revisión sistemática de experimentos en ingeniería del software
- Fecha: 2017
- Materia: Sin materia definida
- Escuela: E.T.S DE INGENIEROS INFORMÁTICOS
- Departamentos: LENGUAJES Y SISTEMAS INFORMATICOS E INGENIERIA DE SOFTWARE
- Acceso electrónico: http://oa.upm.es/48641/
- Director/a 1º: JURISTO JUZGADO, Natalia
- Director/a 2º: DIESTE TUBIO, Oscar
- Resumen: En el contexto profesional, la necesidad de tomar mejores decisiones obliga cada vez más a los líderes y gerentes a incorporar conocimiento que haya sido comprobado empíricamente, como una manera de reducir el grado de incertidumbre. Es así como los estudios empíricos han llegado a cumplir un rol importante en el proceso de toma de decisiones. Entre ellos, los experimentos controlados son el tipo de estudio más ampliamente aceptado en el contexto académico e industrial. En Ingeniería del Software (IS) la conducción de experimentos controlados comienza a tomar auge en la última década. Tales experimentos han buscado comprobar, de una manera mucho más rigurosa, las ventajas de ciertas tecnologías frente a otras; o la utilidad de una tecnología particular en una situación dada. A pesar de esto, no podemos afirmar aún que la Ingeniería de Software Experimental sea una disciplina madura. Por el contrario, existen serias debilidades en cuanto a la cantidad y calidad de los experimentos individuales que podemos localizar, así como restricciones para recuperar los mismos utilizando los medios electrónicos disponibles. Todo lo anterior nos presenta limitaciones cuando pretendemos tomar decisiones basadas en las evidencias obtenidas de los experimentos individuales. Una manera de aumentar la validez de tales evidencias es combinar los resultados individuales por medio de métodos cuantitativos o cualitativos. Es así como surgen los estudios secundarios, tales como las Revisiones Sistemáticas (RS), que combinan los resultados de los estudios primarios previamente conducidos. A pesar de que han sido propuestos lineamientos para la conducción de RS en la IS, éstos presentan debilidades y carencias, motivado por la fuerte influencia que han recibido de propuestas equivalentes que se encuentran en uso en otras disciplinas; sin considerar un conjunto de características que son particulares a la IS (p.e. una base experimental escasa y de calidad muy diversa). Esto lleva a que las RS en IS sean muy complejas y costosas. Frecuentemente, los revisores tienen que resolver de manera intuitiva dificultades de diferente naturaleza que impiden aprovechar la base de experimentos existentes. En otras ocasiones, los resultados que se obtienen no llegan a ser significativos, como consecuencia de un número muy pequeño de experimentos y sujetos. Finalmente, esto tiene un impacto negativo en la transferencia de razonamientos empíricamente comprobados a los tomadores de decisiones en el ámbito industrial. En esta investigación se propone un proceso de revisión de experimentos que define cinco fases y establece lineamientos y recomendaciones para cada una de ellas; considerando las características específicas de la IS. Este proceso de RS se caracteriza por: 1) maximizar la cantidad de la evidencia primaria utilizada; 2) facilitar la definición del objetivo de revisión en aquellos casos de alto grado de incertidumbre; 3) resolver los problemas derivados de la diversidad de terminología; 4) manejar la condición de heterogeneidad de los experimentos, facilitando las actividades de lectura, extracción de datos y síntesis; 5) uso de diversas técnicas de meta-análisis que permiten aprovechar estudios con limitaciones de disponibilidad de datos; 6) uso de una escala validada para la evaluación de la calidad de experimentos. Además, se prescriben actividades, tareas y artefactos de manera sistemática; permitiendo que el proceso propuesto sea repetible, gestionado y documentado; promoviendo así su efectividad. Finalmente, todo esto contribuye al aprovechamiento de la mayor y mejor evidencia disponible para la agregación y generación de nuevo conocimiento. ----------ABSTRACT---------- In the professional context, the need to make better decisions forces leaders and managers more and more to incorporate knowledge that has been empirically proven, as a way to reduce the degree of uncertainty. This is how empirical studies have come to play an important role in the decision-making process. Among them, controlled experiments are the most widely accepted type of study in the academic and industrial context. In Software Engineering (SE) the conduction of controlled experiments begins to take shape in the last decade. Such experiments have sought to verify, in a much more rigorous way, the advantages of certain technologies over others; or the utility of a particular technology in a given situation. In spite of this, we cannot yet claim that Experimental Software Engineering is a mature discipline. On the contrary, there are serious weaknesses in the quantity and quality of the individual experiments that we can locate, as well as restrictions to recover them using the available electronic means. All of the above presents limitations when we intend to make decisions based on the evidence obtained from the individual experiments. One way to increase the validity of such evidence is to combine individual results by quantitative or qualitative methods. This is how secondary studies arise, such as Systematic Reviews (SR) that combines the results of the previously conducted primary studies. Although there are guidelines that have been proposed for the conduction of SR in SE, they present weaknesses and deficiencies, motivated by the strong influence they have received from equivalent proposals that are in use in other disciplines; without considering a set of characteristics that are particular to SE (e.g. a scarce experimental base of very diverse quality). This leads to SR in SE to be very complex and expensive. Often, reviewers have to intuitively solve difficulties of different nature that prevent taking advantage of the existing base of experiments. At other times, the results obtained do not become significant, as a consequence of a very small number of experiments and subjects. Finally, this has a negative impact on the transfer of empirically proven reasoning to industrial decision makers. This research proposes a review process of experiments that defines five phases and establishes guidelines and recommendations for each one of them; considering the specific characteristics of SE. This SR process is characterized by: 1) maximizing the amount of primary evidence used; 2) facilitating the definition of the review objective in cases of high degree of uncertainty; 3) solving problems arising from the diversity of terminology; 4) to manage the heterogeneity condition of the experiments, facilitating the activities of reading, data extraction and synthesis; 5) use of various techniques of meta-analysis that allow to take advantage of studies with limitations of availability of data; and 6) use of a validated scale for the evaluation of the quality of experiments. In addition, activities, tasks and artifacts are systematically prescribed; allowing the proposed process to be repeatable, managed and documented; thus, promoting its effectiveness. Finally, all this contributes to the use of the greater and better available evidence for the aggregation and generation of new knowledge.