Tesis:
Evidencias de la existencia de errores estadísticos en experimentos de ingeniería del software : cuatro estudios empíricos
- Autor: REYES CHICANGO, Rolando Patricio
- Título: Evidencias de la existencia de errores estadísticos en experimentos de ingeniería del software : cuatro estudios empíricos
- Fecha: 2018
- Materia: Sin materia definida
- Escuela: E.T.S DE INGENIEROS INFORMÁTICOS
- Departamentos: LENGUAJES Y SISTEMAS INFORMATICOS E INGENIERIA DE SOFTWARE
- Acceso electrónico: http://oa.upm.es/50368/
- Director/a 1º: JURISTO JUZGADO, Natalia
- Director/a 2º: DIESTE TUBÍO, Óscar
- Resumen: Contexto: En 2005, J.P.A. Ioannidis advertía a los investigadores que muchos resultados experimentales, independientemente del campo científico, son probablemente falsos. Las razones son múltiples; algunas de ellas están relacionadas con errores estadísticos. Las disciplinas experimentalmente maduras (p. ej., Medicina y Psicología) monitorizan con frecuencia la calidad y rigor de sus investigaciones. Problema: En Ingeniería de Software (IS), con contadas excepciones, apenas se ha prestado atención a la existencia de errores estadísticos en sus trabajos experimentales. Una de las pocas excepciones es la reciente investigación de Jørgensen et al. Este trabajo demuestra la existencia de publication bias y research bias en IS. Ambos biases tienen una naturaleza esencialmente estadística. Aunque los autores relacionan dichos biases con la ausencia de poder estadístico de los experimentos, cabe preguntarse si también podrían deberse a la existencia de malas prácticas en IS. Objetivos: Explorar, identificar, analizar y evaluar los errores estadísticos en IS, con el fin de establecer sus causas y, a partir de las mismas, proponer mecanismos para evitarlos o, al menos, minimizar su impacto. Metodología: Hemos realizado una investigación basada en métodos mixtos: (1) revisiones sistemáticas para construir una tipología de errores y sus respectivas causas, (2) revisiones y encuestas para identificar la existencia de errores estadísticos experimentos de IS, y (3) entrevistas con experimentadores para establecer claramente las causas de los errores y alternativas de solución. Resultados: Nuestra investigación pone de manifiesto que las malas prácticas no son las causas principales de los errores estadísticos en IS. En su lugar, las causas más relevantes parecen ser: a) El insuficiente conocimiento, por parte de los investigadores, de la metodología experimental y técnicas estadísticas asociadas, así como b) el insuficiente conocimiento, también por parte de los investigadores, de los fenómenos que ocurren en nuestra disciplina, lo que lleva a la frecuente realización de investigaciones de carácter exploratorio. Conclusiones: Al menos en el actual estadio de evolución de la experimentación en IS, parece que los errores estadísticos se producen por un problema de inmadurez de la propia disciplina. En consecuencia, las alternativas de solución van en la dirección de atacar dicha inmadurez, proporcionando a los investigadores: a) Formación adecuada y b) guías claras de como realizar y analizar experimentos. ----------ABSTRACT---------- Context: In 2005, J.P.A. Ioannidis warned researchers that many experimental results are probably false, regardless of the scientific field. The reasons are multiple, but some of them are related to statistical errors. The quality and rigor of research in mature experimental disciplines (e.g.: Medicine, Psychology, etc.) are frequently monitored. Problem: With few exceptions, little attention has been paid to the presence of statistical errors in Experimental Software Engineering. One of these few exceptions is the recent research made by Jørgensen et al., which demonstrates the existence of bias in publications and research on Software Engineering (SE). These biases are essentially of statistical nature. Although Jørgensen et al. relate these biases with the absence of statistical power, it is worth asking whether biases in SE could be due to the existence of bad practices. Aim: The aim of the research is to explore, identify, analyze and evaluate statistical errors in experimental SE, in order to identify their causes, and propose mechanisms to avoid them or, at least, minimize their impact. Research Method: We conducted a research based on mixed methods: (1) systematic reviews to construct a typology of errors and their underlying causes, (2) surveys to identify the existence of statistical errors in SE experiments, and (3) interviews with experimenters to clearly establish the causes of the errors and alternatives for solution. Results: Our research shows that bad practices are not the main cause of statistical errors in experimental SE. Instead, the most relevant causes seem to be: a) researchers’ lack of knowledge about the experimental methodology and the associated statistical techniques, and b) researchers’ lack of knowledge about the phenomena that occur in experimental SE, which in turn lead to the conduction of exploratory research. Conclusions: It seems that statistical errors are produced by the immaturity of the experimental SE discipline itself, at least in the current stage of its evolution. Consequently, the alternatives for solution point in the direction to address such immaturity, providing researchers with: a) adequate training, and b) clear guidelines on how to perform and analyze experiments.