|
Abstract:
|
The use of objective tests in Technology Enhanced Learning (TEL) isbased on the application of computers to support automatic assessment.Current research in this domain is mainly focused on the design of newquestion-items, being IMS Question and Test Interoperability (QTI) therecognized de-facto standard. This thesis claims that the domain can beextended with the design of advanced test-scenarios that integrate newinteractive contexts for the visualization of question-items and tests, andthat consider different types of devices and technologies that enablediverse activity settings. In this context, the dissertation proposes to termthe domain as Computing-Based Testing (CBT) instead of Computer-Based Testing because it captures better the new technological supportpossibilities for testing. Advanced CBT scenarios can increase teachers’choices in the design of more appropriate tests for their subject areas,enabling the assessment of higher-order skills.With the aim of modelling an advanced CBT domain that extends thecurrent possibilities of QTI and related work, this thesis provides a set ofcontributions around three objectives. The first objective deals withproposing a Conceptual Model for the CBT domain considering threemain dimensions: the Question-item, the Test and the Activity. To tacklethis objective, the thesis presents, on the one hand, a framework to assistin the categorization and design of advanced CBT scenarios and, on theother hand, two models that suggest elements for technologicallyrepresenting the Test and Question-item dimensions. The models areplatform-independent models (PIM) that extend QTI in order to supportadvanced CBT. Besides, the use of patterns is proposed to complementthe modelling of the domain. The second objective seeks to show therelevance, value and applicability of the CBT Conceptual Model throughexemplary challenging scenarios and case studies in authentic settings. Tothis end, the dissertation evaluates the design and implementation of a setof CBT systems and experiments. All the experiments use the proposedCBT Conceptual Model for designing an advanced CBT scenario. Foreach case the CBT-PIMs serve as the basis for developing a particularCBT-PSM and system. The evaluation results show that theimplementations foster educational benefits, enable the assessment ofhigher-order skills and enhance the students’ motivation. Finally, the thirdobjective is devoted to propose extension paths for QTI. The collection ofmodels proposed in the thesis suggests different extension directions forQTI so as to enable the implementation of advanced questions, tests andactivities. The proposed systems and scenarios also represent referenceimplementation and good practices of the proposed extension paths.
El uso de test de corrección automática, en el Aprendizaje Apoyado porTecnologías de la Información y las Comunicaciones, se basa en el uso deordenadores. Las propuestas actuales se centran en el diseño de nuevaspreguntas, siendo IMS Question and Test Interoperability (QTI) elestándar de-facto. La tesis propone que este dominio puede ser extendidocon el diseño de escenarios de test avanzados que integren nuevoscontextos de interacción para la visualización de preguntas y tests, y queconsideren la aplicación de diversos dispositivos tecnológicos parapermitir diversos tipos de actividades. En este contexto se propone usar eltérmino inglés Computing-Based Testing (CBT) para referirse al dominio,en vez de usar el término Computer-Based Testing, enfatizando el papelde la tecnología para la evaluación basada en test. Los escenarios CBTavanzados pueden aumentar la posibilidad de que los profesores puedandiseñar test más adecuados para sus asignaturas, permitiendo laevaluación de habilidades de alto nivel.Con el reto principal de modelar el dominio del CBT extendiendo lasposibilidades actuales de QTI y las aproximaciones actuales, esta tesisproporciona un conjunto de contribuciones relacionadas con tresobjetivos. El primer objetivo de la tesis es proponer un ModeloConceptual definiendo y relacionando tres dimensiones: Pregunta, Test yActividad. Por una parte, se propone un marco como guía en lacategorización y diseño de escenarios CBT. Además, se proponen dosmodelos que indican los elementos para la representación tecnológica depreguntas y test. Estos modelos son independientes de plataforma (PIM)que extienden QTI formulando los elementos que permiten implementarescenarios CBT avanzados. Además, se propone el uso de patrones comocomplemento en el modelado del dominio. El segundo objetivo trata demostrar la relevancia y aplicabilidad de las contribuciones a través deescenarios y casos de estudio representativos en contextos reales. Paraello, se evalúa el diseño e implementación de un conjunto deexperimentos y sistemas. En todos los experimentos se utiliza el ModeloConceptual para diseñar escenarios CBT avanzados. Para cada caso losCBT-PIMs sirven como base para desarrollar modelos específicos deplataforma (CBT-PSMs) y sistemas asociados. La evaluación muestra quelas implementaciones resultantes tienen beneficios educativos positivos,permitiendo la evaluación de habilidades de alto nivel y mejorando lamotivación de los estudiantes. Finalmente, el tercer objetivo se centra enproponer vías de extensión para QTI. La colección de modelos propuestossugiere diferentes direcciones de extensión de QTI para laimplementación de preguntas, tests y actividades avanzados. Losescenarios y sistemas llevados a cabo representan implementaciones dereferencia y buenas prácticas para las vías de extensión propuestas.
|
