Sistema blended-learning para la gestión automática de cuestionarios en papel

Herramienta blended-learning para extender al entorno del aula no informatizada la funcionalidad de la corrección automática de los cuestionarios de Moodle.

La herramienta permite al profesor generar ejemplares en papel a partir de los cuestionarios diseñados y creados en Moodle, de forma que los alumnos puedan rellenarlos en el aula sin necesidad de disponer de ningún equipo informático. Una vez que los cuestionarios han sido rellenados por los alumnos, el sistema permite que sean corregidos automáticamente, gracias a un sistema de reconocimiento óptico de marcas basado en escáneres convencionales de bajo coste, y los resultados serán traspasados a Moodle. El objetivo es dotar al profesorado de herramientas ágiles y automatizables que permitan realizar evaluaciones frecuentes con fines docentes o evaluadores, en la línea de lo recomendado por el Espacio Europeo de Educación Superior (EEES).

I.        Introducción

El Espacio Europeo de Educación Superior (EEES) ha traído nuevas formas de enseñar y aprender y conlleva cambios en todo el proceso de enseñanza-aprendizaje. En este nuevo proceso, la evaluación adquiere una nueva dimensión; debiéndose garantizar que se ejecuta como un proceso continuo, integrado en la enseñanza y con carácter formativo [1] [2]. La evaluación debe cumplir una doble función. Por un lado, debe permitir al profesor obtener información sobre la evolución de los alumnos así como sobre las posibles causas que han podido dificultar su desarrollo con el fin de poder mejorar y adecuar las estrategias y objetivos de aprendizaje. Por otro lado, debe permitir al alumno obtener una indicación de su progreso de forma que aumente su motivación y satisfacción con el proceso [3]. En este contexto, se hace necesario replantearse el diseño y desarrollo de los métodos y herramientas de evaluación ya que es importante comprobar los resultados de aprendizaje, no sólo al final del proceso educativo sino también a lo largo del mismo [4].

La evaluación, aunque sea sumativa, debe ser parte del proceso de aprendizaje y así debería ser incluida dentro de las rutinas del aula, sin olvidar que su propósito debe estar orientado principalmente hacia la mejora en el aprendizaje en vez de ser un simple medio para certificar los niveles de competencia de los estudiantes [1]. Es lo que se llama evaluación orientada al aprendizaje [2] [5].

Es necesario por tanto realizar un mayor esfuerzo en el procedimiento de evaluación, que permita realizar más pruebas con la consecuente realimentación para los alumnos con el fin de que éstos puedan verse beneficiados de dicha situación [5]. Las TIC facilitan enormemente esta tarea, automatizando las labores de evaluación de pruebas objetivas y permitiendo la gestión de bases de datos de preguntas que pueden ser incluidas en los cuestionarios. Sin embargo, hoy en día, una parte muy importante de la docencia tiene lugar en aulas “tradicionales” en las que no se dispone de equipos informatizados.

Este proyecto surge ante la necesidad de realizar una monitorización más frecuente del proceso de aprendizaje en las aulas presenciales sin aumentar por ello la carga de trabajo de los docentes y proporcionando una realimentación rápida a los alumnos. La evaluación manual de pruebas presenciales supone una dedicación poco productiva del tiempo del docente, además de ralentizar el procedimiento de realimentación. Para evitar esto existen herramientas informáticas especializadas pero que precisan la disponibilidad logística de las salas de informática.

Los actuales campus virtuales, basados en sistemas de gestión de aprendizaje o LMS (Learning Management System) como la plataforma educativa Moodle, permiten realizar eficientemente cuestionarios de evaluación, por lo que en este proyecto se propone crear y validar una herramienta blended-learning que permita generar un ciclo completo de gestión de cuestionarios. En concreto, este sistema tiene como objetivo generar lotes de cuestionarios (aleatorizados) en PDF (es decir, imprimibles en papel) a partir de los cuestionarios de Moodle, procesar y corregir automáticamente estos cuestionarios (una vez respondidos por los alumnos) a través de sistemas de reconocimiento óptico de marcas, y finalmente depositar en Moodlelos resultados para que puedan ser revisados y evaluados como si se hubieran realizado on-line (ver Figura 1). Por tanto, este sistema facilitará a los profesores la evaluación continua mediante cuestionarios sin tener dependencia de la disponibilidad de un aula informática y aumentará la eficiencia del proceso de corrección. Asimismo, al estar integrada en Moodle, todo el proceso estará integrado con el resto de actividades virtualizadas de la asignatura.

Esquema general del sistema blended-learning

Figura 1. Esquema general del sistema blended-learning.

II.        Sistema De Evaluación Blended-Learning

Muchos de los sistemas de OMR (Optical Mark Recognition) empleados en la actualidad utilizan material especializado para recoger las respuestas de los cuestionarios y suelen necesitar reconocedores especializados. Esto obliga al proceso a pasar por un cuello de botella (el OMR) que dificulta la aplicación práctica de estas técnicas en la docencia cotidiana.

El sistema de evaluación blended-learning propuesto busca acercar el cuestionario electrónico al alumno y al profesor, por lo que para su diseño se han tenido en cuenta los siguientes objetivos funcionales:

·       Los cuestionarios deben presentarse en formato legible y natural, sin usar codificaciones manuales.

·       No se deben usar plantillas específicas separadas de los cuestionarios para simplificar el uso de los cuestionarios por parte de los alumnos.

·       No debe requerirse un OMR especializado para permitir que los profesores utilicen su propio equipamiento para impulsar el proceso.

El sistema está compuesto de una serie de módulos interrelacionados que permiten generar cuestionarios en papel a partir de la base de datos de preguntas y de la actividad de generación de cuestionarios de evaluación Quiz de Moodle. Los cuestionarios se transcriben incluyendo los espacios destinados a las marcas para las respuestas de elección múltiple de forma que los alumnos pueden rellenarlos en el aula sin suponer cambios traumáticos en la planificación de las actividades en curso. Una vez que los cuestionarios han sido rellenados por los alumnos, el sistema permite que éstos sean corregidos automáticamente, gracias a un módulo de procesado de imagen que realiza el  reconocimiento óptico de marcas u OMR a partir de las imágenes obtenidas con escáneres convencionales de bajo coste. Los resultados se traspasan a Moodle de forma que no hay diferencia práctica respecto a si el alumno hubiera contestado de forma on-line.

Asimismo, al estar integrado todo el proceso de generación y corrección de cuestionarios en Moodle, los resultados del proceso estarán disponibles para su revisión a través de Moodle. Tanto los profesores como los alumnos pueden ver los resultados de evaluación de los cuestionarios en cualquier momento y desde cualquier lugar que disponga de conexión a Internet.

Para el desarrollo, se ha subdividido el sistema en dos subsistemas principales:

·       Módulo blended para la integración del proceso de evaluación blended-learning en Moodle. Este módulo permite la generación de cuestionarios PDF a partir de colecciones de preguntas almacenadas en la base de datos, así como la integración de los resultados en la plataforma.

·       Módulo integrado en Moodle para el procesado de los cuestionarios en papel mediante el reconocimiento de marcas y códigos de barras. Este módulo se encarga del reconocimiento de las marcas hechas en los test y la recopilación de los resultados en unos ficheros que puedan ser incorporados a Moodle para su procesado.

A. Módulo blended-learning

El módulo blended permite la generación de cuestionarios en formato PDF a partir de colecciones de preguntas almacenadas en la base de datos de la plataforma Moodle. Actualmente se utilizan cuestionarios formados por preguntas de tipo múltiple, verdadero-falso y preguntas tipo texto. Se pueden obtener aleatoriamente y barajadas [17].

El módulo permite al profesor seleccionar un cuestionario de un curso Moodle e indicar cuántos impresos desea generar. El módulo genera los siguientes ficheros:

·       Fichero de configuración del OMR, conteniendo las coordenadas de todos los elementos. Este fichero es necesario para que el detector OMR pueda localizar las respuestas marcadas por los alumnos.

·       Fichero PDF con tantas páginas como instancias de cuestionarios haya indicado el profesor. Cada hoja de este fichero lleva un identificador que permite relacionar el resultado de la fase de evaluación con los cuestionarios. Además, dispondrá de un espacio para que los alumnos puedan pegar una etiqueta adhesiva con su código de barras, ya que los alumnos tienen a su disposición un enlace para generar etiquetas con su código de barras.

En la Figura 2 se muestra el formato de los cuestionarios. Tiene un encabezado en el que aparece el logo de la Universidad, el nombre del curso, el código de barras con el identificador del número de cuestionario más el número de hoja. En la Figura 3 se muestra parcialmente un cuestionario real. Más detalles sobre el funcionamiento y la implementación de este módulo pueden consultarse en [17].

Este módulo también permite, una vez digitalizados los resultados de los cuestionarios, pasar los valores a Moodle, para que los resultados puedan ser accedidos por los alumnos y el profesor a través de la plataforma. Así, desde Moodle, el profesor puede subir a un directorio de trabajo específico del curso el fichero con las imágenes obtenidas a partir del escaneo de todos los cuestionarios en papel completados por los alumnos y solicitar al sistema su procesamiento automático. Para poder almacenar de forma automática los resultados en Moodle, las imágenes resultantes del escaneo deben ser procesadas por el módulo de reconocimiento de marcas, que se describe a continuación.

Figura 2. Formato de los cuestionarios. Fuente: [17].

Fig. 2.	Ejemplo de cuestionario generado.

Figura 3. Ejemplo de cuestionario generado.

B. Módulo OMR

El módulo OMR para Moodle es un programa en Java capaz de leer archivos de múltiples páginas en formato PDF y TIF, así como imágenes de diversas resoluciones. Procesa los ficheros de configuración para identificar las instancias de los formularios y detectar las posiciones de las marcas, realizando algunos ajustes para resolver defectos de digitalización como desplazamientos y rotaciones de la imagen.

El módulo procesa los ficheros por lotes identificando las imágenes, ajustando la resolución y sus características cromáticas y aplicando una serie de algoritmos para realizar las siguientes acciones sobre los distintos elementos de un documento:

·       Detección de las marcas de alineación mediante elresalte de bordes y la transformada Hough, para eliminar rotaciones o desplazamientos de la digitalización.

·       Identificación del grado de rellenado de las marcas de opciones de respuesta, mediante correlación cruzada con un modelo de marca.

·       Obtención de los códigos numéricos de identificación del ejemplar impreso y del usuario que ha respondido, mediante el reconocimiento de códigos de barras lineales o 1D y bidimensionales QR (Quick Response) o 2D.

Con los resultados del procesado se genera un fichero de resultados. A partir de las pruebas preliminares realizadas, se puede indicar que el grado de fiabilidad del sistema es elevado, siempre que se garantice que el desplazamiento producido por el escáner al recoger las hojas sea leve. Aún así, si existiese algún fallo de reconocimiento, éste puede ser corregido manualmente por el profesor. Además al estudiante se le muestran siempre los resultados junto con una imagen del cuestionario original, de forma que pueda comprobar que sus resultados no han sufrido ninguna alteración durante el proceso de escaneado y reconocimiento.

Más detalles sobre el funcionamiento y la implementación de este módulo pueden consultarse en [18].

 

Este proyecto se está desarrollando con la colaboración y financiación del Vicerrectorado de Docencia de la Universidad de Valladolid.

Los autores quieren expresar su especial agradecimiento a Pablo Galán, Natalia Haro,Jesús Rodilana y David Fernández, quienes implementaron como parte de su Proyecto Fin de Carrera algunas partes de los módulos diseñados por los autores y descritos en este artículo.

Referencias

[1]   L.A. Shepard, The Role of Classroom Assessment in Teaching and Learning, Los Angeles, CA: CRESST – CSE Technical Report 517, 2000. Disponible en: http://datause.cse.ucla.edu/DOCS/las_rol_2000.pdf (Última consulta: 25/04/2011).

[2] G. Rodríguez Gómez and M.S. Ibarra Sáiz (Eds.), e-Evaluación orientada al e-Aprendizaje estratégico en la universidad, Madrid: Narcea, 2011 (en prensa).

[3]   J.C. Fortes Garrido, R. Arribas de Paz, and F. Gomez Bravo, “Adaptación y Planificación Eficaz de la Evaluación en el EEES,” Comunicaciones del XVI Congreso Universitario de Innovación Educativa en las Enseñanzas Técnicas, no. 16, 2008.

[4]   A.M. Delgado, and R. Oliver, “La evaluación continua en un nuevo escenario docente”, Revista de Universidad y Sociedad del Conocimiento, vol. 3, no.1, 2006. Disponible en: http://www.uoc.edu/rusc/3/1/dt/esp/delgado_oliver.pdf(Última consulta: 25/04/2011).

[5]   E. Dorrego, “Educación a Distancia y Evaluación del Aprendizaje,” Revista de Educación a Distancia, no. IV, 2006. Disponible en: http://www.um.es/ead/red/M6 (Última consulta: 25/04/2011).

[6]   A. Bartolomé, “Blended Learning. Conceptos básicos,”Revista de Medios y Educación, no. 23, pp. 7-20, 2004.

[7]   C. Morgan, and M. O’Reilly, Assessing Open and Distance Learners. London: Kogan Page, 2002.

[8]   JISC, Effective Practice with e-Assessment. An overview of technologies, policies and practice in further and higher education, 2007. Disponible en: http://www.jisc.ac.uk/media/documents/themes/elearning/effpraceassess.pdf (Última consulta: 25/04/2011).

[9]   Y. Miao, C. Tattersall, J. Schoonenboom, S. Stevanov, and A. Aleksieva-Petrova, “Using open technical e-learning standards and service orientation to support new forms of e-assessment”, In D. Griffiths, R. Koper and O. Liber (Eds), Service Oriented Approaches and Lifelong Competence Development Infrastructures. Proceedings of the 2nd TENCompetence Open Workshop Manchester, UK, pp. 183-191, Bolton: The Institute for Educational Cybernetics, University of Bolton, 2007.

[10]V. González-Barbone, and M. Llamas-Nistal, “eAssessment: Trends in Content Reuse and Standardization,” Proceedings of the 37th ASEE/IEEE Frontiers in Education Conference, Milwaukee, USA, 2007.

[11]G.H. Smith, L.N. Wood, M. Coupland, B. Stephenson, K. Crawford, and G. Ball, “Constructing mathematical examinations to assess a range of knowledge and skills,” International Journal for Mathematical Education in Science and Technology, vol. 27, no. 1, pp. 65-77, 1996.

[12]A. García-Beltrán, R. Martínez, J.A. Jaén, and S. Tapia, “La autoevaluación como actividad docente en entornos virtuales de aprendizaje/enseñanza,” Revista de Educación a Distancia, no. IV, 2006. Disponible en http://www.um.es/ead/red/M6 (Última consulta: 26/04/2011).

[13]M. Blanco, and M. Ginovart, “Análisis de la eficiencia de cuestionarios Moodle como herramienta de evaluación de asignaturas de matemáticas correspondientes a primeros cursos de titulaciones de ingeniería,” Congreso Internacional Docencia Universitaria e Innovación, 2010.

[14]E. Barberà, “Aportaciones de la tecnología a la e-Evaluación”, Revista de Educación a Distancia, no. VI, 2006. Disponible en: http://www.um.es/ead/red/M6 (Última consulta: 25/04/2011).

[15]M. Alacid, M.R. Castellar, and J.M. Obón, “Exámenes de autoevaluación en el aula virtual: Generación y resultados,” Comunicaciones de las I Jornadas sobre la enseñanza de las ciencias y las ingenierías, Murcia, 2008. Disponible en: http://www.murciencia.com/UPLOAD/COMUNICACIONES/examen_autoevaluacion_aula_virtual.pdf(Última consulta: 25/04/2011).

[16]M. Blanco, and M. Ginovart, “Creating Moodle quizzes for the subjects of mathematics and statistics corresponding to the first years in engineering studies,” Proceedings of Edulearn09 - International Conference on Education and New Learning Technologies, 2009. Disponible en http://upcommons.upc.edu/e-prints/bitstream/2117/3064/1/blanco_ginovart_... (Última consulta: 25/04/2011).

[17]N. Haro, Integración de un Sistema de Reconocimiento Óptico de Marcas para la Aplicación de Blended e-Learning, Proyecto Fin de Carrera, Valladolid: ETS Ingenieros de Telecomunicación, 2010.

[18]J. Rodilana, Desarrollo de un sistema de reconocimiento óptico de marcas para integración en un sistema de e-learning, Proyecto Fin de Carrera, Valladolid: ETS Ingenieros de Telecomunicación, 2010.