Figura 11.11 Evaluar e Innovar Imagen: Hilary Página-Bucci, 2002

El último proceso clave y “fundamental” de la enseñanza y el aprendizaje es la evaluación y la innovación: la evaluación de lo que se ha hecho, y luego la búsqueda de formas para mejorarla.

11.11.1 ¿Por qué es importante la evaluación?

Para lograr la titularización o promoción en un cargo docente es importante dar evidencias que la tarea educativa ha sido exitosa. Constantemente surgen nuevas herramientas y nuevos enfoques de la enseñanza. También, la oportunidad de experimentar con estos nuevos recursos y verificar si los resultados que se obtienen son mejores, y si es así, evaluar el impacto de utilizar una nueva herramienta o un nuevo diseño de curso. Es lo que hacen los profesionales. Pero la razón principal es que la enseñanza es como el golf: nos esforzamos para lograr la perfección, pero nunca podemos alcanzarla. Siempre es posible mejorar, y una de las mejores maneras de hacerlo es a través de un análisis sistemático de la experiencia pasada.

11.11.2 Lo que hay que evaluar: evaluación sumativa

En el Paso 1, definí a la calidad de manera sintética.

“Los métodos de enseñanza que ayudan a los alumnos a desarrollar con éxito el conocimiento y las competencias que se requieren en la era digital.”

Será evidente a partir de la lectura de este libro que personalmente creo que para lograr estos objetivos, será necesario re-diseñar la mayoría de los cursos y programas. Por lo que será importante saber si estos cursos rediseñados serán más eficaces que los “viejos”.

Una manera de evaluar a estos nuevos cursos es ver cómo se comparan con los cursos anteriores, por ejemplo en términos de:

• la tasas de finalización será por lo menos igual o mejor para la nueva versión del curso(s),
• las calificaciones o evaluación del aprendizaje será al menos igual o mejor en la nueva versión del curso (s).

Los dos primeros criterios son relativamente fáciles de medir en términos cuantitativos. Tendremos que apuntar a que las tasas de finalización sean de al menos el 85 %, lo que significa que de 100 alumnos que comienzan, 85 lo completa aprobando la instancia de evaluación final (desafortunadamente, muchos cursos actuales no logran alcanzar esa tasa, pero si valoramos la buena enseñanza, intentaríamos atraer a tantos estudiantes como sea posible para alcanzar el estándar).

El segundo criterio es comparar las calificaciones. Es de esperar que al menos haya tantos A y B en en la nueva versión como en la versión anterior, manteniendo los mismos (con suerte altos) estándares o aún superiores.

Sin embargo, para que sea válida la evaluación también se deberían definir los conocimientos y las competencias dentro de un curso que cumpla con las necesidades de la era digital, para luego medir la eficacia de la enseñanza alcanzada. Así, un tercer criterio sería:

• el nuevo diseño (s) dará lugar a nuevas y diferentes resultados de aprendizaje más relevantes para las necesidades de la era digital.

Este tercer criterio es más difícil dado que sugiere un cambio en los objetivos de aprendizaje de un curso o programa. Podría incluir la evaluación de las competencias comunicativas de los alumnos con los nuevos medios, o su capacidad para encontrar, evaluar, analizar y aplicar la información de manera adecuada dentro del área temática (gestión del conocimiento), que no haya sido previamente (adecuadamente) evaluada en la clase presencial. Para identificar los objetivos más importantes es necesario un criterio cualitativo y podría también requerirse la aprobación del comité de planes de estudio local o de un organismo de acreditación externo.

Con un nuevo diseño y nuevos resultados de aprendizaje, puede ser difícil alcanzar estos estándares de inmediato, pero a lo largo de dos o tres años debería ser posible.

11.11.3 Lo que hay que evaluar: evaluación formativa

Sin embargo, aún cuando evaluemos el curso según estos tres criterios, no necesariamente sabremos lo que funcionó y lo que no lo funcionó en el curso. Tenemos que mirar más de cerca los factores que pudieron haber influido en la capacidad de los estudiantes para aprender. Hemos establecido algunos de estos factores en los pasos 1 a 8. Algunas de las preguntas que usted se haría son las siguientes:

• ¿Fueron los resultados esperados o las metas de aprendizaje claras para los estudiantes?
• ¿Qué resultados de aprendizaje generó más dificultades a la mayoría de los estudiantes?
• ¿El material de enseñanza era claro y bien estructurado?
• ¿Los materiales y herramientas de aprendizaje que los estudiantes necesitan son fácilmente accesibles y están disponible 24 x 7?
• ¿Qué temas generaron buenos debates y cuáles no?

• ¿Los alumnos recurrieron a los materiales del curso de manera adecuada en los foros de discución y en las tares asignadas?
• ¿Los alumnos encontraron sus propias fuentes y las utilizaron bien en los foros de discusión, las tareas y en las otras actividades propuestas?
• ¿Qué actividades funcionaron bien y cuáles mal? ¿Por qué?
• ¿Cuáles de los materiales de aprendizaje suministrados fueron más utilizados o menos utilizados por los alumnos?
• ¿Las tareas propuestas permitieron evaluar adecuadamente el conocimiento y las competencias propuestas en el curso?
• ¿Los alumnos tuvieron una sobrecarga de trabajo?
• ¿Fue demasiado trabajo para mí como instructor?
• Si es así, ¿qué podría hacer para manejar mejor mi carga de trabajo (o la de los estudiantes) sin perder calidad?
• ¿Qué grado de satisfacción con el curso identificó en los alumnos?
• ¿Estoy satisfecho con el curso? ¿Cuánto?

Ahora voy a sugerirle una forma para responder estas preguntas sin generar nuevamente una enorme carga de trabajo.

11.11.4 Cómo evaluar los factores que contribuyen o inhiben el aprendizaje

Hay una serie de recursos a los que puede recurrir para lograrlo, de hecho mucho más para la evaluación de los cursos tradicionales presenciales, porque el aprendizaje online deja un rastro digital trazable de evidencia:

• las calificaciones de los alumnos;
• la participación de los estudiantes en actividades online, como las preguntas de auto evaluación, los foros de discusión, podcast;
• el análisis cualitativo cualitativo de los foros de discusión, por ejemplo, la calidad y el alcance de los comentarios, lo que indica el nivel o la profundidad del compromiso o el pensamiento;
• los e-portafolios de los estudiantes, las respuestas de las tareas y los exámenes;
• los cuestionarios de los alumnos;
• los grupos de trabajo.

Sin embargo, antes de comenzar, es útil elaborar una lista de preguntas como en la sección anterior, y luego ver qué fuentes podrán dar respuestas a estas preguntas.

Figura 11.11.4 Análisis de las respuestas de un examen modelo generalmente proporción información sobre la estructura del curso y la presentación de los materiales

Al final de un curso, tiendo a mirar las calificaciones de los estudiantes, e identificar cuales los estudiantes hicieron bien y el esfuerzo implicado. Esto depende por supuesto del número de estudiantes en una clase. En una clase grande que podría probar por grados. Luego vuelvo al comienzo del curso y realizar el seguimiento de su participación online en la medida de lo posible (Learning Analytics hacen esto mucho más fácil, aunque también se puede hacer de forma manual si se utiliza un sistema de gestión de aprendizaje). Me parece que algunos factores son específicos del estudiante (por ejemplo, un estudiante sociable que se comunica con todo el mundo) y algunos son factor específico de golf, por ejemplo, en relación con los objetivos de aprendizaje o la forma en que he explicado o hayan presentado un contenido. Este enfoque cualitativo a menudo sugerir cambios en el contenido o la forma en que interactuaba con los estudiantes para la próxima versión del curso. También puedo determinar la próxima vez cómo manejar con más cuidado los estudiantes que “acaparan” la conversación.

Muchas instituciones tienen un sistema estándar de evaluación de estudiantes al final de cada curso. Estos a menudo son inútiles para los propósitos de evaluar cursos con un componente en línea. Las preguntas planteadas deben adaptarse al modo de entrega de las mismas. Sin embargo, debido a que estos cuestionarios se utilizan para las comparaciones entre cursos, las personas que manejan tales formularios de evaluación suelen ser reacios a tener una versión diferente para la enseñanza en línea. En segundo lugar, debido a que estos cuestionarios suelen ser completados voluntariamente por los estudiantes después de que el curso ha terminado, las tasas de terminación son a menudo notoriamente bajos (menos del 20 %). Las bajas tasas de respuesta suelen ser inútiles o, en el mejor de los casos, altamente engañosas. Los estudiantes que han abandonado el curso ni siquiera miran el cuestionario en la mayoría de los casos. Las bajas tasas de respuesta tienden a ser fuertemente sesgadas hacia los estudiantes exitosos. Es de los estudiantes que lucharon o abandonaron de quienes se necesita saber su opinión.

Encuentro que pequeños grupos de enfoque funcionan mejor que los cuestionarios a los estudiantes, y para esto prefiero herramientas presenciales o sincrónicas como Blackboard Collaborate. Me dirigiré deliberadamente a 7-8 estudiantes específicos que abarcan toda la gama de logros, desde la deserción hasta A, y conduciré una discusión de una hora con preguntas específicas sobre el curso. Si un estudiante seleccionado no quiere participar, intento encontrar otro en la misma categoría. Si usted puede encontrar el tiempo, dos o tres de estos grupos de enfoque proporcionarán una información más confiable que un sólo grupo.

11.11.5 Innovar

Por lo general, dedico poco de tiempo a evaluar y hacer cambios luego de la primera presentación de un curso rediseñado ya que usualmente trabajo con diseñador instruccional de confianza. Después, me concentro principalmente en garantizar que la tasa de finalización y las calificaciones se encuentren entre los estándares buscados.

En la tercera versión o posteriores versiones del curso es más probable que busque maneras de mejorarlo como resultado de nuevos factores externos, como el nuevo software (por ejemplo. Un paquete de e-portafolio), o de nuevos procesos (por ejemplo, los contenidos generados por los estudiantes utilizando teléfonos móviles o cámaras, recopilando datos relacionados con un proyecto).Lo que mantiene al curso “fresco” e interesante. Sin embargo, implemente un cambio importante a la vez, en parte por cuestiones de carga de trabajo pero también porque de esta manera es más fácil medir el impacto del cambio.

Realmente es fascinante ser instructor. En particular, la nueva generación de herramientas 2.0, incluyendo WordPress, el nuevo LMS centrado en el instructor “liviano” como Canvas, los recursos educativos abiertos, aprendizaje móvil, tabletas e iPads, edición electrónica, MOOC, todos ofrecen una amplia variedad de oportunidades para la innovación y la experimentación. Estos pueden integrarse en un LMS existente y en una estructura de curso existente o los diseños pueden ser más radicales. Los Capítulos 3 a 5 tratan en más detalle los posibles diseños.

Sin embargo, es importante recordar que el objetivo es permitir a los estudiantes aprender de forma efectiva. Tenemos suficiente conocimiento y experiencia para ser capaces de diseñar el aprendizaje en un entorno LMS de manera “segura” y efectiva. Muchas de las nuevas herramientas de la web 2.0 no se han evaluado a fondo en los entornos de educación postsecundaria, y está claro que algunas de las herramientas o enfoques más recientes no están demostrando ser tan eficaces como los anteriores enfoques sobre el aprendizaje online. Es por esto que los instructores que se inician enseñando online, necesitan ser cautos. Deben seguir la ruta ya transitada y luego gradualmente agregar y evaluar nuevas herramientas y nuevos enfoques de aprendizaje a medida que adquiera más experiencia.

Por último, si usted implementa innovaciones interesantes en su curso, asegúrese de evaluar adecuadamente como se sugirió anteriormente, y luego comparta estos resultados con colegas y ayúdelos bien incluir la innovación dentro en sus propios cursos, o a mejorar la implementación de la innovación con sus propias modificaciones. De esta manera, todos podemos aprender unos de otros.

Referencia / lectura adicional

Gunawardena, C., Lowe, C. & Carabajal, K. (2000). Evaluating Online Learning: models and methods. In D. Willis et al. (Eds.),Proceedings of Society for Information Technology & Teacher Education International Conference 2000 (pp. 1677-1684). Chesapeake, VA: AACE.

Page-Bucci, H. (2002) Developing an Evaluation Model for a Virtual Learning Environment: accessed at http://www.hkadesigns.co.uk/websites/msc/eval/index.htm