13.11 Paso 9: Evaluar e innovar

Figura 13.11.1 Evaluar e Innovar Imagen: Hilary Página-Bucci, 2002 (imagen adaptada para la versión en español por CETEC)

El último proceso clave y “fundamental” de la enseñanza y el aprendizaje de calidad en la era digital es la evaluación y la innovación: la evaluación de lo que se ha hecho, y luego la búsqueda de formas para mejorarla (para una debate más profundo de los temas pertinentes a la evaluación en línea aprendizaje, ver Gunawardena et al., 2000)

13.11.1 Evaluación del curso

13.11.1.1 ¿Por qué es importante la evaluación?

Para lograr la titularización o promoción en un cargo docente es importante dar evidencias que la tarea educativa ha sido exitosa. Constantemente surgen nuevas herramientas y nuevos enfoques de la enseñanza. También, la oportunidad de experimentar con estos nuevos recursos y verificar si los resultados que se obtienen son mejores, y si es así, evaluar el impacto de utilizar una nueva herramienta o un nuevo diseño de curso. Es lo que hacen los profesionales. Pero la razón principal es que la enseñanza es como el golf: nos esforzamos para lograr la perfección, pero nunca podemos alcanzarla. Siempre es posible mejorar, y una de las mejores maneras de hacerlo es a través de un análisis sistemático de la experiencia pasada.

13.11.2 Lo que hay que evaluar: evaluación sumativa

En el Paso 1, definí a la calidad de manera sintética.

“Los métodos de enseñanza que ayudan a los alumnos a desarrollar con éxito el conocimiento y las competencias que se requieren en la era digital.”

Será evidente a partir de la lectura de este libro que personalmente creo que para lograr estos objetivos, será necesario re-diseñar la mayoría de los cursos y programas. Por lo que será importante saber si estos cursos rediseñados serán más eficaces que los “anteriores”. Una manera de evaluar a estos nuevos cursos es ver cómo se comparan con los cursos anteriores, por ejemplo en términos de:

• la tasas de finalización será por lo menos igual o mejor para la nueva versión del curso(s),
• las calificaciones o evaluación del aprendizaje será al menos igual o mejor en la nueva versión del curso (s).

Los dos primeros criterios son relativamente fáciles de medir en términos cuantitativos. Tendremos que apuntar a que las tasas de finalización sean de al menos el 85%, lo que significa que de 100 alumnos que comienzan, 85 lo completa aprobando la instancia de evaluación final (desafortunadamente, muchos cursos actuales no logran alcanzar esa tasa, pero si valoramos la buena enseñanza, intentaríamos atraer a tantos estudiantes como sea posible para alcanzar el estándar).

El segundo criterio es comparar las calificaciones. Es de esperar que al menos haya tantos A y B en en la nueva versión como en la versión anterior, manteniendo los mismos (con suerte altos) estándares o aún superiores.

Sin embargo, para que sea válida la evaluación también se deberían definir los conocimientos y las competencias dentro de un curso que cumpla con las necesidades de la era digital, para luego medir la eficacia de la enseñanza alcanzada. Así, un tercer criterio sería:

• el nuevo diseño (s) dará lugar a nuevas y diferentes resultados de aprendizaje más relevantes para las necesidades de la era digital.

Este tercer criterio es más difícil dado que sugiere un cambio en los objetivos de aprendizaje de un curso o programa. Podría incluir la evaluación de las competencias comunicativas de los alumnos con los nuevos medios, o su capacidad para encontrar, evaluar, analizar y aplicar la información de manera adecuada dentro del área temática (gestión del conocimiento), que no haya sido previamente (adecuadamente) evaluada en la clase presencial. Para identificar los objetivos más importantes es necesario un criterio cualitativo y podría también requerirse la aprobación del comité de planes de estudio local o de un organismo de acreditación externo.

Con un nuevo diseño y nuevos resultados de aprendizaje, puede ser difícil alcanzar estos estándares de inmediato, pero a lo largo de dos o tres años debería ser posible.

13.11.3 Lo que hay que evaluar: evaluación formativa

Sin embargo, aún cuando evaluemos el curso según estos tres criterios, no necesariamente sabremos lo que funcionó y lo que no lo funcionó en el curso. Tenemos que mirar más de cerca los factores que pudieron haber influido en la capacidad de los estudiantes para aprender. Hemos establecido algunos de estos factores en los pasos 1 a 8. Algunas de las preguntas que usted se haría son las siguientes:

• ¿Fueron los resultados esperados o los objetivos de aprendizaje claras para los estudiantes?
• ¿Qué resultados de aprendizaje generó más dificultades a la mayoría de los estudiantes?
• ¿El material de enseñanza era claro y bien estructurado?
• ¿Los materiales y herramientas de aprendizaje que los estudiantes necesitan son fácilmente accesibles y están disponible 24 x 7?
• ¿Qué temas generaron buenos debates y cuáles no?
• ¿Los alumnos recurrieron a los materiales del curso de manera adecuada en los foros de discución y en las tares asignadas?
• ¿Los alumnos encontraron sus propias fuentes y las utilizaron bien en los foros de discusión, las tareas y en las otras actividades propuestas?
• ¿Qué actividades funcionaron bien y cuáles mal? ¿Por qué?
• De los materiales de estudio provistos, ¿Cuáles fueron más utilizados o menos utilizados por los alumnos?
• ¿Las tareas propuestas permitieron evaluar adecuadamente el conocimiento y las competencias propuestas en el curso?
• ¿Los alumnos tuvieron una sobrecarga de trabajo?
• ¿Fue demasiado trabajo para mí como instructor?
• Si es así, ¿qué podría hacer para manejar mejor mi carga de trabajo (o la de los estudiantes) sin perder calidad?
• ¿Qué grado de satisfacción con el curso identificó en los alumnos?
• ¿Estoy satisfecho con el curso? ¿Cuánto?

Ahora voy a sugerirle una forma para responder estas preguntas sin generar nuevamente una enorme carga de trabajo.

13.11.4 Cómo evaluar los factores que contribuyen o inhiben el aprendizaje

Hay una serie de recursos a los que puede recurrir para lograrlo. De hecho, hay muchos más recursos para la evaluación en línea que para la evaluación de los cursos tradicionales presenciales, porque el aprendizaje en línea deja un rastro digital trazable con las evidencias:

• la participación de los estudiantes en actividades online, como las preguntas de auto evaluación, los foros de discusión, podcast;
• el análisis cualitativo cualitativo de los foros de discusión, por ejemplo, la calidad y el alcance de los comentarios, lo que indica el nivel o la profundidad del compromiso o el pensamiento;
• los e-portafolios de los estudiantes, las respuestas de las tareas y los exámenes;
• los cuestionarios de los alumnos;
• los grupos de trabajo.
• las calificaciones de los alumnos.

Sin embargo, antes de comenzar, es útil elaborar una lista de preguntas como en la sección anterior, y luego ver qué fuentes podrán dar respuestas a estas preguntas.

Figura 13.11.2 Análisis de las respuestas de un examen modelo generalmente proporción información sobre la estructura del curso y la presentación de los materiales

Al final de un curso, tiendo a mirar las calificaciones de los estudiantes, e identificar cuales los estudiantes hicieron bien y el esfuerzo implicado. Esto depende por supuesto del número de estudiantes en una clase. En una clase grande que podría probar por grados. Luego vuelvo al comienzo del curso y realizar el seguimiento de su participación en línea en la medida de lo posible (Learning Analytics hacen esto mucho más fácil, aunque también se puede hacer de forma manual si se utiliza un sistema de gestión de aprendizaje). Me parece que algunos factores son específicos del estudiante (por ejemplo, un estudiante sociable que se comunica con todo el mundo) y algunos son factor específicos, por ejemplo, en relación con los objetivos de aprendizaje o la forma en que se ha explicado o presentado un contenido. Este enfoque cualitativo, a veces, puede sugerir cambios en el contenido o la forma en que interactua con los estudiantes para la próxima versión del curso. También se puede determinar para la próxima vez cómo manejar mejor a los estudiantes que “acaparan” la conversación.

Muchas instituciones tienen un sistema «estándar» de evaluación de estudiantes al final de cada curso. Estos, a veces, son inapropiados para los propósitos de evaluación de los cursos con un componente en línea. Las preguntas planteadas deben adaptarse a la modalidad de distribución de las mismas. Sin embargo, debido a que estos cuestionarios se utilizan para las comparaciones entre cursos, las personas que manejan tales formularios de evaluación suelen ser reacios a tener una versión diferente para la enseñanza en línea. En segundo lugar, debido a que estos cuestionarios suelen ser completados voluntariamente por los estudiantes después de que el curso ha terminado, las tasas de finalización  son notoriamente bajos (menos del 20%). Las bajas tasas de respuesta suelen ser inútiles o, en el mejor de los casos, altamente engañosas. Los estudiantes que han abandonado el curso ni siquiera miran el cuestionario en la mayoría de los casos. Las bajas tasas de respuesta tienden a ser fuertemente sesgadas hacia los estudiantes exitosos. Es de los estudiantes que tuvieron dificultades o abandonaron de quienes se necesita saber su opinión.

Encuentro que los grupos pequeños funcionan mejor que los cuestionarios a los estudiantes, y para esto prefiero herramientas presenciales o sincrónicas como Zoom. Elegiré deliberadamente a 7-8 estudiantes que abarcan toda la gama de resultados, desde la deserción hasta A, y realizaré un debate de  una hora con preguntas específicas sobre el curso. Si un estudiante seleccionado no quiere participar, intento encontrar otro en la misma categoría. Si usted puede encontrar el tiempo, dos o tres de estos grupos focalizados proporcionarán una información más confiable que un sólo grupo.

13.11.2 Innovar

Por lo general, dedico poco de tiempo a evaluar y hacer cambios luego de la primera presentación de un curso rediseñado ya que usualmente trabajo con un diseñador instruccional de confianza. Después, me concentro principalmente en garantizar que la tasa de finalización y las calificaciones se encuentren entre los estándares buscados.

En la tercera versión o posteriores versiones del curso es más probable que busque maneras de mejorarlo como resultado de nuevos factores externos, como el nuevo software (por ejemplo. Un paquete de e-portafolio), o de nuevos procesos (por ejemplo, los contenidos generados por los estudiantes utilizando teléfonos móviles o cámaras, recopilando datos relacionados con un proyecto). Lo que mantiene al curso “fresco” e interesante. Sin embargo, implemente un cambio importante a la vez, en parte por cuestiones de carga de trabajo pero también porque de esta manera es más fácil medir el impacto del cambio.

De hecho, es un tiempo interesante para ser instructor. En particular, la constante evolución de las app para teléfonos móviles, sistemas de gestión LMS livianos centrados en el docente, tales como Instructure/Canvas, recursos educativos abiertos, hardware  como gafas de realidad virtual y  MOOcs, y otras tecnologías emergentes como juegos serios, realidad virtual y aumentada, inteligencia artificial,  todos ofrecen una amplia variedad de oportunidades para la innovación y la experimentación. Estos pueden integrarse en un LMS/EVEA existente y en una estructura de curso existente o los diseños pueden ser más radicales. Los Capítulos 3 a 5 tratan en más detalle los posibles diseños.

Sin embargo, es importante recordar que el objetivo es permitir a los estudiantes aprender de forma efectiva. Tenemos suficiente conocimiento y experiencia para ser capaces de diseñar el aprendizaje en un entorno LMS de manera “segura” y efectiva. Lo nuevo no siempre es mejor. Es por esto que los instructores que se inician enseñando en línea, necesitan ser cautos. Deben seguir la ruta de la experiencia y luego gradualmente agregar y evaluar nuevas herramientas y nuevos enfoques de aprendizaje a medida que adquiera más experiencia.

Por último, si usted implementa innovaciones interesantes en su curso, asegúrese de evaluar adecuadamente como se sugirió anteriormente, y luego comparta estos resultados con colegas y ayúdelos bien incluir la innovación dentro en sus propios cursos, o a mejorar la implementación de la innovación con sus propias modificaciones. De esta manera, todos podemos aprender unos de otros.

Referencia

Gunawardena, C., Lowe, C. & Carabajal, K. (2000) Evaluating Online Learning: models and methods in D. Willis et al. (eds.), Proceedings of Society for Information Technology & Teacher Education International Conference 2000 San Diego CA