6.8. Evaluación del aprendizaje
Figura 6.8.1 Evaluación (imagen adaptada para la versión en Español por CETEC)
“Me llama la atención por qué la evaluación siempre se deja para el final, no sólo en la unidad de trabajo, sino también en la planificación de los profesores… .La evaluación siempre fue un tema de último momento.”
“Los profesores… están atrapados entre concursos, evaluaciones finales… y en sus intentos de reconciliar las demandas se sienten confundidos y frustrados por las dificultades que enfrentan.”
Earle, 2003
6.8.1 Evaluación en la era digital
Debido a que la evaluación es un tema enorme, es importante tener en claro que el propósito de esta sección es:
- a) ver uno de los componentes que constituye un entorno eficaz de aprendizaje y;
- b) examinar brevemente el grado en que la evaluación es o debería cambiar en la era digital.
El tema de evaluación se trata en todo el libro, pero especialmente en:
No obstante, este tema merece una sección propia. Probablemente nada impulsa más el comportamiento de los estudiantes que la forma en que serán evaluados. No todos los estudiantes son instrumentales con su aprendizaje, pero dadas las presiones competitivas sobre el tiempo en la era digital, la mayoría de los estudiantes más “exitosos” se centran en lo que va a ser evaluado y en cómo pueden cumplir con los requisitos de evaluación de manera efectiva (que para la mayoría significa en el menor tiempo posible). Por lo tanto, las decisiones sobre los métodos de evaluación serán fundamentales, en la mayoría de los contextos, para crear un entorno eficaz de aprendizaje.
6.8.2 El propósito de la evaluación
Hay muchas razones diferentes para evaluar a los alumnos. Es importante tener en claro el propósito de la evaluación, ya que es poco probable que un sólo instrumento de evaluación cumpla con todas las necesidades de evaluación. Describo a continuación algunas razones (probablemente usted puede pensar en muchas otras):
- para mejorar y extender el aprendizaje de los estudiantes;
- para evaluar los conocimientos y las competencias de los estudiantes en términos de objetivos o resultados de aprendizaje deseados;
- para proporcionar a maestro/instructor información sobre la eficacia de su enseñanza y cómo se podría mejorar;
- para proporcionar información a los empleadores sobre lo que sabe y/o puede hacer el estudiante;
- para seleccionar estudiantes que pueden continuar sus estudios, trabajos o promoción profesional;
- para la rendición de cuentas y/o propósitos financieros de la institución.
Dejo que usted decida el orden de importancia de estas razones para crear un ambiente de aprendizaje eficaz.
6.8.3 Métodos de evaluación
La forma de evaluación así como el propósito de evaluación tendrá la influencia de la epistemología subyacente de los instructores o “examinadores”: qué creen constituye el conocimiento, y por lo tanto cómo los estudiantes tienen que demostrar sus conocimientos. La forma de evaluación también debe considerar los conocimientos y competencias que se requieren en la era digital, que implica centrarse tanto en la evaluación de las competencias como en la evaluación del conocimiento de los contenidos. Por lo tanto, la evaluación continua o formativa será una consideración tan importante como la evaluación sumativa o de “fin de curso”.
Los métodos de evaluación posibles son muy variados. He seleccionado sólo algunos para ilustrar cómo la tecnología puede cambiar la forma en que evaluamos a los alumnos de manera que sea relevante para la era digital:
6.8.3.1 Ninguna evaluación
En primer lugar, se debe considerar si es necesario evaluar el aprendizaje. En algunos contextos, por ejemplo una comunidad de práctica, donde el aprendizaje es informal, los propios alumnos deciden lo que desean aprender, y si están satisfechos con lo que han aprendido. En otros casos, los alumnos pueden decidir si quieren o necesitan una calificación o evaluación formal, aunque quieran o necesiten una devolución sobre su progreso en el proceso de aprendizaje. “¿Entiendo realmente este tema?” o “¿Cómo voy avanzando en comparación con otros alumnos?”
Sin embargo, aún en estos contextos, algunos métodos informales de evaluación por expertos, especialistas o participantes más experimentados podrían ayudar a otros participantes a extender su aprendizaje, al recibir orientación sobre el nivel de competencia o comprensión que ha alcanzado o aún tiene que lograr. Por último, los propios estudiantes pueden extender su aprendizaje, al participar tanto en su autoevaluación y en la evaluación entre pares, preferiblemente con el asesoramiento y la supervisión de un instructor con más conocimientos o un docente experto.
6.8.3.2 Pruebas de opción múltiple computarizadas
Este método es adecuado para la evaluación “objetiva” de hechos, ideas, principios, leyes y procedimientos cuantitativos en las matemáticas, la ciencia y la ingeniería, etc., y además es rentable para estos fines. Sin embargo, este tipo de pruebas tiende a ser limitada para evaluar las competencias intelectuales de orden superior, tales como la resolución de problemas complejos, la creatividad, por lo tanto es probable que no sea adecuada para el desarrollo o la evaluación de muchas de las competencias que se requieren en la era digital.
6.8.3.3 Ensayos o respuestas cortas
Este método es adecuado para evaluar la comprensión y algunas de las competencias intelectuales más avanzadas como el pensamiento crítico. Sin embargo, implica mucho más trabajo y se presta a la subjetividad, por lo tanto no es adecuado para evaluar las competencias prácticas.
Están en curso algunas experiencias de corrección automatizada de ensayos, utilizando los avances de la inteligencia artificial, pero hasta el momento la corrección automatizada no logra identificar el significado semántico válido, especialmente en un nivel de educación superior. Para leer más sobre la corrección automática de ensayos, vea el Capítulo 9.4.
6.8.3.4 Evaluación por pares
Este es un tema muy amplio y especializado, que mencioné en el Capítulo 5, Sección 4.6.2. Hay tres ventajas principales de la evaluación por pares:
- si se realiza correctamente, puede ser un excelente beneficio pedagógico para el aprendizaje de los estudiantes, ya que requiere que los estudiantes piensen críticamente sobre lo que han aprendido para juzgar el trabajo de otros estudiantes. Les permite ver las perspectivas de otros estudiantes sobre los conceptos e ideas, ampliando y profundizando así su comprensión;
- permite ampliar el apoyo al alumno, y facilita a los instructores manejar un mayor número de estudiantes;
- desarrolla una habilidad central de evaluación por pares del siglo XXI que será fundamental cuando trabaje en una sociedad digital.
Sin embargo, si no se realiza correctamente, la evaluación por pares puede tener consecuencias desastrosas. No soy especialista en esta área, pero he utilizado la evaluación por pares en el aprendizaje en línea, pero solo a nivel de posgrado. Estas son algunas de las lecciones que aprendí:
- Debe haber un beneficio intrínseco para los estudiantes que realizan la evaluación. Deben ver cómo esto será útil para su propio aprendizaje.
- El instructor debe dar criterios claros o rúbricas para la evaluación, preferiblemente con ejemplos de respuestas buenas o malas.
- Los estudiantes deben ser recompensados con calificaciones o elogios por parte del instructor por sus excelentes evaluaciones por pares.
- Los estudiantes deben saber que el instructor no solo supervisará las evaluaciones de los compañeros, sino que también se responsabilizará de las decisiones finales sobre las evaluaciones o calificaciones otorgadas y anulará las malas evaluaciones de los estudiantes.
- No ponga todos tus huevos en una canasta. Es aconsejable tener un método de evaluación paralelo o independiente, como pruebas de opción múltiple o que la mitad de la evaluación total del curso se realice de manera más tradicional.
Por lo tanto, hay mejores prácticas que deben seguirse. Cualquier persona que tenga la intención de utilizar la evaluación por pares debe prepararse adecuadamente examinando cuidadosamente la literatura. Macdonald (2015) o Topping (2018) ofrecen guías para maestros. Para ver un ejemplo del uso exitoso de la evaluación por pares en un nivel postsecundario, vea Evaluación por pares como una estrategia de aprendizaje y evaluación en la Escuela de Negocios de la Universidad Simon Fraser
6.8.3.5 Proyecto
Los proyectos fomentan el desarrollo de competencias auténticas que requieren la comprensión de los contenidos, la gestión del conocimiento, la resolución de problemas, el aprendizaje colaborativo, la evaluación, la creatividad y los resultados prácticos. El diseño de proyectos prácticos requiere de imaginación por parte del instructor, y el proceso de evaluación puede requerir mucha mano de obra, pero el trabajo de proyecto es una de las mejores formas de evaluar las habilidades de nivel superior necesarias en la era digital.
‘Evaluar el trabajo del proyecto estudiantil‘ de Melinda Kolk en el sitio web de Creative Educator proporciona una guía excelente para evaluar el trabajo del proyecto estudiantil. Aunque está destinado a maestros de nivel primario k-12, también es muy apropiado para educadores postsecundarios.
6.8.3.6 E-portafolio (un compendio online del trabajo del estudiante)
El e-portafolio permite la autoevaluación a través de la reflexión, la gestión del conocimiento, el registro y la evaluación de las actividades de aprendizaje, como la práctica docente o la práctica de la enfermería, y el registro de las contribuciones individuales en un proyecto (por ejemplo, ver el uso de e-portafolios en las Artes Visuales y el Medio Ambiente en la University of Windsor). Los e-portafolios son usualmente auto-gestionados por el alumno, pero pueden también adaptarse para la evaluación formal o la entrevistas de trabajo.
6.8.3.7 Simulaciones, juegos educativos (usualmente en línea) y mundos virtuales
Estos facilitan la práctica de competencias como:
- la toma de decisiones complejas y en tiempo real;
- la operación de equipos complejos (simulados o remotos);
- el desarrollo de procedimientos de seguridad y de concientización pública;
- la toma de decisiones o gestión de riesgos en entorno controlados y actividades que requieren una combinación de competencias, habilidades cognitivas y destrezas manuales (ver la formación de los funcionarios del Servicio de Fronteras de Canadá en Loyalist College, Ontario).
Figura 6.8. Cruce de frontera virtual. Loyalist College, Ontario
Las simulaciones y los juegos serios o educativos (discutidos más ampliamente en el Capítulo 9.2) son métodos actualmente costosos para desarrollar, pero rentables dado que pueden utilizarse múltiples veces y reemplazan el uso de equipos extremadamente onerosos, permiten operar equipamientos que no se pueden detener para fines de capacitación, o disponer de recursos educativos abiertos. Debido a que las acciones y la toma de decisiones de los estudiantes se registran, la evaluación auténtica se integra en el proceso.
6.8.3.8 Supervisión en línea
La supervisión en línea utiliza cámaras y software para moniterear el desempeño de los estudiantes en línea al rendir exámenes fuera del aula o la institución. Estas herramientas son provistas por empresas comerciales como ProctorU or Proctorio. Su uso se torno particularmente popular durante la pandemia del Covid 19 cuando los estudiantes tuvieron que estudiar desdes casa. Ver Kimmons and Veletsianos, 2021 para un panomara general sobre el tema.
Estas herramientas trabajan de diversas formas, pero la mayoría involucra el uso de software para rastrear la actividad en línea – tal como realizando búsquedas en la plataforma durante el examen- y con frecuencia combinando una o más cámaras para grabar la actividad de los estudiantes durante el examen en línea.
La supervisión en línea ha recibido muchas críticas por ser intrusiva y violar la privacidad de los estudiantes (ver, por ejemplo Balash et al, 2021). Sin embargo, se puede evitar el uso de la supervisión en línea utilizando diversas estrategias de evaluación como los exámenes o reportes escritos. El trabajo en línea de los estudiantes que se realiza a través sistemas de gestión del aprendizaje es actualmente grabado y lo puede revisar un instructor en otro momento, haciendo posible la evaluación continua. Se puede solicitar a los estudiantes qe armen sus e-portafolios para demostrar sus trabajos y la aplicacíón de su aprendizaje en el mundo real a través de un video u otras formas de grabación. Sin embargo, la supervisión en línea es otra herramienta para el monitoreo en exámenes más tradicionales.
6.8.4 En conclusión
El método de evaluación probablemente sea el componente más influyente en el aprendizaje de los estudiantes. Al mismo tiempo, los métodos de evaluación están cambiando rápidamente y es probable continúen cambiando. Algunos de los métodos de evaluación son formativos, porque ayudan a los estudiantes a desarrollar e incrementar sus competencias y conocimiento, así como sumativas porque permiten la evaluación de niveles de conocimientos y competencias logrados al final de un curso o programa. En la era digital, la evaluación y la enseñanza tienden a estar aún más integradas. Cada vez hay más herramientas digitales que permiten enriquecer la calidad y variedad de evaluación de los estudiantes. Por lo tanto, la elección de los métodos de evaluación y la relevancia que estos tienen para otros componentes hace que sean elementos vitales en un entorno de aprendizaje.
Referencias
Balash, D. et al. (2021) Examining the Examiners: Students’ Privacy and Security Perceptions of Online Proctoring Services USENIX Proceedings of the Seventeenth Symposium on Usable Privacy and Security, August 9
Earle, L. (2003) Assessment as Learning Thousand Oaks CA: Corwin Press
Kimmons, R. and Veletsianos, G. (2021) Proctoring Software in Higher Ed: Prevalence and Patterns, EDUCAUSE Review, February 23
Macdonald, B. (2015) Peer assessment that works: A guide for teachers Lanham MD: Rowan and Littlefield
Topping, K. (2108) Using Peer Assessment to Inspire Reflection and Learning London UK: Routledge
Actividad 6.8 ¿Qué método de evaluación es adecuado para la era digital?
- ¿Existen otros métodos de evaluación adecuados para la era digital que debería haber incluido?
- Aún hay una fuerte dependencia de las pruebas de selección múltiple automatizadas, principalmente por la conveniencia de costos. Sin embargo, aunque hay excepciones, yo diría que en general estas no evalúan realmente las competencias conceptuales de orden superior que se requieren en la era digital. ¿Está de acuerdo?
- ¿Hay otros métodos que sean igualmente económicos, principalmente en términos del tiempo de los instructores y que sean más adecuados para la evaluación en la era digital? Por ejemplo, ¿cree que la clasificación automatizada de ensayos es una alternativa viable?
- ¿Sería útil considerar la evaluación al inicio de la planificación de un curso, en lugar de al final? ¿Es posible?
- En el Escenario D, “Desarrollar el pensamiento histórico”¿el instructor utilizó la evaluación para ayudar a desarrollar y evaluar las competencias y destrezas que se requieren en la era digital de manera efectiva? Si es así, ¿cómo lo hizo?, y si no lo es, ¿por qué no?
Para escuchar mis comentarios sobre esta actividad, haga click en el siguiente podcast:
AUDIO – Escuche este podcast en ES
TEXTO – Lea este podcast en ES6.8
Con respecto a la primera pregunta sobre si existen otras formas de evaluación: leí algunos comentarios y decidí que necesitaba agregar otra sección sobre la evaluación por pares. Sí, creo que hay otros métodos de evaluación además de los que he enumerado. Uno de los que no incluí es la autoevaluación y creo que es posible y cada vez más con el uso de la tecnología.
Estoy pensando particularmente para desarrollar competencias prácticas en lugar de competencias intelectuales, por ejemplo, usando videos de YouTube sobre cómo ensamblar un equipo. Los estudiantes pueden comparar sus propios esfuerzos para armar tal equipo con el proceso demostrado en el video de YouTube. Considero que es creciente la variedad de formas para evaluar a los estudiantes además de papel y lápiz, pruebas y exámenes.
La segunda pregunta: ¿está de acuerdo con que las preguntas de opción múltiple no sean apropiadas para evaluar las competencias de orden superior necesarias en la era digital? No quiero ser dogmático al respecto. Creo que puede funcionar muy bien para evaluar ciertas competencias, cuando el instructor puede predecir la respuesta. El instructor sabe que hay solo una respuesta correcta y no hay variables, por ejemplo, si está tratando de resolver una ecuación cuadrática, tal vez pueda usar dos o tres métodos, pero siempre hay un mejor resultado. Sin embargo, creo que puede ser difícil utilizar preguntas de opción múltiple cuando hay una variedad de posibles respuestas, todas las cuales podrían ser válidas en diferentes circunstancias. Suele ser el caso en la mayoría de las artes, las humanidades, las ciencias sociales e incluso en algunas áreas de la ciencia y la tecnología. Por ejemplo, hay una nueva función en el software que estoy usando para editar este libro llamada h5p, que permite embeber actividades dentro del libro. Decidí no usarla porque la mayoría de las actividades son preguntas de opción múltiple o respuestas de ensayo breve que no permiten la flexibilidad y un rango de respuestas que creo se debería tener al responder a estas actividades. Se debe a que no creo que haya una forma de enseñar. Hay múltiples buenas formas de enseñar y la mejor dependerá en gran medida del contexto en el que trabaje.
En este caso, quiero dar a los lectores la opción de comprender:
- los pros y los contras de diferentes recursos
- las diferentes formas de enseñar,
- la aplicación a diferentes contextos y situaciones.
No creo que las pruebas de opción múltiple realmente funcionen en ese tipo de entorno. Necesitamos formas más cualitativas de evaluación. Una razón por la que estoy usando este podcast, es que estoy tratando de sugerir que no hay solo una respuesta correcta para todo, aunque pueda preferir alguna.
En respuesta a tercera pregunta sobre la calificación automática de ensayos, creo que están mejorando cada vez más. Lo que es realmente interesante sobre la calificación automática de ensayos es que es un buen ejemplo de una herramienta que permite aumentar o ayudar al profesor, pero no reemplazarlo, porque el maestro es aún quien establece los criterios y las rúbricas y, en particular, debe validar los resultados de las evaluaciones automatizadas. No puede simplemente confiar en que lo hagan siempre bien. Los estudiantes darán respuestas que no son predecibles y debe tener la flexibilidad para responder. Sin embargo, pueden reducir la cantidad de trabajo, considerando la respuesta promedio que es perfectamente predecible.
La cuarta pregunta sobre si creo que es mejor realizar la evaluación desde el principio en lugar de planificarla al final del curso. Creo que no solo es muy útil sino que es absolutamente esencial. Debería saber que hará al final del curso antes de iniciarlo. Es esencial saber cómo se evaluará a los estudiantes.
A veces es fácil empezar con la evaluación, en lugar de decidir al comienzo qué va a enseñar y cómo va a evaluar al final. Si comienza con la evaluación, el tipo particular de evaluación que es mejor es el que le permita evaluar los resultados del aprendizaje. Me refiero, en particular, al desarrollo de competencias del siglo XXI que requiere de cierta libertad de acción sobre cómo los estudiantes pueden llegar a esa meta.
Conozco alguno instructores que les gusta decir bien: veamos a donde me llevan los estudiantes en este curso. Tiene que ser un profesor extremadamente experimentado para implementarlo y aún así concluir con una forma válida de evaluación para los estudiantes. Creo que es injusto para los estudiantes, que necesitan saber desde el principio que se esperaba de ellos cuando toman un curso.
Por último, en el escenario D, el desarrollo del pensamiento histórico, es evaluado por el instructor a lo largo de todo el escenario. n particular, otorga créditos por la participación en las discusiones pero la calificación principal se otorga al e-portafolio que construye el estudiante a lo largo del curso.
Este es un buen ejemplo de evaluación formativa y continua a través del e-portafolio.
Tiene diferentes formas de evaluar al estudiante, incluida la evaluación de pares, pero también tiene una evaluación individual para garantizar que los estudiantes sientan que su trabajo individual se reconoce tanto como el trabajo grupal.
Considero, en conclusión, que hay diversas formas de evaluación. Es realmente interesante la forma en que las nuevas tecnologías están desafiando el concepto de lo que es una buena evaluación y ofrece formas alternativas, más auténticas de evaluar a los estudiantes, además de las formas tradicionales de ensayos y exámenes en lápiz y papel.
