Monográfico

Autorregulación del aprendizaje y procesos de evaluación formativa en los trabajos en grupo

Self-regulated learning and formative assessment process on group work

J. Fraile *
Universidad Francisco de Vitoria, España
M. Gil-Izquierdo **
Universidad Autónoma de Madrid, España
D. Zamorano-Sande ***
Universidad Politécnica de Madrid, España
I. Sánchez-Iglesias ****
Universidad Complutense de Madrid, España

Autorregulación del aprendizaje y procesos de evaluación formativa en los trabajos en grupo

RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, vol. 26, núm. 1, 2020

Universidad de Granada

Universidad de Valencia

Recepción: 15 Mayo 2020

Aprobación: 13 Junio 2020

Publicación: 24 Junio 2020

Resumen: El objetivo de este estudio fue diseñar e implementar un contexto de evaluación formativa sobre un trabajo en grupo basado en la autorregulación del aprendizaje a través de las prácticas beneficiosas que expone la literatura y los retos que se plantean de cara a la próxima década. Se llevó a cabo una investigación cuantitativa a través de dos cuestionarios que midieron la capacidad de autorregulación y la forma de trabajar en grupo, con 88 estudiantes del Grado en Ciencias de la Actividad Física y del Deporte. Los resultados muestran que la forma de trabajar en equipo reportada por los estudiantes no tuvo un impacto en la calificación obtenida en su trabajo. Por otro lado, una mayor capacidad de autorregulación en su estilo de aprendizaje y un mayor empleo de los criterios de evaluación resultaron significativos, alcanzando una calificación superior. No se encontraron diferencias en relación con la dimensión de evitación de la autorregulación. Se discuten las implicaciones teóricas y educativas.

Palabras clave: Estudios universitarios, Criterio de evaluación, Trabajo en equipo, Autoevaluación.

Abstract: This study aimed to design and implement a formative assessment context for a group assignment. This setting is based on self-regulated learning, the beneficial practices exposed in the literature and the challenges for the next decade. We carried out quantitative research using two questionnaires to measure self-regulated learning skills and the way of working as a group. The participants were 88 students getting a degree in Sports Sciences. Results showed that the reported way of working in groups has no impact on performance. Furthermore, higher self-regulation in their learning style and the use of assessment criteria led to higher performance. We did not find any differences regarding avoidance self-regulation style. We discuss theoretical and educational implications.

Keywords: University studies, Evaluation criterion, Group work, Self-assessment.

Multitud de estudios apuntan a que alcanzar el éxito en los estudios universitarios es un objetivo que no siempre es fácil de cumplir. Los estudiantes encuentran dificultades especialmente en la transición a la universidad, en su primer curso, en el que existe una alta tasa de abandono en comparación con los siguientes cursos (Gale & Parker, 2014). Esta dificultad viene dada por los múltiples cambios que los estudiantes experimentan entre el contexto escolar y el universitario (Oolbekkink‐Marchand et al., 2006). Los estudiantes perciben y clasifican estos cambios en dos ambientes: los endógenos o propios de los alumnos y los exógenos o propios de la institución en la que cursan sus estudios (Bowles et al., 2014). En relación con los cambios endógenos, aparecen dificultades al llegar a un contexto que no les es familiar, lejos de su habitual círculo de acción (Krause & Coates, 2008). Normalmente, los estudiantes suelen acudir a un centro educativo que se encuentra cerca de sus hogares y el cambio a la universidad provoca un mayor tiempo de desplazamiento y uso de los medios de transporte. Incluso en algunas ocasiones han de cambiar de ciudad, lo que provoca también un cambio de hogar con las consecuentes modificaciones de hábitos familiares y con sus amistades (Hultberg et al., 2008). En la misma línea, tendrán compañeros nuevos en clase y también la posibilidad de una nueva identidad. Por otro lado, en relación con los cambios exógenos, propios de la universidad, el cambio pasa por un número mayor de estudiantes en clase (Christie et al., 2013), una menor supervisión de la institución y de los docentes (McPhail et al., 2009) y una gran variedad en cuanto a estilos de enseñanza de los profesores y de los sistemas de evaluación que implementan en sus asignaturas (Coertjens et al., 2017).

La universidad y los sistemas de evaluación: la evaluación formativa

La investigación indica que la clave para superar todos los cambios mencionados anteriormente y obtener éxito en los estudios universitarios es, en gran medida, la capacidad de aprendizaje autónomo y de adaptación de los estudiantes (Coertjens et al., 2017). Esta autonomía está relacionada con su competencia para autorregular su aprendizaje, definida como la capacidad de establecer objetivos propios y ejecutar acciones cognitivas, afectivas y conductuales para progresar en el camino de alcanzar estas metas (Zimmerman & Schunk, 2011). La capacidad de autorregulación es un significativo predictor de la consecución del éxito académico, tal y como sugiere el metaanálisis realizado por Richardson et al. (2012). La razón, como apuntan numerosas investigaciones y recientes metaanálisis y revisiones, es la fuerte relación entre la autorregulación y el uso óptimo de estrategias de aprendizaje (Panadero et al., 2018). La universidad no puede dar por hecho que los estudiantes llegan preparados con estas habilidades para afrontar sus retos ya que estos demuestran una limitada capacidad de adaptación cognitiva, metacognitiva, motivacional y emocional (Koivuniemi, et al., 2017). Así, la falta de desarrollo en estas capacidades, sumado a las variables endógenas y exógenas derivadas de la transición a la universidad, provocan un contexto complejo al que los estudiantes deben adaptarse para tener éxito.

En esta línea, por parte de las universidades, la política de evaluación es una de las medidas institucionales más importantes para favorecer el aprendizaje de sus estudiantes y la culminación de los estudios (García-Jiménez, 2015). Este aspecto no tiene que ver con una menor exigencia para aumentar el éxito, sino con que la universidad y los docentes enriquezcan el proceso y se mejore la adquisición de competencias transversales relacionadas con la autorregulación y la consecución de los objetivos de aprendizaje.

De hecho, el Proceso de Bolonia tiene como uno de sus pilares la implementación de la evaluación continua. Su objetivo es el abandono de sistemas de evaluación llevados a cabo hasta entonces basados, mayoritariamente, en un examen final con una orientación sumativa (Ibarra Sáiz & Rodríguez Gómez, 2010). Esta acción de cambio en las prácticas y momentos de evaluación estuvo encaminada hacia el abandono de la concepción de la evaluación como simple calificación —evaluación sumativa— para pasar al concepto de evaluación al servicio del aprendizaje, denominado evaluación formativa: “todo proceso de constatación, valoración y toma de decisiones cuya finalidad es optimizar el proceso de enseñanza-aprendizaje que tiene lugar, desde una perspectiva humanizadora y no como mero fin calificador” (Pérez Pueyo et al., 2009, p. 35).

Evaluación formativa: directrices y actuales retos

La evaluación formativa ha de ser concebida como un proceso de acompañamiento. Su concepto se basa en proporcionar información a docentes y estudiantes sobre el progreso de estos y, a continuación, aportar una retroalimentación que facilite realizar los ajustes y revisiones necesarios tanto para el alumno en su tarea como para el profesor en su acción docente (Black & Wiliam, 2009). Así, se ayuda a los estudiantes a conceptualizar qué están intentando aprender, cómo lo están haciendo y de qué manera pueden mejorar (Panadero et al., 2018). Diversos estudios indican que los estudiantes que participan en procesos de evaluación formativa favorecen su implicación en el proceso de aprendizaje (Hortigüela-Alcalá et al., 2015).

La investigación, el concepto y las prácticas de evaluación formativa han ido evolucionando en los últimos 30 años. Actualmente, se ha finalizado una década que tenía marcada una serie de retos, como los recogidos en el informe Assessment 2020 (Boud & Associates, 2010). Como recogió este documento y la investigación en la década del 2010 al 2020, los objetivos y concepción actual están relacionados con la sostenibilidad de la evaluación como aprendizaje y empoderamiento (Boud & Soler, 2016; Rodríguez-Gómez & Ibarra-Sáiz, 2015). Por tanto, los retos actuales están asociados al diseño de tareas de calidad para favorecer la implicación de los estudiantes, los ciclos de retroalimentación, la autorregulación del aprendizaje y el juicio evaluativo (Ibarra-Sáiz & Rodríguez-Gómez, 2020).

Autorregulación, claridad de metas, criterios de evaluación y juicio evaluativo

La evaluación formativa expone que su implementación se basa en proporcionar criterios de evaluación claros y concretos a los estudiantes, facilitar la retroalimentación y permitir a los estudiantes revisar y mejorar su trabajo dándoles la oportunidad de autorregular su aprendizaje (Andrade & Brookhart, 2016). De hecho, estos procesos mencionados —planificación, monitorización y autorreflexión— son las tres fases descritas por Zimmerman (2011) en su modelo cíclico de la autorregulación del aprendizaje apoyado en las dimensiones cognitiva, metacognitiva, afectiva, motivacional y conductual del estudiante. En síntesis, para provocar su desarrollo, los docentes han de transmitir las expectativas y metas de cada tarea en forma de criterios de evaluación e involucrar a los estudiantes activamente en un proceso formativo para comprenderlos y emplearlos (Carless, 2015).

En esta línea, uno de los retos de la evaluación formativa para la próxima década expone que se debe ir un paso más allá, argumentando que no es suficiente este proceso formativo a partir de criterios de evaluación. Así, se propone desarrollar el “juicio evaluativo” de los estudiantes, definido como la capacidad para tomar decisiones fundamentadas sobre la calidad del propio trabajo o el de otros (Tai et al., 2018). Este paso adelante se basa en que los estudiantes no siempre van a tener a su disposición criterios de evaluación que indiquen la calidad de la tarea requerida. Es decir, no se enfoca exclusivamente en el ámbito educativo, sino en que es fundamental para el aprendizaje a lo largo de la vida en cualquier contexto. Esta premisa está relacionada con la función de sostenibilidad de la evaluación, como aprendizaje en sí misma (Boud & Soler, 2016). Es decir, si los estudiantes no son capaces de juzgar la calidad de su propio trabajo o el de sus compañeros, parece difícil que sepan cómo aprender de forma efectiva. Por esta razón, es fundamental que los estudiantes desarrollen la capacidad para crear ellos mismos criterios de referencia y poder evaluar la calidad del trabajo que ellos u otras personas desarrollan en cualquier ámbito. Como ejemplo, dos prácticas educativas de referencia para promover el juicio evaluativo y el desarrollo de la autorregulación del aprendizaje son la cocreación de rúbricas con los estudiantes (e.g., Fraile et al., 2017) y el análisis y crítica de ejemplos de diversa calidad (Carless et al., 2018).

Autoevaluación y evaluación entre pares

Para que los estudiantes desarrollen su capacidad de autorregulación del aprendizaje y su juicio evaluativo, deben estar expuestos a continuas oportunidades de practicar estas competencias como, por ejemplo, a través de la autoevaluación y la evaluación entre pares (Panadero & Broadbent, 2018; Tai et al., 2018). Estas prácticas provocan una transformación en el papel que desempeñan los estudiantes pasando a ser agentes activos en el proceso de evaluación formativa. Se requiere así una mayor y profunda reflexión junto con crear y proporcionar retroalimentación en cuanto a su propio desempeño y al de sus compañeros, provocando un incremento en su aprendizaje.

La autoevaluación es el proceso en el que el estudiante juzga su propio trabajo para mejorar su calidad identificando las discrepancias entre el estado actual y el estado deseado de calidad (McMillan & Hearn, 2008). Es decir, para que se produzca este proceso los estudiantes deben tener en cuenta los criterios de evaluación que exponen la calidad de la tarea y, en consecuencia, puedan autorregular su aprendizaje. Por tanto, la autoevaluación contribuye al aprendizaje del estudiante al facilitar la comprensión y claridad de las metas, su implicación para valorar su proceso de instrucción y facilitar la reflexión sobre el resultado alcanzado (G. T. L. Brown & Harris, 2013). Además, la capacidad para autoevaluarse también se refuerza a través de la participación de compañeros en el proceso de aprendizaje (To & Panadero, 2019).

La evaluación entre pares es una actividad en la que los estudiantes juzgan el trabajo desempeñado por sus compañeros. Esta práctica cuenta con grandes beneficios educativos, inter e intrapersonales (Alqassab & Panadero, 2020). De hecho, Nicol (2014) expone que es la práctica con mayor potencial para el desarrollo del juicio evaluativo debido a que requiere también el empleo de la capacidad de autorregulación del aprendizaje y la corregulación. Los beneficios de evaluar el desempeño de otros estudiantes se asocian a ver ejemplos de distinta calidad y poder contrastarlos con el propio desempeño; y reflexionar —aplicando el juicio evaluativo— para proporcionar retroalimentación al compañero (Panadero & Broadbent, 2018). Además, dentro del contexto de la evaluación formativa, las prácticas de evaluación entre pares producen beneficios a nivel interpersonal, motivacional y emocional (Panadero et al., 2016).

El trabajo grupal como práctica en la evaluación formativa

En la transformación de la universidad con el Proceso de Bolonia y su transición hacia una evaluación continua y formativa, abandonando los exámenes finales como única evidencia en el sistema de evaluación, el trabajo grupal es una de las prácticas que ha adquirido considerable presencia. Una reciente investigación sobre las prácticas de evaluación en el contexto universitario español a partir de las guías docentes expone que el trabajo en grupo está presente en el 25,9 % de las asignaturas y se emplea más en el cuarto curso que en el primero (Panadero et al., 2019).

Las razones para solicitar a los estudiantes la realización de trabajos en grupo son, principalmente, dos. En primer lugar, porque proporciona un ambiente que maximiza su aprendizaje al colaborar con otros estudiantes y considerar otros puntos de vista (Ko, 2014). Es decir, es una estrategia de aprendizaje individual en sí misma. En segundo lugar, ya que prepara a los alumnos para un ambiente similar al laboral, mejorando su empleabilidad y desarrollando las competencias que les son requeridas para el trabajo en equipos (Sridharan et al., 2019). Algunos ejemplos son el desarrollo de habilidades interpersonales y de la responsabilidad individual (Zerihun et al., 2012) o la mejora de competencias transversales relacionadas con la comunicación, presentación, resolución de problemas, liderazgo u organización (e.g., Harvey & Green, 1994)

En los trabajos en grupo se produce la corregulación del aprendizaje entre sus miembros. Este proceso se refiere a la colaboración, guiado y ayuda de los componentes entre sí (Häkkinen et al., 2017). Es decir, parte de la propia autorregulación del aprendizaje de cada estudiante y su relación con sus compañeros en la búsqueda de un objetivo común en cuanto al desempeño de su trabajo grupal. La diferencia con la evaluación entre pares está en que esta se refiere a los juicios del trabajo de otros estudiantes (Nicol & Macfarlane-Dick, 2006), mientras que la corregulación se produce en el marco de una evidencia conjunta. Evidentemente, todas estas prácticas las puede implementar el docente en sus clases ya que se ha observado que la evaluación entre pares y la autoevaluación tienen un impacto significativo en la corregulación de un grupo (Meusen-Beekman et al., 2016). Así, por ejemplo, lo aprendido en la evaluación entre pares al ver ejemplos de otros y proporcionarles retroalimentación, puede provocar un beneficio en el propio trabajo a través de un posterior proceso de corregulación entre los miembros de un equipo.

Para poder maximizar los beneficios descritos anteriormente de los trabajos en grupo, han de tenerse en cuenta las variables interpersonales. Un óptimo clima de trabajo y en las relaciones personales entre los componentes del grupo enfatizan su conexión social y provocan una mejora en el desempeño o rendimiento académico del equipo (Peñalver et al., 2019). De hecho, los estudiantes reportan que, gracias a esta interacción en los trabajos en grupo, aumenta su motivación (Gaudet et al., 2010) y satisfacción (Lizzio & Wilson, 2006). En esta línea, una de las problemáticas de los trabajos en grupo es la desconexión de uno de sus miembros eludiendo las tareas que se le asignaron y sin mostrar implicación. Una vez más, las prácticas de evaluación formativa a lo largo del proceso de elaboración del trabajo en grupo facilitan que todos los componentes se impliquen en su realización (Brooks & Ammons, 2003).

Objetivos, preguntas de investigación e hipótesis

El objetivo principal de esta investigación es explorar qué variables y en qué medida determinan la calificación obtenida en un trabajo en grupo como variable de medición del éxito de los estudiantes y valorar y evaluar, a su vez, el proceso docente implementado para la optimización del aprendizaje de los estudiantes.

Las preguntas de investigación (PI) son las siguientes:

PI1: ¿Qué impacto en la calificación del trabajo grupal tiene la forma de trabajar en equipo de los estudiantes? Se espera que una mejor colaboración y trabajo entre sus miembros esté relacionado con la obtención de una mayor calificación en el trabajo (Hipótesis 1).

PI2: ¿Cómo influye la capacidad de autorregulación de los estudiantes sobre la calificación del trabajo grupal? La hipótesis es que, a mayor capacidad de autorregulación, mayor calificación se obtiene en el trabajo (Hipótesis 2).

Método

Participantes

La muestra se compuso de 88 estudiantes voluntarios (17,4% mujeres), de entre 20 y 52 años ( M = 23,11; DT = 4,08), matriculados en cinco grupos diferentes de una asignatura sobre creatividad y actividad física del tercer curso del Grado en Ciencias de la Actividad Física y del Deporte de una universidad española.

Instrumentos y variables

Diseño y procedimiento

Esta investigación se encuadra en la realización de un trabajo en grupo de 3 o 4 estudiantes. La participación en este estudio fue voluntaria en cuanto a la cumplimentación de los cuestionarios. Todos los estudiantes experimentaron el mismo proceso al ser parte del diseño pedagógico y la evaluación de la asignatura. Los participantes rellenaron el cuestionario EMSR-Q semanas previas al inicio de la asignatura en relación con otra investigación.

Durante la asignatura, a lo largo de varias sesiones, se implementó un contexto de evaluación formativa en el que se acompañó a los alumnos en la realización de este trabajo grupal. Esta tarea se diseñó buscando un verdadero trabajo colaborativo e interdependiente (Channon et al., 2017). Asimismo, siguiendo las pautas y retos próximos de la evaluación formativa, los estudiantes debían llevar a cabo su trabajo —dinámicas creativas— con personas externas al grupo y a la asignatura. Es decir, un contexto de evaluación auténtica (Brown, 2015).

En primer lugar, los docentes tras presentar el trabajo y su objetivo, llevaron a cabo dinámicas para crear los criterios de evaluación del trabajo junto con los estudiantes y, además, desarrollar así su juicio evaluativo. Posteriormente, se proporcionó una escala de evaluación con 21 criterios para guiar y, posteriormente, calificar el trabajo. Con este instrumento se realizaron actividades para que los estudiantes fueran desarrollando el trabajo en las sesiones, guiándoles, y llevando a cabo actividades de autoevaluación, evaluación entre pares y corregulación. El fin fue acompañar especialmente la fase de planificación —primera fase en la autorregulación del aprendizaje— facilitando la comprensión e implicación de los estudiantes.

Finalmente, tras la entrega del dosier y antes de proporcionar su calificación, se obtuvo la opinión de los estudiantes mediante el cuestionario ad hoc empleado en este estudio.

Análisis de datos

Una de las principales variables de análisis es la calificación obtenida en el dosier presentado del trabajo grupal, experiencia central de aprendizaje y evaluación de esta investigación. Como se expone en el apartado de participantes, componen la muestra los estudiantes de tres docentes que llevaron a cabo las mismas dinámicas anteriormente también descritas. A pesar de que se empleó el mismo instrumento para calificar el trabajo, para obtener una mayor validez y fiabilidad, el primer autor calificó todos los trabajos dos veces, incluyendo los del resto de docentes. En caso de diferencias, se revisó para considerar un criterio único.

Se calcularon estadísticos descriptivos para las variables explicativas. Se relacionó la Calificación del Trabajo en Grupo con los grupos formados por las variables Clima de trabajo del equipo, Cohesión del grupo, Motivación por el trabajo, Trabajo repartido por igual, Objetivo claro desde inicio, Formato claro del trabajo, y Utilidad de las dinámicas creativas, mediante ANOVA de un factor. Además, puesto que algunas categorías fueron elegidas por muy pocos individuos (concretamente las que indicaban poca adecuación, acuerdo o claridad), se repitió el análisis mediante comparaciones planeadas (Pardo & San Martín, 2010, p. 217), comparando la categoría que indicaba mayor acuerdo con todas las demás tomadas en conjunto.

Utilizando los datos recogidos a 52 participantes se introdujeron las variables del EMSR-Q, las dos escalas de segundo orden —Aprendizaje y Evitación— junto con Autorregulación mediante Criterios de Evaluación, en un modelo de regresión lineal jerárquico para pronosticar la Calificación del Trabajo en Grupo. Para todos los análisis se utilizó SPSS 25.

Resultados

La calificación del trabajo en grupo osciló entre 2.90 y 10.00 ( N = 88; M = 6.87; DT = 1.91), con una distribución aproximadamente normal, z K-S = 0.67; p = .760.

PI1: ¿Qué impacto en la calificación del trabajo grupal tiene la forma de trabajar en equipo de los estudiantes?

En la Tabla 1 se pueden encontrar los estadísticos descriptivos de la calificación, en función de las diferentes variables medidas en el cuestionario ad hoc. No se encontró relación entre estas variables.

PI2: ¿Cómo influye la capacidad de autorregulación de los estudiantes sobre la calificación del trabajo grupal?

Del total de la muestra, se recogieron datos de los dos factores del EMSR-Q (Aprendizaje y Evitación) en 52 estudiantes. Para estos sujetos también se calculó el total de Autorregulación en los criterios de evaluación para el trabajo en grupo. Las tres variables fueron aproximadamente normales (ver Tabla 2).

Tabla 1
Calificación del Trabajo en Grupo en Función de las Dinámicas de Grupo
Variable Categorías observadasnMDTFgl1, gl2pt*glp
Clima de trabajo del equipoPoco adecuado36.573.310.822, 84.442-.8384.411
Bastante adecuado416.581.82
Muy adecuado437.101.87
Cohesión del grupoPoco adecuado26.980.040.432, 84.654-.2784.787
Bastante adecuado356.611.94
Muy adecuado506.991.90
Motivación por el trabajoPoco adecuado66.990.750.032, 84.971.2484.810
Bastante adecuado356.861.91
Muy adecuado466.802.00
Todos hemos trabajado por igualTotalmente en desacuerdo76.571.900.953, 83.4211.1883.242
En desacuerdo277.132.08
De acuerdo257.101.86
Totalmente de acuerdo286.391.72
Objetivo claro desde inicioPoco claro197.131.780.232, 84.794.3384.743
Bastante claro476.782.02
Muy claro216.791.85
Formato claro del trabajoPoco claro156.561.670.392, 84.678-.8384.411
Bastante claro576.861.99
Muy claro157.181.93
Utilidad dinámicas creativasPoco adecuado16.950.000.042, 84.964-.0484.965
Bastante adecuado516.811.88
Muy adecuado356.932.02
Nota: t* = Estadístico de contraste para la comparación planeada.

Tabla 2
Estadísticos Descriptivos de Autorregulación EMSR-Q y en Criterios de Evaluación
Mín.Máx.MDTzK-Sp
Estrategia de autorregulación (EMSR-Q)
Evitación125336.128.690.71.697
Aprendizaje325744.315.961.10.178
Autorregulación mediante los criterios de evaluación81210.401.221.35.053
Nota: n = 52.

El modelo de regresión resultó estadísticamente significativo, F (1.47) = 5.94; ρ = .005; R 2 = 0.168 (las variables significativas del modelo de regresión permiten explicar un 16.8% de la varianza de la calificación). De las variables de autorregulación introducidas en el modelo, fueron estadísticamente significativas el factor de Aprendizaje, β = 0.303; t = 2.29; ρ = .026, y la autorregulación mediante los criterios de evaluación, β = 0.285; t = 2.16; ρ = .036.

Discusión

Este estudio tuvo como objetivo general explorar en qué medida determinan la calificación obtenida en un trabajo en grupo la forma de colaborar los estudiantes entre sí y la influencia de su capacidad de autorregulación de su aprendizaje. Además, se pretendió valorar y evaluar, a su vez, el proceso docente implementado para la optimización del aprendizaje de los estudiantes siguiendo las pautas idóneas establecidas en la literatura y abordando los retos actuales de los procesos de evaluación formativa. Para discutir los resultados, se sigue el orden de las preguntas de investigación para, posteriormente, exponer limitaciones, futuras líneas de investigación, conclusiones e implicaciones.

Forma de trabajar en equipo

La primera pregunta de investigación exploró la relación entre la calificación obtenida en el trabajo en grupo y la forma de trabajar en conjunto reportada por los estudiantes. Se rechaza la hipótesis ya que no se encontraron relaciones entre estas variables. Sin embargo, este hecho es un resultado interesante. Para su explicación, se deben explorar las respuestas de los estudiantes en las distintas variables que exploraron la forma de trabajar en equipo. En relación con el Clima de trabajo en el equipo, la Cohesión del grupo, la Motivación por el trabajo y la Utilidad de las dinámicas creativas; el 93.1 % —como mínimo— de los estudiantes (Tabla 1) respondieron “bastante adecuado” o “muy adecuado”, es decir, las respuestas positivas de estas variables. Este hecho se conecta con la conclusión de otros estudios (e.g., Livingstone & Lynch, 2002; Peñalver et al., 2019) que apuntan a que un funcionamiento óptimo del grupo de trabajo repercute positivamente en el rendimiento académico. Por consiguiente, si casi la totalidad de los estudiantes expusieron que la dinámica de su equipo fue positiva, es comprensible que este aspecto no tuviera un impacto en la calificación. Asimismo, un proceso de evaluación formativa como el implementado en esta investigación apunta hacia un mejor clima en el aula (Alonso Martín, 2007). Por otro lado, a pesar de encontrar mayor variabilidad en las respuestas sobre la equidad en la carga de trabajo desempeñada por cada estudiante, parece que esto no produjo un efecto sobre las variables anteriormente comentadas, ni sobre la calificación del trabajo. A priori, una carga desigual podría perturbar la cohesión del grupo y afectar a la calificación, un aspecto previamente explorado en la literatura (Bendersky & Hays, 2012). Por tanto, la buena dinámica que reportan los integrantes de todos los equipos podría haber maximizado estos efectos positivos (Channon et al., 2017). Este resultado se asocia al apropiado contexto de evaluación formativa implementado por los docentes en esta investigación. En la misma línea, unas metas claras y un contexto formativo produce un impacto positivo en la motivación (Sockalingam, 2010), ya que contribuye a la mayor consciencia de sus puntos fuertes, que los hagan valer y les motive a contribuir positivamente (Livingstone & Lynch, 2002).

Capacidad de autorregulación

La segunda pregunta de investigación analizó la relación entre la calificación obtenida en el trabajo en grupo y las habilidades de autorregulación de los estudiantes a través de tres medidas diferentes: las dos escalas de segundo orden del cuestionario EMSR-Q y el uso de los criterios de evaluación del trabajo a lo largo de las tres etapas del proceso de autorregulación, reportado por los estudiantes.

En relación con los resultados del EMSR-Q, este estudio muestra que los estudiantes con un estilo de autorregulación orientado al aprendizaje alcanzaron una calificación superior. El factor relacionado con la orientación hacia la evitación no resultó significativo. En primer lugar, respectivamente, este resultado está totalmente alineado con otros estudios que muestran que una mayor autorregulación hacia el aprendizaje está relacionada con un mayor rendimiento académico (e.g., Richardson et al., 2012). Esta medida del EMSR-Q está relacionada con otra variable de este estudio compuesta a partir de los tres ítems que exploraron el empleo de los criterios de evaluación en sus tres fases. Los estudiantes que reportaron haberlos utilizado en su máxima expresión en la realización de su trabajo obtuvieron una calificación significativamente más alta. Este resultado se encuentra totalmente en la línea de estudios previos en los que el empleo de los criterios de evaluación contribuyó a una autorregulación superior y, con ello, un rendimiento académico mayor (Andrade & Brookhart, 2016).

La otra escala de segundo orden del EMSR-Q, sobre el estilo de autorregulación orientado a la evitación, no mostró resultados significativos. Es importante destacar que este estilo, en la evitación, alude a la falta de regulación asociada a la concentración en la tarea. Esta escala de segundo orden se crea a partir de tres escalas de primer orden relacionas con automensajes y acciones que conciernen, por ejemplo, a la regulación del estrés con ítems como ‘Esto es demasiado difícil... No voy a ser capaz de hacerlo bien’ (#8). Asimismo, también está relacionada con la escala de evitación y mensajes como ‘¡Vaya instrucciones más largas! Sólo sirven para liar’ (#11). El proceso implementado de evaluación formativa en este trabajo grupal provoca que probablemente no fuera tan necesario que los estudiantes activasen acciones autorregulatorias orientadas a la evitación (Boekaerts, 2011). En el contexto educativo de esta investigación, se crearon los criterios de evaluación con los estudiantes (desarrollo del juicio evaluativo), seguido de actividades de evaluación entre pares, autoevaluación y provisión de retroalimentación por parte del docente. Panadero et al. (2014) expusieron que los estudiantes que recibieron retroalimentación reportaron haber implementado más acciones relacionadas con la evitación. En el caso de esta investigación, al recibir todos retroalimentación por parte del docente, de sus compañeros de equipo y de los otros equipos, se pudo provocar que no se identifiquen diferencias significativas asociadas a la evitación. Así, las óptimas acciones docentes implementadas pueden conllevar que los estudiantes no hayan necesitado esforzarse en evitar estos automensajes negativos que les hagan decaer en cuanto a realizar y poner empeño en la tarea. Adicionalmente, como otras investigaciones argumentan, la provisión de los criterios y la participación en un contexto formativo de evaluación, reduce el estrés (e.g., Andrade & Du, 2005) y aumenta la autoeficacia (Panadero et al., 2017). Asimismo, un proceso transparente en relación con la calificación —como en esta investigación— se relaciona con actitudes de seguridad y optimismo hacia el trabajo en equipo (Livingstone & Lynch, 2002). Por lo tanto, estas variables estarían relacionadas con dicha menor necesidad de acciones autorregulatorias de evitación.

En relación con el uso de los criterios de evaluación, los estudiantes que reportaron un mayor empleo de estos a lo largo de las tres fases del proceso de autorregulación obtuvieron una calificación superior en la nota de su trabajo en grupo. Estas tres fases fueron acompañadas con diversas actividades de evaluación formativa a lo largo de las sesiones de la asignatura. Estos resultados se encuentran en la misma línea que otras investigaciones previas (Panadero et al., 2018).

Esta investigación tiene varias limitaciones que han de considerarse. En primer lugar, el tamaño muestral y ser una muestra de conveniencia. En segundo lugar, la recogida de datos se ha realizado únicamente a través de cuestionarios con datos autorreportados. Como apunta Pekrun (2020), los estudios basados en autorreporte son válidos y útiles. Sin embargo, dentro de estos recomienda una variedad de instrumentos para la recogida que aporten diferentes puntos de vista y riqueza en la información. Asimismo, en esta investigación se empleó una medida general de autorregulación, por lo que sería útil en futuras investigaciones recoger también datos situacionales (Boekaerts & Corno, 2005). En tercer lugar, el empleo de un cuestionario creado para esta investigación y administrado ad hoc. En futuros estudios sería positivo emplear otros cuestionarios validados, además de hacer un seguimiento y recoger información a lo largo del proceso.

Conclusiones

Este estudio proporciona implicaciones teóricas y prácticas para docentes e investigadores en relación con la evaluación formativa, sus prácticas y retos. Como se ha discutido y exponen los resultados, la capacidad de autorregulación es la competencia clave para el éxito en la educación superior. En esta investigación se proporciona un marco para la implementación de los trabajos en grupo, muy empleados por los docentes universitarios. Es importante que los profesores implementen prácticas de evaluación formativa basadas en el desarrollo de dicha capacidad de autorregulación del aprendizaje de los estudiantes. Su base se asocia a la creación y provisión de los criterios de evaluación, prácticas de autoevaluación, evaluación entre pares y corregulación que permitan a los alumnos tener oportunidades para implicarse, utilizar y comprender las metas de aprendizaje.

Referencias

Alonso-Tapia, J., Panadero, E., & Ruiz, M. A. (2014). Development and validity of the Emotion and Motivation Self-regulation Questionnaire (EMSR-Q). The Spanish Journal of Psychology, 17(e55), 1–15. https://doi.org/10.1017/sjp.2014.41

Alonso Martín, P. (2007). Evaluación formativa y su repercusión en el clima del aula. Revista de Investigación Educativa, 25(2).

Alqassab, M., & Panadero, E. (2020). Peer assessment. En S. M. Brookhart (Ed.), Routledge Encyclopedia of Education. Routledge.

Andrade, H., & Brookhart, S. M. (2016). The Role of Classroom Assessment in Supporting Self-Regulated Learning. En D. Laveault, & L. Allal (Eds.), Assessment for learning: Meeting the challenge of implementation (pp. 293–310). Springer. https://doi.org/10.1007/978-3-319-39211-0

Andrade, H., & Du, Y. (2005). Student perspectives on rubric-referenced assessment. Practical Assessment, Research & Evaluation, 10(3), 1–11. https://doi.org/10.7275/g367-ye94

Bendersky, C., & Hays, N. A. (2012). Status conflict in groups. Organization Science, 23(2), 323–340. https://doi.org/10.1287/orsc.1110.0734

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment Evaluation and Accountability, 21(1), 5–31. https://doi.org/10.1007/s11092-008-9068-5

Boekaerts, M. (2011). Emotions, emotion regulation, and self-regulation of learning. En B. J. Zimmerman, & D. H. Schunk (Eds.), Handbook of Self-Regulation of Learning and Performance (pp. 408–425). Routledge.

Boekaerts, M., & Corno, L. (2005). Self-regulation in the classroom: A perspective on assessment and intervention. Applied Psychology: An International Review, 54(2), 199–231. https://doi.org/10.1111/j.1464-0597.2005.00205.x

Boud, D., & Associates. (2010). Assessment 2020: Seven propositions for assessment reform in higher education. Australian Learning and Teaching Council.

Boud, D., & Soler, R. (2016). Sustainable assessment revisited. Assessment and Evaluation in Higher Education, 41(3), 400–413. https://doi.org/10.1080/02602938.2015.1018133

Bowles, A., Fisher, R., McPhail, R., Rosenstreich, D., & Dobson, A. (2014). Staying the distance: Students’ perceptions of enablers of transition to higher education. Higher Education Research & Development, 33(2), 212–225. https://doi.org/10.1080/07294360.2013.832157

Brooks, C. M., & Ammons, J. L. (2003). Free Riding in Group Projects and the Effects of Timing, Frequency, and Specificity of Criteria in Peer Assessments. Journal of Education for Business, 78(5), 268–272. https://doi.org/10.1080/08832320309598613

Brown, G. T. L., & Harris, L. R. (2013). Student self-assessment. En J. H. McMillan (Ed.), The SAGE handbook of research on classroom assessment (pp. 367–393). Thousand Oaks, CA: SAGE. https://doi.org/10.4135/9781452218649.n21

Brown, S. (2015). La evaluación auténtica: El uso de la evaluación para ayudar a los estudiantes a aprender. Revista Electrónica de Investigación y Evaluación Educativa, 21(2), 1–8. https://doi.org/10.7203/relieve.21.2.7674

Carless, D. (2015). Excellence in university assessment. Learning from award winning practice. Routledge. https://doi.org/10.4324/9781315740621

Carless, D., Kam, K., Chan, H., To, J., Lo, M., & Barrett, E. (2018). Developing students’ capacities for evaluative judgement through analysing exemplars. In D. Boud, R. Ajjawi, P. Dawson, & J. Tai (Eds.), Developing Evaluative Judgement in Higher Education: Assessment for knowing and producing quality work (pp. 108–116). Routledge. https://doi.org/10.4324/9781315109251-12

Channon, S. B., Davis, R. C., Goode, N. T., & May, S. A. (2017). What makes a ‘good group’? Exploring the characteristics and performance of undergraduate student groups. Advances in Health Sciences Education, 22(1), 17–41. https://doi.org/10.1007/s10459-016-9680-y

Christie, H., Barron, P., & D’Annunzio-Green, N. (2013). Direct entrants in transition: becoming independent learners. Studies in Higher Education, 38(4), 623–637. https://doi.org/10.1080/03075079.2011.588326

Coertjens, L., Brahm, T., Trautwein, C., & Lindblom-Ylänne, S. (2017). Students’ transition into higher education from an international perspective. Higher Education, 79(3), 357–369. https://doi.org/10.1007/s10734-016-0092-y

Fraile, J., Panadero, E., & Pardo, R. (2017). Co-creating rubrics: The effects on self-regulated learning, self-efficacy and performance of establishing assessment criteria with students. Studies in Educational Evaluation, 53, 69–76. https://doi.org/10.1016/j.stueduc.2017.03.003

Fraile, J., Sánchez, J. M., & Gil, M. (2018, Febrero 12-16). Empleo de los criterios de evaluación para la autorregulación del aprendizaje [Presentación oral]. 11. Congreso Internacional de Educación Superior, Havana, Cuba.

Gale, T., & Parker, S. (2014). Navigating change: a typology of student transition in higher education. Studies in Higher Education, 39(5), 734–753. https://doi.org/10.1080/03075079.2012.721351

García-Jiménez, E. (2015). La evaluación del aprendizaje: de la retroalimentación a la autorregulación. El papel de las tecnologías. Revista Electrónica de Investigación y Evaluación Educativa, 21(2). https://doi.org/http://dx.doi.org/10.7203/relieve.21.2.7546

Gaudet, A. D., Ramer, L. M., Nakonechny, J., Cragg, J. J., & Ramer, M. S. (2010). Small-group learning in an upper-level university biology class enhances academic performance and student attitudes toward group work. PLoS ONE, 5(12). https://doi.org/10.1371/journal.pone.0015821

Häkkinen, P., Järvelä, S., Mäkitalo-Siegl, K., Ahonen, A., Näykki, P., & Valtonen, T. (2017). Preparing teacher-students for twenty-first-century learning practices (PREP 21): a framework for enhancing collaborative problem-solving and strategic learning skills. Teachers and Teaching, 23(1), 25–41. https://doi.org/10.1080/13540602.2016.1203772

Harvey, L., & Green, D. (1994). Employer Satisfaction. Birmingham: University of Central England.

Hortigüela-Alcalá, D., Pérez-Pueyo, A., & López-Pastor, V. (2015). Student involvement and management of students’ workload in formative assessment in higher education. Revista Electronica de Investigacion y Evaluacion Educativa, 21(1), 1–15. https://doi.org/10.7203/relieve.21.1.5171

Hultberg, J., Plos, K., Hendry, G. D., & Kjellgren, K. I. (2008). Scaffolding students’ transition to higher education: parallel introductory courses for students and teachers. Journal of Further and Higher Education, 32(1), 47–57. https://doi.org/10.1080/03098770701781440

Ibarra-Sáiz, M., & Rodríguez-Gómez, G. (2020). Aprendiendo a evaluar para aprender en la Educación Superior. Revista Iberoamericana de Evaluación Educativa, 13(1), 5–8. https://doi.org/10.15366/riee2020.13.1.005

Ibarra Sáiz, M. S., & Rodríguez Gómez, G. (2010). An approach to the dominant discourse of learning assessment in higher education. Revista de Educación, 351, 385–407.

Ko, S. S. (2014). Peer assessment in group projects accounting for assessor reliability by an iterative method. Teaching in Higher Education, 19(3), 301–314. https://doi.org/10.1080/13562517.2013.860110

Koivuniemi, M., Panadero, E., Malmberg, J., & Järvelä, S. (2017). Higher education students’ learning challenges and regulatory skills in different learning situations / Desafíos de aprendizaje y habilidades de regulación en distintas situaciones de aprendizaje en estudiantes de educación superior. Infancia y Aprendizaje, 40(1), 19–55. https://doi.org/10.1080/02103702.2016.1272874

Krause, K. L., & Coates, H. (2008). Students’ engagement in first-year university. Assessment & Evaluation in Higher Education, 33(5), 493–505. https://doi.org/10.1080/02602930701698892

Livingstone, D., & Lynch, K. (2002). Reflections on «group project work and student-centred learning». Journal of Geography in Higher Education, 26(2), 213–215. https://doi.org/10.1080/03098260220144739

Lizzio, A., & Wilson, K. (2006). Enhancing the effectiveness of self-managed learning groups: Understanding students’ choices and concerns. Studies in Higher Education, 31(6), 689–703. https://doi.org/10.1080/03075070601004309

McMillan, J. H., & Hearn, J. (2008). Student Self-Assessment: The Key to Stronger Student Motivation and Higher Achievement. Educational Horizons, 87(1), 40–49. http://www.eric.ed.gov/ERICWebPortal/contentdelivery/servlet/ERICServlet?accno=EJ815370

McPhail, R., Fisher, R., & McConachie, J. (2009, Junio 29 – Julio 1). Becoming a Successful First year Undergraduate: when Expectations and Reality Collide. 12th Pacific Rim First Year in Higher Education, Townsville, Australia.

Meusen-Beekman, K. D., Joosten-ten Brinke, D., & Boshuizen, H. P. A. (2016). Effects of formative assessments to develop self-regulation among sixth grade students: Results from a randomized controlled intervention. Studies in Educational Evaluation, 51, 126–136. https://doi.org/10.1016/j.stueduc.2016.10.008

Nicol, D. (2014). Guiding principles for peer review: unlocking learners’ evaluative skills. En C. Kreber, C. Anderson, N. Entwistel, & J. McArthur (Eds.), Advances And Innovations In University Assessment And Feedback (pp. 197–224). Edinburgh University Press. https://doi.org/10.3366/edinburgh/9780748694549.003.0011

Nicol, D., & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199–218. https://doi.org/10.1080/03075070600572090

Oolbekkink‐Marchand, H. W., van Driel, J. H., & Verloop, N. (2006). A breed apart? A comparison of secondary and university teachers’ perspectives on self‐regulated learning. Teachers and Teaching, 12(5), 593–614. https://doi.org/10.1080/13540600600832338

Panadero, E., Alonso-Tapia, J., & Huertas, J. A. (2014). Rubrics vs. self-assessment scripts: effects on first year university students’ self-regulation and performance. Infancia y Aprendizaje, 37(1), 149–183. https://doi.org/10.1080/02103702.2014.881655

Panadero, E., Andrade, H., & Brookhart, S. M. (2018). Fusing self-regulated learning and formative assessment: a roadmap of where we are, how we got here, and where we are going. Australian Educational Researcher, 45, 13–31. https://doi.org/10.1007/s13384-018-0258-y

Panadero, E., & Broadbent, J. (2018). Developing evaluative judgement: A self-regulated learning perspective. En D. Boud, R. Ajjawi, P. Dawson, & J. Tai (Eds.), Developing Evaluative Judgement in Higher Education: Assessment for Knowing and Producing Quality Work (pp. 81–89). Routledge. https://doi.org/10.4324/9781315109251

Panadero, E., Brown, G. T. L., & Strijbos, J. W. (2016). The future of student self-assessment: A review of known unknowns and potential directions. Educational Psychology Review, 28(4), 803–830. https://doi.org/10.1007/s10648-015-9350-2

Panadero, E., Fraile, J., Fernández-Ruiz, J., Castilla-Estévez, D., & Ruiz, M. A. (2019). Spanish university assessment practices: Examination tradition with diversity by faculty. Assessment & Evaluation in Higher Education, 44(3), 379–397. https://doi.org/10.1080/02602938.2018.1512553

Panadero, E., Jonsson, A., & Botella, J. (2017). Effects of self-assessment on self-regulated learning and self-efficacy: Four meta-analyses. Educational Research Review, 22, 74–98. https://doi.org/10.1016/j.edurev.2017.08.004

Pardo, A., & San Martín, R. (2010). Análisis de datos en ciencias sociales y de la salud (vol 2). Síntesis.

Pekrun, R. (2020). Self-report is indispensable to assess students’ learning. Frontline Learning Research, 8(3), 185–193. https://doi.org/10.14786/flr.v8i3.637

Peñalver, J., Salanova, M., Martínez, I. M., & Schaufeli, W. B. (2019). Happy-productive groups: How positive affect links to performance through social resources. Journal of Positive Psychology, 14(3), 377–392. https://doi.org/10.1080/17439760.2017.1402076

Pérez Pueyo, Á., Julián Clemente, J. A., & López Pastor, V. M. (2009). Evaluación formativa y compartida en el Espacio Europeo de Educación Superior (EEES). En V. M. López (Ed.), Evaluación formativa y Compartida en Educación Superior (pp. 19–44). Narcea.

Richardson, M., Abraham, C., & Bond, R. (2012). Psychological correlates of university students’ academic performance: a systematic review and meta-analysis. Psychological Bulletin, 138(2), 353–387. https://doi.org/10.1037/a0026838

Rodríguez-Gómez, G., & Ibarra-Sáiz, M. S. (2015). Assessment as Learning and Empowerment: Towards Sustainable Learning in Higher Education. En M. Peris-Ortiz, & J. M. Merigó Lindahl (Eds.), Sustainable Learning in Higher Education. Innovation, Technology, and Knowledge Management (pp. 1–20). Springer, Cham. https://doi.org/https://doi.org/10.1007/978-3-319-10804-9_1

Sockalingam, N. (2010). Characteristics of problems in problem-based learning . Social Sciences, Ph.D. Erasmus University Rotterdam. https://doi.org/10.7771/1541-5015.1135

Sridharan, B., Tai, J., & Boud, D. (2019). Does the use of summative peer assessment in collaborative group work inhibit good judgement? Higher Education, 77(5), 853–870. https://doi.org/10.1007/s10734-018-0305-7

Tai, J., Ajjawi, R., Boud, D., Dawson, P., & Panadero, E. (2018). Developing evaluative judgement: enabling students to make decisions about the quality of work. Higher Education, 76(3), 467–481. https://doi.org/10.1007/s10734-017-0220-3

To, J., & Panadero, E. (2019). Peer assessment effects on the self-assessment process of first-year undergraduates. Assessment and Evaluation in Higher Education, 44(6), 920–932. https://doi.org/10.1080/02602938.2018.1548559

Zerihun, Z., Beishuizen, J., & Van Os, W. (2012). Student learning experience as indicator of teaching quality. Educational Assessment Evaluation and Accountability, 24(2), 99–111. https://doi.org/10.1007/s11092-011-9140-4

Zimmerman, B. J. (2011). Motivational sources and outcomes of self-regulated learning and performance. En B. J. Zimmerman, & D. Schunk (Eds.), Handbook of self-regulation of learning and performance (pp. 49–64). Routledge.

Zimmerman, B. J., & Schunk, D. H. (2011). Influences on the Development of Academic Self-Regulatory Processes. Handbook of Self-Regulation of Learning and Performance. Routledge. https://doi.org/10.4324/9780203839010.ch3

Notas

Financiación Este trabajo ha sido financiado por la Universidad Francisco de Vitoria en la Convocatoria de Investigación en Innovación Educativa 2020 en el proyecto “Empleo interdisciplinar y formativo de las rúbricas en educación superior” (UFV2020-46).

Notas de autor

* Fraile, J. (juan.fraile@ufv.es) 0000-0002-7212-7380 Doctor en Ciencias de la Actividad Física y del Deporte por la Universidad Politécnica de Madrid. Actualmente es profesor en la Universidad Francisco de Vitoria. Su línea de investigación está relacionada con los contextos de evaluación formativa, en especial, la autorregulación del aprendizaje y el empleo de rúbricas.
** Gil-Izquierdo, M. (maria.gil@uam.es) 0000-0001-8268-575X Doctora en Economía por la Universidad Complutense de Madrid. Licenciada en Economía por la Universidad Carlos III de Madrid y Diplomada en Ciencias Empresariales por la Universidad de Extremadura. Actualmente es profesora del Departamento de Economía Aplicada en la Universidad Autónoma de Madrid. Sus principales líneas de investigación son Economía de la Educación, Análisis Económico de la Pobreza, la Distribución y Redistribución de la Renta y Análisis Estadístico de Datos.
*** Zamorano-Sande, D. (davidzamoranosande@gmail.com) 0000-0002-3291-6983 Graduado en Ciencias de la Actividad Física y del Deporte por la Universidad Politécnica de Madrid. Sus principales líneas de investigación guardan relación con los contextos de evaluación formativa, concretamente en su aplicación en la educación física.
**** Sánchez-Iglesias, I. (i.sanchez@psi.ucm.es) 0000-0002-6934-7905 Doctor en Psicología por la Universidad Autónoma de Madrid, y Máster en Metodología de las Ciencias del Comportamiento y de la Salud. Actualmente es profesor del Departamento de Psicobiología & Metodología de las Ciencias del Comportamiento, en la Universidad Complutense de Madrid. Miembro del equipo de trabajo del grupo de investigación del proyecto titulado "Elementos clave para el éxito académico en la educación superior: aprendizaje autorregulado".

juan.fraile@ufv.es

Información adicional

Cómo referenciar este artículo: Fraile, J., Gil-Izquierdo, M., Zamorano-Sande, D., & Sánchez-Iglesias, I. (2020). Autorregulación del aprendizaje y procesos de evaluación formativa en los trabajos en grupo. RELIEVE, 26(1), art. M5. http://doi.org/10.7203/relieve.26.1.17402

Enlace alternativo

HTML generado a partir de XML-JATS4R por