Formación de docentes en competencias digitales para la evaluación formativa mediante e-rúbricas colaborativas

  1. Cebrián-Robles, Violeta 1
  2. Ruíz-Rey, Francisco José 2
  3. Cebrián de la Serna, Manuel 2
  1. 1 Universidad de Extremadura (España)
  2. 2 Universidad de Málaga (España)
Journal:
RELATEC: Revista Latinoamericana de Tecnología Educativa

ISSN: 1695-288X

Year of publication: 2023

Volume: 22

Issue: 2

Pages: 9-25

Type: Article

DOI: 10.17398/1695-288X.22.2.9 DIALNET GOOGLE SCHOLAR lock_openDehesa editor

More publications in: RELATEC: Revista Latinoamericana de Tecnología Educativa

Abstract

This study is based on the premise that the teaching profession is one of the professions with the greatest responsibility for educating citizens in digital competence, and as such we should focus on how to train these professionals. We carried out this research during an in-service teacher training programme in Ecuador and based it on the principle that we should train teachers in the same way as we expect them to teach their students. During the training programme, teachers acquire formative assessment skills using digital e-rubrics (teacher and peer assessment) and work in collaboration with other teams of teachers. We analysed the results of applying the same digital rubric to an oral competence exercise involving participating and course teachers, and conducted a correlational research design, obtaining a Cronbach's alpha of 0.953 from the 508 evaluations carried out with the same e-rubric. Based on the results, we present a digital rubric that has been validated to assess the oral presentation of educational projects. Moreover, we analysed the difficulties teachers had when using the rubric, as shown in the assessment of the quality of the resources. Examples of other practices and contexts for training teachers in digital rubric methods are also presented. Finally, we provide a set of web-based rubric tools as possible applications.

Bibliographic References

  • Bolívar, A. (2018). Cultura escolar colegiada y capital profesional. Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/3727
  • Carpenter, S. K., Pan, S. C., & Butler, A. C. (2022). The science of effective learning with spacing and retrieval practice. Natura Reviews Psychology, 1(9), 496–511. https://doi.org/10.1038/s44159-022-00089-1
  • Cebrián-Robles, D., Franco-Mariscal, A. J., & Blanco-López, Á. (2021). Secuencia de tareas para enseñar argumentación en ciencias a profesorado en formación inicial a través de CoRubric. Ejemplificación en una actividad sobre una central salina. Didáctica de las Ciencias Experimentales y Sociales, 0(40), 149–168. https://doi.org/10.7203/dces.40.18178
  • Cebrián-de-la-Serna, M. (2018). Modelo de evaluación colaborativa de los aprendizajes en el prácticum mediante Corubric. Revista Practicum, 3(1). pp.62-79. https://doi.org/10.24310/RevPracticumrep.v3i1.8275
  • Cebrián-de-la-Serna, M., Bartolomé-Pina, A., Cebrián-Robles, D., & Ruiz-Torres, M. (2015). Study of portfolio in the Practicum: an Analysis of PLE-Portfolio. RELIEVE, 21(2). https://doi.org/10.7203/relieve.21.2.7479
  • Cebrián de la Serna, M. & Bergman, M. (2014). Formative Assessment with eRubrics: an Approach to the State of the Art. Revista de docencia universitaria, 12(1), 15-22. http://dx.doi.org/10.4995/redu.2014.6427
  • Cebrián-Robles, D., Cebrián-de-la-Serna, M., Gallego-Arrufat, M. J., & Contreras, J. Q. (2018). Impacto de una rúbrica electrónica de argumentación científica en la metodología blended-learning. Revista Iberoamericana de Educación a Distancia, 21(1), 75-94. https://doi.org/10.5944/ried.21.1.18827
  • Cica-Yulia, A. & Muktiarni, M. (2020). Electronic rubric: evaluation tool in the assessment process in vocational education. Journal of Engineering Science and Technology, 15(6), 3789–3802. https://acortar.link/RPRlFP
  • Company, P., Otey, J., Agost, M.-J., Contero, M., & Camba, J. D. (2019). Teachers as designers of formative e-rubrics: a case study on the introduction and validation of go/no-go criteria. Universal Access in the Information Society, 18(3), 675–688. https://doi.org/10.1007/s10209-019-00686-7
  • Coskett, A. & Jackson, C. (2018). The use of assessment rubrics to enhance feedback in higher education. An integrative literature review. Nurse Education Today, 69, 8–13. https://doi.org/10.1016/j.nedt.2018.06.022
  • Cubero-Ibáñez, J., & S. y Rodríguez-Gómez G., I.-S. M. (2018). Propuesta metodológica de evaluación para evaluar competencias a través de tareas complejas en entornos virtuales de aprendizaje. Revista de Investigación Educativa, 36(1), 159–184. https://doi.org/10.6018/rie.36.1.278301
  • Dawson, P. (2017). Assessment rubrics: towards clearer and more replicable design, research and practice. Assessment & Evaluation in Higher Education, 42(3), 347–360. https://doi.org/10.1080/02602938.2015.1111294
  • Deniz, I., & Aksu, B. (2021). Gathering evidence on e-rubrics: Perspectives and many facet Rasch analysis of rating behavior. International Journal of Assessment Tools in Education, 448–468. https://doi.org/10.21449/ijate.818151
  • Devlin, L., Pol, M., Lazarová. B., Vanhoof, J., Vanlommel,K., Lelieur, R., Schelfout, W., Malmberg, K., Hortlund, T., Erculj, J., Brejc, M., Wallis, T., Morgan-Guthrie, R., Verbiest, E., Cebrián, D., & Cebrian, M. (2019). Making the Case for Enhanced School Leadership Capacity in a Networked Education System. Perspectives on Leadership, 17(3),43-60. https://n9.cl/bxi3k
  • Dickinson, P., & Adams, J. (2017). Values in evaluation - The use of rubrics. Evaluation and Program Planning, 65, 113–116. https://doi.org/10.1016/j.evalprogplan.2017.07.005
  • Eurydice (2019). La profesión docente en Europa: acceso, progresión y apoyo. Informe de Eurydice. Luxemburgo: Oficina de Publicaciones de la Unión Europea. https://doi.org/10.2797/917260
  • Fernández-Medina, C.R., Luque-Guerrero, C.R., Ruiz Rey, F.J., Rivera-Rogel, D.E., Andrade-Vargas, L. D., & Cebrián-de-la-Serna, M. (2021). Evaluación de la competencia oral con rúbricas digitales para el Espacio Iberoamericano del Conocimiento. Pixel-Bit. Revista de Medios y Educación, 69, 71-106. https://doi.org/10.12795/pixelbit.83050
  • García-Zabaleta, E., Díez-Gómez, A., Santiago, R., & Valdemoros, M. Á. (2020). El potencial pedagógico del Estudio de Caso mediante el uso del e-portfolio y la e-rúbrica: una experiencia interdisciplinar. Edutec. Revista Electrónica de Tecnología Educativa, 74, 149-169. https://doi.org/10.21556/edutec.2020.74.1599
  • Gómez López, L. & Silas Casillas, J. (2016). La comunidad virtual de práctica. Alternativa para la formación continua de profesores CPU-e. CPU-E Revista de Investigación Educativa, 22, 28–51. https://www.redalyc.org/articulo.oa?id=283143550003
  • Hargreaves, A., & O’Connor, M. T. (2020). Profesionalismo colaborativo. Cuando enseñar juntos supone el aprendizaje de todos. Madrid: Morata
  • Hargreaves, A., & Fullan, M. (2020). Professional capital after the pandemic: revisiting and revising classic understandings of teachers’ work. Journal of Professional Capital and Community, 5(3/4), 327–336. https://doi.org/10.1108/JPCC-06-2020-0039
  • INTEF (2023). El Marco de Referencia de la Competencia Digital Docente es un marco de referencia para el diagnóstico y la mejora de las competencias digitales del profesorado. http://aprende.intef.es/mccdd
  • Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences.
  • Educational Research Review, 2(2), 130–144. https://doi.org/10.1016/j.edurev.2007.05.002
  • Jordan, K., David, R., Phillips, T., & Pellini, A. (2021). Education during the COVID-19: crisis Opportunities and constraints of using EdTech in low-income countries. RED, 21(65). https://doi.org/10.6018/red.453621
  • Marcelo, C., & Marcelo, P. (2021). Educational influencers on Twitter. Analysis of hashtags and relationship structure. Comunicar, 29(68), 73–83. https://doi.org/10.3916/c68-2021-06
  • Martín-Cuadrado, A.M.; Pérez-Sánchez, L.; Álvarez, M. y Dominguez Alonso, F., (2022). Capacitación de formadores en competencias digitales. AECID. https://n9.cl/kduzkd
  • Masek, A., Ismail, A., Nurtanto, M., & Hasim, S. (2021). Enhancing Professional Knowledge and Self-Concept Through Self and Peer Assessment Using Rubric: A Case Study for Pre-Services TVET Teachers. Journal of Engineering Education Transformations, 35(1), 110–115. https://bit.ly/430qXrQ
  • Paredes-Labra, J., Guitert-Catasús, M., & Rubia-Avi, B. (2015). La innovación y la tecnología educativa como base de la formación inicial del profesorado para la renovación de la enseñanza. Revista Latinoamericana de Tecnología Educativa, 14(1), 101-114. https://n9.cl/r7l7c
  • Park, E., Leonard, A., Delano, J. S., Tang, X., & Grzybowski, D. M. (2020). Rubric-Based Assessment of Entrepreneurial Minded Learning in Engineering Education: A Review. International Journal of Engineering Education, 36(6), 2015–2029. https://eed.osu.edu/sites/default/files/2021-01/25_ijee4005_final.pdf
  • Peirats, J., Muñoz, J. L., & San Martín, Á. (2015). Los imponderables de la tecnología educativa en la formación del profesorado. Revista latinoamericana de tecnología educativa, 14(3), 11–22. https://doi.org/10.17398/1695-288X.14.3.11
  • Pérez-Sánchez, C. L., Martín-Cuadrado, A. M., Álvarez, M., & Alonso, F. D. (2022). Guía didáctica del itinerario de capacitación en línea de formadores en competencia digital. AECID. https://n9.cl/k7kpr
  • Pérez-Torregrosa, A.-B., Gallego-Arrufat, M.-J., & Cebrián-de-la-Serna, M. (2022). Digital rubric-based assessment of oral presentation competence with technological resources for preservice teachers. Estudios Sobre Educación, 43, 177–198. https://doi.org/10.15581/004.43.009
  • Pérez-Torregrosa, A.B., Cebrián-Robles, V. y Cebrián-de-la-Serna, M. (2022). ¿Qué hemos aprendido sobre la evaluación de rúbricas digitales en los aprendizajes universitarios? En Merma-Molina y Gavilán-Martín (Eds.), Investigación e innovación en el contexto educativo desde una perspectiva colectiva, 229-240. Dykinson. https://acortar.link/3nwug2
  • Raposo-Rivas, M., & Cebrián-de-la-Serna, M. (2019). Technology to Improve the Assessment of Learning. Digital Education Review, 35, 1–13. https://doi.org/10.1344/der.2019.35.%25p
  • Rodríguez Gallego, M. R. (2012). Cómo evaluar la competencia comunicativa a través de rúbricas en educación superior. DIDAC, 60, 27–31. https://didac.ibero.mx/index.php/didac/issue/view/18/DIDAC%2060
  • Serrano-Angulo, J. & Cebrián-de-la-Serna, M. (2011). Study of the impact on student learning using the eRubric tool and peer assessment. In A. Méndez Vilas (Ed.), Education in a technological world: coomunicating current and emerging research and technological efforts (pp. 421-427). Edit Formatex Research Center. https://cutt.ly/8t57dPt
  • Seashore Louis, K. (2006). Changing the Culture of Schools: Professional Community, Organizational Learning, and Trust. Journal of School Leadership, 16(5), 477–489. https://doi.org/10.1177/105268460601600502
  • Suh, J., Gallagher, M. A., Capen, L., & Birkhead, S. (2021). Enhancing teachers’ noticing around mathematics teaching practices through video-based lesson study with peer coaching. International Journal for Lesson & Learning Studies, 10(2), 150–167. https://doi.org/10.1108/IJLLS-09-2020-0073
  • Tractenberg, R. E. (2021). The Assessment Evaluation Rubric: Promoting Learning and Learner-Centered Teaching through Assessment in Face-to-Face or Distanced Higher Education. Education Sciences, 11(8), 441. https://doi.org/10.3390/educsci11080441
  • Turra, Y., Villagra, C. P., Mellado-Hernández, M. E., & Aravena, O. A. (2022). Diseño y validación de una escala de percepción de los estudiantes sobre la cultura de evaluación como aprendizaje. RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa, 28(2). https://doi.org/10.30827/relieve.v28i2.25195
  • Velasco-Martínez, L. C., & Hurtado, J. C. T. (2018). Uso de rúbricas en educación superior y evaluación de competencias. Profesorado, Revista de Currículum y Formación del Profesorado, 22(3), 183–208. https://doi.org/10.30827/profesorado.v22i3.7998
Data source: Dialnet