Análisis comparativo de las Pruebas de Acceso a la Universidad bajo el enfoque de comparabilidad de constructo

  1. Alejandro Veas 1
  2. Isabel Benítez 2
  3. Leandro Navas 1
  4. Raquel Gilar-Corbí 1
  1. 1 Universitat d'Alacant
    info

    Universitat d'Alacant

    Alicante, España

    ROR https://ror.org/05t8bcz72

  2. 2 Universidad Loyola Andalucía
    info

    Universidad Loyola Andalucía

    Sevilla, España

    ROR https://ror.org/0075gfd51

Journal:
Revista de educación

ISSN: 0034-8082

Year of publication: 2020

Issue: 388

Pages: 65-84

Type: Article

DOI: 10.4438/1988-592X-RE-2020-388-447 DIALNET GOOGLE SCHOLAR lock_openOpen access editor

More publications in: Revista de educación

Abstract

Los procesos de evaluación constituyen una herramienta fundamental en el marco de la formación y selección de estudiantes. Sin embargo, no existen estudios empíricos en España que analicen la utilidad de las pruebas de evaluación para medir el rendimiento académico. El presente estudio, en base a las investigaciones realizadas sobre el enfoque de comparabilidad de constructo (construct comparability approach), realiza un análisis comparativo de las calificaciones obtenidas de 15 asignaturas de las Pruebas de Acceso a la Universidad (PAU) en la provincia de Alicante, con una muestra de 6709 estudiantes. Se emplea el modelo de Rasch de crédito parcial como método de estimación, considerando cada materia como un ítem de un instrumento relacionado con la medición del constructo rendimiento académico. Los resultados iniciales mostraron el cumplimiento de la unidimensionalidad, así como un ajuste de todas materias al modelo, aunque se apreció una falta de discriminación entre sujetos de alto y bajo rendimiento, debido principalmente a la ausencia de monotonocidad de las categorías de puntuación. Se observa que el nivel de dificultad de las materias se adecúa al nivel habilidad de la mayor parte de los sujetos. En base a estos resultados, se destaca la capacidad de las pruebas analizadas para informar sobre el rendimiento académico de los estudiantes. A su vez, se derivan conclusiones relevantes para la mejora de los procesos de calificación, y se proponen investigaciones futuras. Palabras clave: Pruebas de Acceso a la Universidad, evaluación educativa, rendimiento académico, enfoque de comparabilidad de constructo, modelo de Rasch de crédito parcial.

€ View funding

Funding information

El presente trabajo se deriva del Proyecto emergente de investigación con referencia GRE17-16, financiado por el Vicerrectorado Investigación y Transferencia de Conocimiento de la Universidad de Alicante.

Funders

Bibliographic References

  • Baird, J., Cresswell, M., y Newton, P. (2000). Would the real gold standard please step forward? Research Papers in Education, 15(2), 213-229. https://doi.org/10.1080/026715200402506
  • Blanco, A., González, C., y Ordóñez, X. G. (2009). Patrones de correlación entre medidas de rendimiento escolar en evaluaciones longitudinales: un estudio de simulación desde un enfoque multinivel. Revista de Educación, 348, 195-215.
  • Bond, T. (2004). Validity and assessment: A Rasch measurement perspective. Metodología de las Ciencias del Comportamiento, 5, 179- 194.
  • Bond, T. G., y Fox, C. M. (2007). Applying the Rasch model: Fundamental measurement in the human sciences. New York, USA: Psychology Press.
  • Coe, R. (2008). Comparability of GCSE examination in different subjects: an application of the Rasch model. Oxford Review of Education, 24(55), 609-636. https://doi.org/10.1080/03054980801970312
  • Coe, R. (2010). Understanding comparability of examination standards. Research Papers in Education, 25(3), 271-284. https://doi.org/10.1080/02671522.2010.498143
  • Dicke, T., Marsh, H. W., Parker, P. D., Pekrun, R., Guo, J., y Televantou, I. (2018). Effects of school-average achievement on individual selfconcept and achievement: Unmasking phantom effects masquerading as true compositional effects. Journal of Educational Psychology, 110(8), 1112-1126. https://doi.org/10.1037/edu0000259
  • Gaviria, J. L. (2005). La equiparación del expediente de Bachillerato en el proceso de selección de alumnos para el acceso a la universidad. Revista de Educación, 337, 351-387.
  • He, Q., Stockford, I., y Meadows, M. (2018). Inter-subject comparability of examination standards in GCSE and GCE in England. Oxford Review of Education, 44(4), 494-513. https://doi.org/10.1080/03054985.2018.1430562
  • Hübner, N., Wagner, W., Hochweber, J., Neumann, M., y Nagengast, B. (2019). Comparing apples and oranges: Curricular intensification reforms can change the meaning of students’ grades! Journal of Educational Psychology. https://doi.org/10.1037/edu0000351
  • Jiménez, M. (2000). Competencia social: intervención preventiva en la escuela. Revista Infancia y Sociedad, 24, 21-48.
  • Korobko, O. B., Glas, C. A., Bosker, R. J., & Luyten, J. W. (2008). Comparing the difficulty of examination subjects with item response theory. Journal of Educational Measurement, 45(2), 139-157.
  • Lamprianou, I. (2009). Comparability of examination standards between subjects: an international perspective. Oxford Review of Education, 35(2), 20-226. https://doi.org/10.1080/02054980802649360
  • Ley Orgánica 8/2013, de 9 de diciembre, para la Mejora de la Calidad Educativa. Boletín Oficial del Estado (España), 10 de diciembre de 2013, 295, 97.858-97.921.
  • Linacre, J. M. (1998). Structure in Rasch residuals: Why principal component analysis? Rasch Measurement Transactions, 12, 636.
  • Linacre, J. M. (2019). WINSTEPS rasch measurement computer program [version 4.4.0]. Chicago, USA: Winsteps.
  • López-Martín, E., Kuosmanen, T., y Gaviria, J. L. (2014). Linear and nonlinear growth models for value-added assessment. An application to Spanish primary and secondary schools’ progress in reading comprehension. Educational Assessment, Evaluation and Accountability, 26(4), 361- 391. https://doi.org/10.1007/s11092-014-9194-1
  • Martí, M. L., y Puertas, R. (2018). Comparativa de la eficiencia educativa de Europa y Asia: TIMMS 2015. Revista de Educación, 380, 45-74. https://doi.org10.4438/1988-592X-RE-2017-380-372
  • Newton, P. E. (2005). Examination standards and the limits of linking. Assessment in Education, 12(2), 105-123. https://doi.org/10.1080/09695940500143795
  • Rasch, G. (1980). Probabilistic models for intelligence and attainment tests (Copenhagen, Danish Institute for Educational Research). Expanded edition (1989) with foreword and afterword by B. D. Wright. Chicago, USA: The University of Chicago Press.
  • Real Decreto 1105/2014, de 26 de diciembre, por el que se establece el currículo básico de la Educación Secundaria Obligatoria y del Bachillerato. Boletín Oficial del Estado (España), 3 de enero de 2015, 3, 169-546.
  • Real Decreto 412/2014, de 8 de junio, por el que se establece la normativa básica de los procedimientos de admisión a las enseñanzas universitarias oficiales de grado. Boletín Oficial del Estado (España), 7 de junio de 2014, 138, 43307-43323.
  • Rodríguez-Menéndez, M. C., Inda, M. M., y Peña-Calvo, J. V. (2014). Rendimiento en la PAU y elección de estudios científico-tecnológicos en razón de género. Revista Española de Orientación y Psicopedagogía, 25(1), 111-127.
  • Ruiz, J., Dávila, P., Etxeberría, J., y Sarasua, J. (2011). Pruebas de selectividad en matemáticas en la UPC-EHU. Resultados y opiniones de los profesores. Revista de Educación, 362, 217-246.
  • Sayans-Jiménez, P., Vázquez-Cano, E., y Bernal-Bravo, C. (2018). Influencia de la riqueza familiar en el rendimiento lector del alumnado en PISA. Revista de Educación, 380, 129-155. https://doi.org/10.4438/1988-592X-RE-2017-380-375
  • Sondergeld, T., y Koskey, K. (2011). Evaluating the impact f an urban comprehensive school reform: An illustration of the need for mixed methods. Studies in Educational Evaluation, 37, 91-107. https://doi.org/10.1016/j.stueduc.2011.08.001
  • Tasmanian Qualifications Authority (2007). How the scaled awards are calculated and used to determine the tertiary entrance score. Available online at: www.tqa.tas.gov.au/0477
  • Tognolini, J., y Andrich, D. (1996). Analysis of profiles of students applying for entrance to universities. Applied Measurement in Education, 9(4), 323-353. https://doi.org/10.1207/s1532481ame0904_3
  • Valle, A., Núñez, J. C., Cabanach, R. G., González-Pienda, J. A., Rodríguez, S., Rosário, P., … Muñoz-Cadavid, M. (2008). Self-regulated profiles and academic achievement. Psicothema, 20(4), 724-731.
  • Wiliam, D. (1996a). Meanings and consequences in standard setting. Assessment in Education, 3(3), 287-308. https://doi.org/10.1080(0969594960030303
  • Wiliam, D. (1996b). Standards in examinations: A matter of trust? The Curriculum Journal, 7(3), 293-306.
  • Wright, B. D., y Stone, M. H. (1979). Best test design. Chicago, USA: MESA Press.
Data source: Dialnet