¿Innovar en el examen tipo test? La prueba objetiva inversa para mejorar la evaluación sumativa en educación superior
Enviado: 16-05-2024
|Aceptado: 07-11-2024
|Publicado: 30-12-2024
Derechos de autor 2024 Fernando Martínez-Abad, Juan Pablo Hernández-Ramos, José Carlos Sánchez-Prieto, Vanessa Izquierdo-Álvarez, María Teresa del Moral-Marcos, María Serena Rivetta, Alberto Ortiz-López
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Descargas
Palabras clave:
evaluación sumativa, test de opción múltiple, enseñanza superior, pruebas objetivas, innovación educativa, razonamiento de orden superior
Agencias de apoyo:
Resumen:
Dadas sus importantes ventajas sobre otras estrategias, la prueba objetiva es un instrumento de evaluación de uso común en la evaluación sumativa universitaria, aunque también se ha asociado a algunas limitaciones como el estudio memorístico, la promoción del conocimiento inmóvil y compartimentalizado, o el desarrollo de procesos de pensamiento de orden inferior. Esta investigación tiene como objetivo presentar y evaluar la eficacia de la prueba objetiva inversa como una modalidad de evaluación sumativa que mejora las prestaciones de las pruebas objetivas convencionales. Se aplica un diseño cuasiexperimental solo postest con grupo control no equivalente en un grupo de 204 estudiantes universitarios de grados de Ciencias de la Educación. Mientras que el grupo control recibe como instrumento de evaluación la prueba objetiva convencional, el grupo experimental completa la misma prueba en la modalidad inversa. Los resultados muestran que los estudiantes del grupo experimental alcanzan niveles de rendimiento académico superiores a los del grupo control, al mismo tiempo que muestran niveles de satisfacción y valoración global de la prueba más elevados. Mientras que ambos grupos perciben razonamientos de orden superior altos y el grupo experimental parece alcanzar niveles sensiblemente superiores, son los estudiantes con mejores calificaciones del grupo experimental los que autoperciben niveles más elevados. Ambos grupos informan niveles similares de ansiedad académica. Se evidencia que la prueba objetiva inversa es una alternativa que permite la mejora de los procesos de evaluación sumativa, promocionando mejores niveles de calidad en la enseñanza universitaria.
Citas:
Adair, D., & Jaeger, M. (2013). A probabilistic scoring method in multiple-choice testing incorporating partial knowledge. En R. White (Ed.), Curriculum Development, Innovation and Reform (pp. 109-124). Nova Science Pub. Inc.
Akyol, P., Key, J., & Krishna, K. (2022). Hit or miss? Test taking behavior in multiple choice exams. Annals of Economics and Statistics, 147, 3-50. https://doi.org/10.2307/48684785
Almalki, M. S. (2023). Multiple Choice Test-Taking Strategies, Test Anxiety, and EFL Students‟ Achievement. World Journal of English Language, 13(2), 248-259. https://doi.org/10.5430/wjel.v13n2p248
Arnold, J. C., & Arnold, P. L. (1970). On Scoring Multiple Choice Exams Allowing for Partial Knowledge. The Journal of Experimental Education, 39(1), 8-13. https://doi.org/10.1080/00220973.1970.11011223
Bond, A. E., Bodger, O., Skibinski, D. O. F., Jones, D. H., Restall, C. J., Dudley, E., & van Keulen, G. (2013). Negatively-Marked MCQ Assessments That Reward Partial Knowledge Do Not Introduce Gender Bias Yet Increase Student Performance and Satisfaction and Reduce Anxiety. PLoS ONE, 8(2). https://doi.org/10.1371/journal.pone.0055956
Campbell, D. T., & Stanley, J. (1963). Experimental and quasi-experimental designs for research. Wadsworth Publishing.
Chang, S.-H., Lin, P.-C., & Lin, Z.-C. (2007). Measures of partial knowledge and unexpected responses in multiple-choice tests. Educational Technology and Society, 10(4), 95-109.
Collet, L. S. (1971). Elimination Scoring: An Empirical Evaluation. Journal of Educational Measurement, 8(3), 209-214. https://doi.org/10.1111/j.1745-3984.1971.tb00927.x
Gottlieb, M., Bailitz, J., Fix, M., Shappell, E., & Wagner, M. J. (2023). Educator’s blueprint: A how-to guide for developing high-quality multiple-choice questions. AEM Education and Training, 7(1). https://doi.org/10.1002/aet2.10836
Greving, S., & Richter, T. (2022). Practicing retrieval in university teaching: Short-answer questions are beneficial, whereas multiple-choice questions are not. Journal of Cognitive Psychology, 34(5), 657-674. https://doi.org/10.1080/20445911.2022.2085281
Haataja, E. S. H., Tolvanen, A., Vilppu, H., Kallio, M., Peltonen, J., & Metsäpelto, R.-L. (2023). Measuring higher-order cognitive skills with multiple choice questions –potentials and pitfalls of Finnish teacher education entrance. Teaching and Teacher Education, 122. https://doi.org/10.1016/j.tate.2022.103943
Kissi, P., Baidoo-Anu, D., Anane, E., & Annan-Brew, R. K. (2023). Teachers’ test construction competencies in examination-oriented educational system: Exploring teachers’ multiple-choice test construction competence. Frontiers in Education, 8. https://doi.org/10.3389/feduc.2023.1154592
Martínez Abad, F., & Hernández Ramos, J. P. (2017). Flipped Classroom con píldoras audiovisuales en prácticas de análisis de datos para la docencia universitaria: Percepción de los estudiantes sobre su eficacia. En S. Pérez Aldeguer, G. Castellano Pérez, & A. Pina Calafi (Eds.), Propuestas de Innovación Educativa en la Sociedad de la Información (pp. 92-105). Adaya Press. https://doi.org/10.58909/ad17267178
Maulita, S. R., Sukarmin, & Marzuki, A. (2019). The Content Validity: Two-Tier Multiple Choices Instrument to Measure Higher-Order Thinking Skills. Journal of Physics: Conference Series, 1155(1), 012042. https://doi.org/10.1088/1742-6596/1155/1/012042
Mitra, A. K. (2022). The Art of Designing a Quality Multiple Choice Question in Chemistry. Resonance, 27(6), 1017-1031. https://doi.org/10.1007/s12045-022-1394-2
Ng, A. W. Y., & Chan, A. H. S. (2009). The testing methods and gender differences in multiple-choice assessment. 1174, 236-243. https://doi.org/10.1063/1.3256252
Núñez-Peña, M. I., & Bono, R. (2021). Math anxiety and perfectionistic concerns in multiple-choice assessment. Assessment and Evaluation in Higher Education, 46(6), 865-878. https://doi.org/10.1080/02602938.2020.1836120
Olmos Migueláñez, S., Martínez Abad, F., Torrecilla Sánchez, E. M., & Mena Marcos, J. J. (2014). Análisis psicométrico de una escala de percepción sobre la utilidad de Moodle en la universidad. RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa, 20(2), preprint 1. https://doi.org/10.7203/relieve.20.2.4221
Polat, M. (2020). Analysis of Multiple-Choice versus Open-Ended Questions in Language Tests According to Different Cognitive Domain Levels. Novitas-ROYAL (Research on Youth and Language), 14(2), 76-96.
Scully, D. (2017). Constructing multiple-choice items to measure higher-order thinking. Practical Assessment, Research and Evaluation, 22(4), 1-13.
Shaha, S. H. (1984). Matching-Tests: Reduced Anxiety and Increased Test Effectiveness. Educational and Psychological Measurement, 44(4), 869-881. https://doi.org/10.1177/0013164484444009
Singh, A., Bhadauria, V., Jain, A., & Gurung, A. (2013). Role of gender, self-efficacy, anxiety and testing formats in learning spreadsheets. Computers in Human Behavior, 29(3), 739-746. https://doi.org/10.1016/j.chb.2012.11.009
Sıbıç, O., Akçay, B., & Arik, M. (2020). Review of Two-tier Tests in the Studies: Creating a New Pathway for Development of Two-tier Tests. International Journal of Contemporary Educational Research, 7(2), Article 2. https://doi.org/10.33200/ijcer.747981
Stringer, J. K., Santen, S. A., Lee, E., Rawls, M., Bailey, J., Richards, A., Perera, R. A., & Biskobing, D. (2021). Examining Bloom’s Taxonomy in Multiple Choice Questions: Students’ Approach to Questions. Medical Science Educator, 31(4), 1311-1317. https://doi.org/10.1007/s40670-021-01305-y
Tractenberg, R. E., Gushta, M. M., Mulroney, S. E., & Weissinger, P. A. (2013). Multiple choice questions can be designed or revised to challenge learners’ critical thinking. Advances in Health Sciences Education, 18(5), 945-961. https://doi.org/10.1007/s10459-012-9434-4
Vanderoost, J., Janssen, R., Eggermont, J., Callens, R., & De Laet, T. (2018). Elimination testing with adapted scoring reduces guessing and anxiety in multiplechoice assessments, but does not increase grade average in comparison with negative marking. PLoS ONE, 13(10). https://doi.org/10.1371/journal.pone.0203931
Vigil-Colet, A., Lorenzo-Seva, U., & Condon, L. (2008). Development and validation of the Statistical Anxiety Scale. Psicothema, 20(1), 174-180. https://doi.org/10.1037/t62688-000
Wahyuni, L. D., Citraini, R., Hutomo, B. A., & Rakhman, G. G. F. (2021). Anxiety and Test Form: The Differences of Test Anxiety Levels in Terms of Test Form. Jurnal Pengukuran Psikologi Dan Pendidikan Indonesia, 10(2), 184-192. https://doi.org/10.15408/jp3i.v10i2.17974
Wu, Q., De Laet, T., & Janssen, R. (2018). Elimination Scoring Versus Correction for Guessing: A Simulation Study. En M. Wiberg, S. Culpepper, R. Janssen, J. González, & D. Molenaar (Eds.), Quantitative Psychology (pp. 183-193). Springer International Publishing. http://dx.doi.org/10.1007/978-3-319-77249-3_16
