El rol de las e-rúbricas en la evaluación de materiales digitales para la enseñanza de lenguas en entornos virtuales de aprendizaje

Esteban Vázquez-Cano; Elena Martín-Monje; Miguel Fernández-Álvarez

doi:10.4995/redu.2014.6414

Autores/as

Esteban Vázquez-Cano UNED
Elena Martín-Monje UNED
Miguel Fernández-Álvarez Chicago State University

DOI:

https://doi.org/10.4995/redu.2014.6414

Palabras clave:

e-rúbricas, coevaluación, lenguas extranjeras, materiales digitales, entornos virtuales de aprendizaje

Resumen

Presentamos en este artículo una investigación en la que analizamos la funcionalidad de las e-rúbricas en procesos de coevaluación, en la evaluación de materiales digitales enfocados a la enseñanza de lenguas y en la evaluación de destrezas lingüísticas desde el principio del trabajo colaborativo y cooperativo de 40 estudiantes que cursan el "Máster universitario en tecnologías de la información y la comunicación en la enseñanza y tratamiento de lenguas" de la Universidad Nacional de Educación a Distancia (UNED). A través de una concepción metodológica basada en la investigación-acción colaborativa virtual, aplicamos un procedimiento de análisis con una doble vertiente cualitativa mediante el empleo del programa Atlas-Ti y del enfoque reticular-categorial del análisis de redes sociales con la aplicación de UCINET y el visor yED Graph Editor. Este procedimiento metodológico nos permite entender la forma y estructura de esas relaciones como un todo, lo que favorece el entendimiento de los mecanismos causales que subyacen en las consideraciones de los estudiantes a través de las opiniones no controladas ni moderadas en foros educativos; permitiéndonos descubrir pautas de interacción ocultas. Los resultados muestran que el empleo de e-rúbricas optimiza la autoevaluación, la pertinencia de los criterios de evaluación, la observación de la funcionalidad y utilidad del formato y conectividad de los elementos audiovisuales de los materiales digitales en red. Asimismo, resultan bastante eficaces en la observación de indicadores de la productividad y destrezas lingüísticas; especialmente, en aspectos como la producción oral y escrita de la lengua y en procesos gramaticales y léxicos.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Esteban Vázquez-Cano, UNED

Doctor en Ciencias de la Educación con premio extraordinario por la UNED. Actualmente es profesor de la Facultad de Educación de la UNED y desempeña su labor investigadora en organización escolar, aprendizaje móvil y ubicuo y los cursos masivos en abierto (MOOC). Es miembro de diferentes equipos de investigación en Italia, España y Colombia. Ha publicado más de 40 artículos en revistas nacionales e internacionales; ha presentado más de 40 ponencias en congresos y es autor de más de 15 libros. Editor adjunto de cinco revistas internacionales, también colabora como revisor en revistas indexadas en Scopus y JCR.

Elena Martín-Monje, UNED

Profesora en la Facultad de Filología de la UNED, imparte cursos de Inglés para Fines Específicos y sobre enseñanza de lenguas con apoyo tecnológico. Miembro del grupo de investigación ATLAS, su investigación se centra en la integración de las TIC en el aprendizaje de lenguas extranjeras, con especial atención al aprendizaje móvil y los cursos masivos (MOOC). Ha sido profesora de lenguas extranjeras y formadora de profesores durante más de 10 años y publicado tanto a nivel nacional como internacional. Además, ha recibido diferentes reconocimientos: Premio Extraordinario a su tesis doctoral, Primer Premio de Experiencias Educativas en el V Congreso Educared por su trabajo en Aprendizaje de Lenguas Asistido por Ordenador y Premio del Consejo Social de la UNED a las Mejores Prácticas Docentes.

Miguel Fernández-Álvarez, Chicago State University

Miguel Fernández es Profesor Titular en el Programa de Educación Bilingüe en Chicago State University (Estados Unidos). Es licenciado y doctor en Filología Inglesa por la Universidad de Granada y tiene un Máster en Evaluación por la Universidad de Lancaster (Reino Unido). Sus áreas de especialización incluyen la educación bilingüe, la adquisición y el aprendizaje de una segunda lengua, y la evaluación de idiomas. Ha publicado más de veinte artículos en estas áreas. Es el autor del libro A Test Impact Study under the No Child Left Behind Act: The case of the ACCESS for ELLs. Actualmente es el Presidente de la Asociación de Profesores de Inglés del estado de Illinois (Illinois TESOL).

Citas

Al-Jarf, R. (2011). Creating and Sharing Writing iRubrics. Asian EFL Journal. Professional Teaching Articles, 51, 41-62.

Andrade, H. G., Du, Y., y Wang, X. (2008). Putting rubrics to the test: The effect of a model, criteria, generation, and rubric referenced self assessment on elementary school students’ writing. Educational Measurement: Issues and Practice, 27(2), 3-13.

Attali, Y., Lewis, W., y Steier, M. (2012). Scoring with the computer: Alternative procedures for improving the reliability of holistic essay scoring. Language Testing, 30(1), 125-141.

Barabási, A.L. (2002). Linked-The new science of networks. Cambridge, MA.: Perseus Publishing.

Borgatti, S., Everett, M., and Freeman, L. (2002). Ucinet for Windows: Software for Social Network Analysis. Harvard, MA.: Analytic Technologies.

Boud, D. y Falchikov,N. (Eds.) (2007). Rethinking Assessment in Higher Education: Learning for the Longer Term. Londres: Routledge.

Castells, M. y Monge, P. (2011). Network Multidimensionality in the Digital Age. Prologue to the Special Section. International Journal of Communication, 5, 788-793.

Caverlee, J., Liu, L. y Webb, S. (2010). The SocialTrust framework for trusted social information management: Architecture and algorithms. Information Sciences, ScienceDirect, 180, 95-112.

Cebrián,M. (2009) Formative and peer-to-peer evaluation using a rubric tool. En A. Méndez-Vilas, A. Solano Martín, y J.A. Mesa González. Research, Reflections and Innovations in Integrating ICT in Education, págs.60-64. Badajoz: Formatex. Disponible en http://www.formatex.org/micte2009/book/Index.pdf

Cebrián, M. (2011). La evaluación formativa a través de las e-rúbricas y los e-portafolios. V Ciclo de conferencias: Enseñanza y aprendizaje en la Universidad. Universidad de Vigo. Disponible en http://vicadc.uvigo.es/opencms/export/sites/vicadc/vica dc_gl/documentos/ciclos_conferencias/Material.ePor_eRubric.pdf

Cebrián, M. y Accino, J. (2009). Del ePortafolio a las tecnologías de la federación: La experiencia de Ágora Virtual®. Jornadas Internacionales sobre docencia, investigación e innovación en la universidad. Santiago de Compostela.

Coniam, D. (2009). Experimenting with a computer essay-scoring program based on ESL student writing scripts. ReCALL: The Journal of EUROCALL, 21(2), 259-279.

Dornisch, M. M., y Sabatini McLoughlin, A. (2006). Limitations of web-based rubric resources: Addressing the challenges. Practical Assessment, Research & Evaluation, 11(3).

Downie, M. (2011). Choosing and Developing Classroom Material. En S. House (coord.) Didáctica del Inglés. Classroom Practice. Barcelona: Graó.

Dublin Descriptors (2005). Shared “Dublin” descriptors for the Bachelor´s, Master´s and Doctoral awards. (Draft 1.31 working document on JQI meeting in Dublin. 2004PC).

Enright, M., y Quinlan, T. (2010). Complementing human judgment of essays written by English language learners with e-rater® scoring. Language Testing, 27(3), 317- 334.

Erben, T., Ban, R., & Castañeda, M. (2009). Teaching English Language Learners. Through Technology. New York: Routledge.

Falchikov, N. y Goldfinch, J. (2000). Student Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks. Review of Educational Research, 70(3), 287-322.

Farr, B. P., y Trumbull, E. (1997). Alternative assessments for diverse classrooms. Norwood: Christopher-Gordon.

Fernández March, A. (2010). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. Revista de Docencia Universitaria, 8(1), 11-34.

Fetterman, D. (1984). Ethnography in educational evaluation. Beverly Hills: Sage.

Genesee, F., y Upshur, J. A. (1996). Classroom-based evaluation in second language education. Cambridge: Cambridge University Press.

Gómez Lucas, M. C. y Álvarez Teruel, J. D. (coords.) (2011). El trabajo colaborativo como indicador de calidad del Espacio Europeo de Educación Superior. Alcoy: Marfil.

Gottlieb, M. (2006). Assessing English language learners: Bridges from language proficiency to academic achievement. Thousand Oaks: Corwin Press.

Griffin, M. (2009). What is a rubric? Assessment Update, 21(6), 4-13.

Han, N. R., Chodorow, M., & Leacock, C. (2006). Detecting errors in English article usage by non-native speakers. Natural Language Engineering, 12(2), 115–129.

Hanrahan, S. e Isaacs, G. (2010). Assessing Self- and Peer-assessment: The students’ views. Higher Education Research & Development, 20(1), 53-70.

Hung, S.A. (2012). A Washback Study on E-Portfolio Assessment in an English as a Foreign Langauge Teacher Preparation Program. Computer Assisted Language Learning, 25(1), 21-36.

Ibarra, Mª S. y Rodríguez Gómez, G. (2010). Aproximación al discurso dominante sobre la evaluación del aprendizaje en la universidad. Revista de Educación, 351, 385-407.

Jonsson, A., y Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144.

Kitsantas, A. y Dabbagh, N. (2010). Learning to learn with integrative learning technologies (ILT): A practical guide for academic success. Estados Unidos: Information Age Publishing.

Knoke, D. y Yang S (2008). Social Network Analysis. United States of America: SAGE.

Lim, H. y Kahng, (2012). Review of Criterion®. Language Learning & Technology, 16 (2), 38-45.

Linnenbrink, E. y Pintrich, P. (2003). The role of self-efficacy beliefs in student engagement and learning in the classroom. Reading & Writing Quarterly, 19, 119-137.

Mansilla, V. B., y Duraisingh, E. D. (2009). Targeted assessment rubric: An empirically grounded rubric for interdisciplinary writing. The Journal of Higher Education, 80(3), 334-353.

Miles, M. y Huberman, M. (1994). Qualitative data analysis: an expanded sourcebook. Thousand Oaks: Sage.

Millis, B. J. y Rhem, J. (2010). Cooperative Learning in Higher Education. Across the Disciplines, across the Academy. Virginia: Stylus Publishing.

Moya, S. y O’Malley, M. (1994). A Portfolio Assessment Model for ESL. The Journal of Educational Issues of Language Minority Students, 13, 1-16.

Navarrete, C., y Gustke, C. (1996). A guide to performance assessment for linguistically diverse students. Albuquerque: New Mexico Highlands University.

O’Malley, J. M., y Pierce, L. V. (1996). Authentic assessment for English language learners: Practical approaches for teachers. Nueva York: Addison-Wesley.

Orsmond, P., Merry, S. y Reiling, K. (1996). The Importance of Marking Criteria in the Use of Peer Assessment. Assessment & Evaluation in Higher Education, 21(3), 239-250.

Pool-Cibrian, W. J. y Martínez-Guerrero J. I. (2013). Autoeficacia y uso de estrategias para el aprendizaje autorregulado en estudiantes universitarios. Revista Electrónica de Investigación Educativa, 15(3), 21-37. Recuperado de http://redie.uabc.mx/ vol15no3/contenido-pool-mtnez.html

Reddy, Y. M. (2007). Effect of rubrics on enhancement of student learning. Educate, 7(1), 3-17.

Reddy, Y.M. y Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448.

Ricoeur, P. (1988). Discurso de la acción. Madrid: Cátedra.

Seidman, S.B. (1983). Network structure and minimum degree. Social Network, 5, 269-287.

Spence, L. K. (2010). Discerning writing assessment: Insights into an analytical rubric. Language Arts, 87(5), 337-352.

Spencer, J. W. (2003). Global gatekeeping, representation and network structure: a longitudinal analysis of regional and global knowledge-diffusion networks. Jour nal of international business studies, 34, 428-442.

Trujillo, F. (2012). Evaluar para aprender. Disponible en http://www.educacontic.es/ blog/evaluar-para-aprender

Ur, P. (1996). A Course in Language Teaching. Practice and Theory. Cambridge: Cambridridge University Press.

Varela, R. (2003). All about Teaching English. A Course for Teachers of English. Madrid: Centro de Estudios Ramón Areces.

Vickerman, P. (2009). Student perspectives on formative peer assessment: an attempt to deepen learning? Assessment & Evaluation in Higher Education, 34(2), 221-230.

Wasserman, S. y Faust, K. (1994). Social network analysis: methods and applications. Nueva York: Cambridge University Press.

Wilson, M. (2006). Rethinking Rubrics in Writing Assessment. Portsmouth, NH: Heinemann.

Wolfe, E. W., Matthews, S., y Vickers, D. (2010). The effectiveness and efficiency of distributed online, regional online, and regional face-to-face training for writing as sessment raters. The Journal of Technology, Learning, and Assessment, 10(1), 1-21.

Zimmerman, B. J. y Schunk, D. (2011). Self-regulated learning and performance: an in troduction and an overview. En B. J. Zimmerman y D. Schunk (Eds.), Handbook of Self-Regulation of Learning and Performance. Routledge.