Usabilidad y satisfacción de la e-Rúbrica

José Serrano Angulo; Daniel Cebrián Robles

doi:10.4995/redu.2014.6426

Autores/as

José Serrano Angulo Universidad de Málaga
Daniel Cebrián Robles Universidad de Málaga

DOI:

https://doi.org/10.4995/redu.2014.6426

Palabras clave:

Usabilidad, e-Rúbrica, evaluación de herramientas on-line, cuestionarios on-line, satisfacción del usuario

Resumen

En este trabajo se evalúa la usabilidad de herramientas en línea utilizadas en la educación universitaria. De todas las posibles herramientas se centra en especial en las e-Rúbricas utilizadas para la autoevaluación y la evaluación entre pares. Los resultados muestran un alto grado de usabilidad de esta herramienta y de satisfacción por parte de estudiantes que la emplean como recurso en su formación académica. Desde la perspectiva del diseño y de la accesibilidad se señalan los aspectos a mejorar en las e-Rúbricas evaluadas, sin entrar en aspectos de contenido de las mismas, o de los indicadores empleados, o de otras características propias de los instrumentos de evaluación, sino desde la perspectiva técnica de manejo en la web. Los resultados se han obtenido de la aplicación de un instrumento en línea del que se tiene un coeficiente de fiabilidad alfa de Cronbach de 0,889. El instrumento utilizado consta de unas pocas preguntas descriptivas sobre quien contesta y qué herramienta evalúa, seguidas de 22 enunciados en una escala Likert del 1 al 5. Los enunciados están dispuestos alternativamente en forma directa (1 peor valoración, a 5 mejor valoración), e indirecta (1 mejor valoración, a 5 peor valoración). Los resultados muestran que más del 50% de los que completan el cuestionario valoran la usabilidad de las herramientas evaluadas positivamente, en especial la e-Rúbrica, y menos del 20% valoran la usabilidad como baja. Este cuestionario puede utilizarse en la evaluación de la usabilidad de cualquier herramienta en la Web.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

José Serrano Angulo, Universidad de Málaga

Doctor en Matemáticas, profesor de Métodos de Investigación en Educación en la Facultad de Ciencias de la Educación de la Universidad de Málaga. Sus principales líneas de investigación son: evaluación educativa, indicadores de calidad, teoría de la medida, aplicación de métodos estadísticos en la investigación educativa. Coordinador del programa de doctorado de Investigación e Innovación Educativa.

Daniel Cebrián Robles, Universidad de Málaga

Ingeniero Industrial. Universidad de Málaga, Máster oficial “Energías Renovables, Pilas de Combustible e Hidrógeno” Universidad Internacional Menéndez Pelayo y Consejo Superior de Investigaciones Científicas (CSIC). Programa “Doctorado de investigación e Innovación educativa”. y Máster en “Nuevas Tecnologías Aplicadas a la Educación. Universidad de Málaga. Miembro y webmaster servidores del grupo Gtea. Estancias en instituciones extranjeras para el desarrollo de tecnologías de federación como Sined (México) 2011 y Universidade Federal do Paraná (Brasil) 2012. Research Fellow in Harvard University 2013. Desarrollador de la herramienta eRúbrica de gtea [1] y desarrollador de Multimedia Annotations [2] para Harvard University y su integración en el MOOC de edX.

Citas

Alva, M., Martínez, A., Cueva, P. J., Sagástegui, T. Ch. y López, B. (2003) Comparison of Methods and Existing Tools for the Measurement of Usability in the Web. Web Engineering, pp. 386–389.

Bailey, J.E. y Pearson, S.W. (1983). Development of a tool for measuring and analyzing computer user satisfaction. Management science, 29(5), pp. 530–545.

Bangor, A. Kortum, P.T. y Miller, J.T. (2008). An empirical evaluation of the system usability scale. International Journal of Human-Computer Interaction. 24(6): pp. 574– 594.

Bangor, A. Kortum, P.T. y Miller, J.T. (2009). Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. Journal of Usability Studies. Vol. 4 (3), pp. 114-123.

Bartolomé, A., Martínez, M.E. y Tellado, F. (2012). Análisis comparativo de metodologías de evaluación formativa: diarios personales mediante blogs y autoevaluación mediante rúbricas. En C. Leite y M. Zabalza (coords.), Ensino Superior. Inovaçao e qualidade na docencia (417-429). CIIE: Porto.

Bevan, N. (1998). European Usability Support Centre. http://www.usabilitynet.org/papers/tapus98.pdf

Bevan, N. (2009). International Standards for Usability Should Be More Widely Used. Journal of Usability Studies. Vol. 4, Issue 3, pp. 106-113.

Bevan, N, Kirakowski, J y Maissel, J, (1991). What is Usability?, in H.-J. Bullinger, (Ed.). Human Aspects in Computing: Design and use of interactive systems and work with terminals, Amsterdam: Elsevier.

Blanco, A. (2009). Desarrollo y evaluación de competencias en Educación Superior. Madrid: Narcea.

Brooke, J. (1996). SUS-A quick and dirty usability scale. En Jordan, P. W., Thomas, B., Weerdmeester, B. A., McClelland (eds.) Usability evaluation in industry. London: Taylor & Francis, pp. 189–194.

Caballero Míguez, G. y Garza Gil, M.D. (2012). Innovando la docencia superior en Economía: trabajo cooperativo y elaboración participativa de contenidos. Revista de Docencia Universitaria. Vol.10 (2), pp. 319-327.

Cavallin, H., Martin, W.M. y Heylighen, A. (2007). How relative absolute can be: SUMI and the impact of the nature of the task in measuring perceived software usability. AI & Society. 22(2): pp. 227–235.

Cebrián, M. (2008). La evaluación formativa mediante e-rúbricas, INDIVISA – Boletín de Estudios e Investigación-. Monografía X, 197-208.

Cebrián, M. (2011). Servicio federado de e-rúbrica para la evaluación de aprendizajes universitarios. Memoria Técnica para proyectos tipo A y B. Referencia EDU2010- 15432.

Chin, J.P., Diehl, V.A. y Norman, K.L. (1988). Development of an instrument measuring user satisfaction of the human-computer interface. En Proceedings of the SIGCHI conference on Human factors in computing systems. pp. 213–218. ACM.

CISU-R NISTIR. (2007). Common Industry Specification for Usability – Requirements. National Institute of Standards and Technology. http://zing.ncsl.nist.gov/iusr/docu ments/CISU-R-IR7432.pdf.

Etxabe, J.M., Aranguren, K. y Losada, D. (2011). Diseño de rúbricas en la formación inicial de maestros/as, Revista de Formación e Innovación Educativa Universitaria, 4 (3), pp. 156-169.

Hassan, Y. (2006). Factores de diseño web orientado a la satisfacción y no-frustración de uso. Revista Española de Documentación Científica, 29 (2), pp. 239-257.

Harper, B. y Norman, K. (1993). Improving user satisfaction: The questionnaire for user satisfaction interaction version 5.5. En Proceedings of the First Annual Mid-Atlantic Human Factors Conference. pp. 224–228.

Harper, B., Slaughter, L. y Norman K. (1997). Questionnaire administration via the WWW: A validation & reliability study for a user satisfaction questionnaire. http://www. lap.umd.edu/webnet/paper.html.

International Standards for Usability: http://www.upassoc.org/upa_publications/jus/ 2009may/index.html

Ives, B., Olson, M.H. y Baroudi, J.J. (1983). The measurement of user information satisfaction. Communications of the ACM. 26(10), pp. 785–793.

Kelly, M. (1994). MUSiC Final Report Parts 1 and 2: the MUSiC Project. Hampshire, UK: Brameur Ltd.

Kirakowski, J. (1994). Background notes on the SUMI questionnaire. Human Factors Research Group University College Cork, Ireland. Originally.

Kirakowski, J. y Claridge, N. (2013). WAMMI-Web Usability Questionnaire. http://www. wammi.com/questionnaire.html

Kirakowski, J. y Cierlik, B. (1998). Measuring the usability of web sites. En Human Factors and Ergonomics Society Annual Meeting Proceedings, Human Factors and Ergo nomics Society. Vol. 42, pp. 424–428.

Kirakowski, J. y Corbett, M. (1988). Measuring user satisfaction. En 4ª Conference of the British Computer Society Human-Computer Interaction Specialist Group, pp. 329–338.

Lewis, J. R. (1992). Psychometric evaluation of the computer system usability questionnaire: The CSUQ. Technical report, Tech. Rep.

Lund, A.M. (2001). Measuring usability with the USE questionnaire. Usability and User Experience, 8(2), pp. 3-6.

Martínez M.E., Tellado, F. y Raposo, M. (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto, Revista de Docencia Universitaria, 11 (2), 373- 390. http://red-u.net/redu/files/journals/1/articles/490/public/490-2380-1-PB. pdf.

Molich, R., Ede, M.R., Kaasgaard, K. y Karyukin, B. (2004). Comparative usability evaluation. Behaviour & Information Technology, 23(1), pp. 65–74.

Moril Valle, R., Ballester Pont, L. y Martínez Fernández, J. (2012). Introducción de las matrices de valoración analítica en el proceso de evaluación del Practicum de los Grados de Infantil y de Primaria. Revista de Docencia Universitaria Vol.10 (2), Mayo-Agosto 2012, pp. 251-271.

Olsina, L., Lafuente, G. y Rossi, G. (2001). Using Web-site QEM to Measure the Quality of Sites. http://sedici.unlp.edu.ar/bitstream/handle/10915/22155/Documento_ completo.pdf?sequence=1

QUIS, http://lap.umd.edu/quis/.

Raposo, M. y Gallego, M.J. (2012). Evaluación entre pares y autoevaluación basadas en rúbricas. En C. Leite y M. Zabalza (coords.), Ensino Superior. Inovaçao e qualidade na docencia (444-453). CIIE: Porto.

Raposo, M., Martínez, M.E., Tellado, F. y Doval, M.I. (2012). La evaluación de la mejora del aprendizaje y del trabajo en grupo mediante rúbricas. En C. Leite y M. Zabalza (coords.), Ensino Superior. Inovaçao e qualidade na docencia (4051-4065). CIIE: Porto.

Rodríguez Gómez, G. y Ibarra Sáiz, M. S. (2012). Reflexiones en torno a la competencia evaluadora del profesorado en la Educación Superior. Revista de Docencia Universitaria Vol.10 (2), pp. 149-161.

Sauro, J. (2011). Measuring Usability with the System Usability Scale (SUS) http://www. measuringusability.com/sus.php

Serrano, J. (2012). Aplicación on-line y tratamiento informático de cuestionarios. Revista Española de Pedagogía. Nº 251, pp. 61-76.

Serrano, J. y Cebrián, D. (2012). Usabilidad de la e-rúbrica mediante cuestionarios online con limesurvey. En C. Leite y M. Zabalza (coords.), Ensino Superior. Inovaçao e qualidade na docencia (467-486). CIIE: Porto.

Slaughter, L., Harper, B., y Norman, K. (1994). Assessing the equivalence of the paper and on-line formats of the QUIS 5.5. En Proceedings of Mid Atlantic Human Factors Conference, pp. 87–91. Citeseer.

SUMI, http://sumi.ucc.ie/sumipapp.html.

Tullis, T.S. y Stetson, J.N. (2004). A comparison of questionnaires for assessing website usability. En Usability Professional Association Conference.

USE, http://www.stcsig.org/usability/newsletter/0110_measuring_with_use.html

Usefulness, Satisfaction, and Ease of Use http://www.usesurvey.com/

Wallace, D.F., Norman, K.L. y Plaisant, C. (1988). The American Voice and Robotics “Guar dian” System: A Case Study in User Interface Usability Evaluation. Citeseer.

WAMMI, http://www.wammi.com/