Ahora que gran parte del trabajo universitario se realiza digitalmente en los sistemas de gestión del aprendizaje, muchas universidades están tratando de analizar los datos de los estudiantes de esas plataformas para predecir qué estudiantes necesitan ayuda. Pero la práctica es tan nueva que aún no está claro qué tan bien funciona realmente el enfoque.

¿Pueden los grandes datos del LMS predecir el éxito en una clase?

Esa es la pregunta que aborda un trabajo de investigación publicado esta semana. Y los resultados mixtos sorprendieron a los académicos que trabajaban en ello.

Los investigadores se centraron en los datos de los colegios comunitarios de Virginia desde el año 2000. Establecieron dos sistemas de predicción para adivinar si los estudiantes completarían un curso: uno basado solo en "datos administrativos" en poder de los colegios, como el GPA de la escuela secundaria y las transcripciones universitarias de estudiantes; y el otro basado en los datos denominados de "secuencia de clics" generados por los estudiantes a medida que realizaban las actividades del curso en el LMS.

Descubrieron que, para los estudiantes nuevos en la universidad, los datos del LMS ayudaron a hacer predicciones sobre el éxito de los estudiantes y fueron significativamente mejores que las predicciones hechas solo con los datos administrativos. Pero para los estudiantes que habían estado en la universidad anteriormente, los datos del LMS añadían poco valor a los datos administrativos.

“Donde vemos el mayor valor en la predicción del desempeño de los estudiantes es dentro de estos estudiantes donde es su primer período universitario”, dice Kelli Bird, profesora asistente de educación en la Universidad de Virginia y autora principal del estudio. Eso podría deberse a que los colegios comunitarios son de acceso abierto, por lo que los colegios no saben mucho sobre los estudiantes cuando ingresan.

Mientras tanto, recopilar y trabajar con los datos del LMS requiere mucho tiempo y esfuerzo. Los codificadores experimentados del proyecto UVa dedicaron cientos de horas, dice Bird, ya que los sistemas generan una gran cantidad de datos. “Cada vez que el estudiante inicia sesión en la plataforma de aprendizaje, hay un punto de datos para eso”, agrega. "Los datos sin procesar del LMS son muy, muy grandes, muy difíciles de almacenar, muy computacionalmente intensivos para trabajar, por lo que queríamos ver cuánto beneficio agregan los datos del LMS a las predicciones".

Una vez que una universidad configura un sistema para trabajar con datos LMS, procesar los números en los próximos años tomaría menos tiempo, reconoce Bird. Y los investigadores compartieron su código de forma gratuita en línea, vinculado desde su artículo, para ayudar a aquellos que desean desarrollar lo que han aprendido.

Cómo empujar

Bird es el director de investigación en un laboratorio de la UVa dedicado a investigar el uso de datos de estudiantes para predecir el éxito y desarrollar intervenciones relevantes. se llama el Laboratorio de soluciones Nudge4.

“¿Podemos predecir el desempeño de los estudiantes? Sabemos que podemos bastante bien, lo cual es genial”, dice Bird. “Pero hay mucho que hacer entre predecir el desempeño de los estudiantes y generar mejores resultados para los estudiantes”.

Una forma popular para que las universidades usen tales análisis predictivos es enviar mensajes de texto o correo electrónico a los estudiantes que el sistema identifica, sugiriendo que ellos, digamos, buscar tutoría o estudiar más duro. Pero algunos han planteado preguntas sobre esos esfuerzos, que cuando se hacen crudamente puede desanimar tanto a los estudiantes que abandonan los estudios, y puede desalentar desproporcionadamente a los estudiantes que son de primera generación o que no se sienten bienvenidos en un entorno universitario.

Bird dice que su laboratorio está investigando diferentes enfoques, como dar los resultados de los sistemas de predicción a los asesores o profesores para que puedan decidir si intervenir y cómo hacerlo. También están considerando estudiar si dar incentivos financieros a los estudiantes para que asistan a tutorías u otros recursos de ayuda para el estudio puedan ayudar con las tasas de finalización.

Patsy D. Moskal, directora de Evaluación del impacto del aprendizaje digital en la Universidad de Florida Central, dice que su equipo también está en el proceso de aprender cómo beneficiarse del análisis de los datos del LMS. No están usando un sistema de predicción, pero están tratando de crear tableros para profesores que puedan ayudarlos a ver patrones o notar mejor a los estudiantes que podrían tener dificultades.

“Es un trabajo en progreso”, le dijo a EdSurge en una entrevista por correo electrónico. “No es sorprendente que los cursos en línea o combinados usen el LMS más que los que son totalmente presenciales. Además, los cursos que tienen pocas tareas calificadas tienen pocos datos en los que basar una predicción hasta semanas después del semestre, lo que dificulta la intervención temprana”.

Y se necesita tiempo y esfuerzo para construir los tableros y enseñar a los profesores a usarlos, agregó: "Esta es todavía un área que necesita una investigación significativa, y esperamos que algunas de las lecciones que aprendamos no solo puedan ayudar a nuestro asesoramiento/entrenamiento, sino también brinde información que ayude con el diseño de cursos de calidad”.