A framework and case studies for data-driven evaluation of competencies and capabilities across contexts

Resumen

A medida que avanza el siglo XXI, las metodologías de evaluación evolucionan de la evaluación de contenido tradicional a marcos dinámicos basados en competencias. La integración de tecnologías digitales en los entornos de evaluación, como software interactivo de aula, comunidades de aprendizaje en línea, plataformas de contratación profesional y sistemas de recomendación de expertos, impulsa esta transformación. Esta evolución hacia la evaluación mediada por tecnología requiere herramientas que no solo involucren, sino que también midan efectivamente diversas competencias. El objetivo principal de esta tesis fue realizar múltiples estudios de caso en diversos entornos para construir un marco que pudiera generalizarse en varios entornos mediados por la tecnología. En primer lugar, esta tesis examinó diversos entornos mediados por la tecnología que podían generar conjuntos de datos ricos a través de la interacción de los usuarios y donde los datos podían usarse para realizar una evaluación basada en datos de diferentes competencias. La encuesta reveló cuatro entornos multimedia clave que incluían sitios para compartir y consumir contenido, videojuegos, aprendizaje en línea y redes sociales que cumplían con el objetivo principal. El siguiente paso de la tesis fue realizar varios estudios de caso con el fin de explorar diversos entornos, métodos, fuentes de datos y competencias. El primer estudio de caso llevó a cabo una evaluación de habilidades geométricas. El objetivo era adaptar, evaluar y comparar varios algoritmos de trazado de conocimiento en datos de un juego basado en geometría. Los hallazgos indicaron que el algoritmo Elo modelaba más precisamente los niveles de conocimiento real de los estudiantes. El segundo estudio de caso profundizó en identificar la experiencia en ciencia de datos en una plataforma de preguntas y respuestas Reddit. La metodología se basó en la codificación manual de los comentarios por dos especialistas en ciencia de datos. El estudio de caso implementó un método semi-supervisado y demostró la capacidad del modelo para distinguir entre comentarios de expertos, no expertos y fuera de alcance. El modelo aprovechó los datos de actividad del usuario, incorporando NLP, datos de crowdsourcing y características específicas del usuario. El tercer estudio de caso examinó las habilidades fotográficas impulsadas por el hecho de que hoy en día las plataformas para compartir fotos son cada vez más prevalentes. Usando datos multimodales de perfiles de usuarios, metadatos de fotos y atributos de crowdsourcing, el estudio aplicó técnicas de aprendizaje automático para evaluar si los usuarios podían clasificarse con precisión como fotógrafos profesionales basándose en sus ocupaciones declaradas y varias características. El paso final de la tesis fue la propuesta de un marco. Este se generalizó en varios contextos, entornos, tipos de datos y competencias, con el objetivo de deducir estas últimas de los primeros. Este proceso involucró un análisis exhaustivo de las metodologías de los estudios de caso y la literatura científica más amplia. Utilizó diagnósticos basados en computadora para mejorar su capacidad de interpretar conjuntos de datos complejos de manera efectiva. La efectividad de este marco se validó a través de estudios de caso en diferentes entornos, cada uno seleccionado por sus características únicas. Finalmente, la tesis esbozó varias conclusiones. Primero, en entornos multimedia, es urgente contar con marcos flexibles basados en datos para evaluar diversas competencias. Segundo, la incorporación de juegos y el trazado de conocimientos es fundamental para mejorar las metodologías educativas. Tercero, el aprendizaje informal en comunidades virtuales se ha vuelto una vía significativa para adquirir experiencia, aprovechando las plataformas digitales para el intercambio de conocimientos y el desarrollo de habilidades. Por último, la evaluación de habilidades subjetivas como la fotografía introduce desafíos únicos debido a la variabilidad en las percepciones individuales de calidad y habilidad.