jueves 22 de junio de 2017

Estudio acerca de la Validez Predictiva del Ranking de Notas

El Ranking de Notas es el último de los factores de selección incorporados al proceso de admisión a las universidades que participan en el Sistema Único de Admisión (SUA) del Consejo de Rectores. Para determinar su capacidad predictiva en el rendimiento académico, el SUA realizó un estudio que consideró el desempeño de estudiantes de primer año de las cohortes 2012 y 2013 de las 33 universidades que, a la fecha, participaban en el SUA.

El Ranking de Notas es el último de los factores de selección incorporados al proceso de admisión a las universidades que participan en el Sistema Único de Admisión (SUA) del Consejo de Rectores de las Universidades Chilenas (CRUCH); este factor se incluyó por primera vez en el Proceso de Admisión 2013.

A fin de contar con una evaluación sobre el nuevo factor de selección, el CRUCH encargó al SUA realizar un estudio para medir la calidad de este factor según su predictibilidad en el rendimiento académico de los estudiantes.

Tomando en cuenta que el principal propósito de los factores de selección es ordenar a los postulantes que aspiran a ingresar a las diversas carreras ofrecidas por las universidades que participan en el Sistema Único de Admisión, es que se hace necesario estudiar si los puntajes con los que se construye este ordenamiento entregan información relevante para las universidades y, por tanto, seleccionar cuáles estudiantes deben ingresar y cuáles no. En consecuencia, la información que entregan los factores debiera tener relación con el posterior desempeño del o la estudiante en la universidad.

Para determinar si los factores de selección permiten predecir el éxito de los estudiantes en la educación universitaria, es que, tanto nacional como internacionalmente, se realizan estudios de validez predictiva que permitan relacionar el éxito académico de los estudiantes con los factores de selección.

Base de datos del estudio

La base de datos se construyó con información de los estudiantes que ingresaron a primer año en las generaciones 2012 y 2013 de las 33 universidades que, a la fecha, participaban en el SUA. Para ello, cada universidad reportó medidas de rendimiento de sus estudiantes, agregándose, luego, variables referentes a los factores de selección.

Cabe puntualizar que la generación de estudiantes que ingresó a las universidades adscritas al SUA en el año 2013, es la primera en la cual se consideró el Ranking de Notas como factor de selección. Por tanto, para este trabajo se consideraron a los y las estudiantes que ingresaron por vía regular a alguna de las carreras de la oferta académica de los Procesos de Admisión 2012 y 2013.

Los datos necesarios para la realización de este estudio provienen de dos fuentes: por un lado están las variables relacionadas con el rendimiento de los estudiantes y, por otro, las variables con las que se intentará explicar este rendimiento.

De este modo, se solicitó a las universidades que reportaran diversos indicadores, a fin de describir de diferentes maneras el desempeño de los y las estudiantes. Estos indicadores fueron los siguientes: los relativos a los promedios de notas, al avance curricular en la carrera y a la situación académica. Los datos se solicitaron para el nivel anual y semestral.

Así, se construyó una base de datos con información del rendimiento de los estudiantes en primer año y con los puntajes de los factores de selección con los que éstos ingresaron a la educación superior (Pruebas de Selección Universitaria, PSU; Notas de Enseñanza Media, NEM; y Ranking de Notas). Para relacionar las variables de rendimiento con los factores de selección, se utilizaron dos grupos de metodologías: un primer grupo de metodologías para analizar el aporte de cada factor por separado y un segundo grupo que permitió observar el aporte de los factores de selección en su conjunto.

Luego de observar los resultados de las distintas metodologías aplicadas, se puede concluir que el factor de selección Ranking de Notas presenta una capacidad predictiva similar a las NEM. Su aporte al conjunto es positivo pero mesurado y la introducción de este factor con una ponderación de un 10% en el Puntaje de Selección, no modificó la correlación de este puntaje con el rendimiento al compararlo con el Proceso de Admisión 2012.

Futuros estudios

Cabe recordar que el Ranking de Notas también mide aspectos relacionados a habilidades no cognitivas, pero éstas se observan de mejor manera a lo largo del tiempo. Este estudio solo considera datos de rendimiento de primer año de los y las estudiantes. En consecuencia, para futuras investigaciones es recomendable observar la trayectoria de estos estudiantes para un mejor entendimiento de la predictibilidad de este factor; probablemente se esté subestimando la capacidad predictiva del Ranking de Notas. En este sentido, es necesario contar con bases de datos del rendimiento académico para los años 2014 y 2015. Esta información de largo plazo es relevante respecto a la toma de futuras decisiones.

Presentación en MIDE UC

El "Estudio acerca de la Validez Predictiva del Ranking de Notas" fue presentado el pasado martes 23 de mayo en el Coloquio de Medición y Evaluación Educacional, gracias a una invitación del Centro de Medición MIDE UC de la Pontificia Universidad Católica de Chile, que dirige el académico Jorge Manzi.

La introducción a la investigación estuvo a cargo de la Encargada de Estudios del SUA, Javiera Zúñiga, mientras que el ex-investigador del SUA y responsable de realizar el estudio, Matías Grau, expuso el proceso y principales resultados del mismo.

Estudio acerca de la Validez Predictiva del Ranking de Notas