(3/26/18 – este es un post inacabado que he puesto para que los datos puedan ser de utilidad para otros mientras lo añado / lo reviso. También para una mejor experiencia ver en un escritorio, los gráficos son masacrados en el móvil)

La AAMC sólo tiene 3 exámenes de práctica calificados liberados, dejando a los futuros examinadores en una situación difícil – para saber dónde están, tienen que tomar un examen calificado de la AAMC. Pero esos exámenes son un recurso muy valioso, ya que son lo más parecido al MCAT real. Si su puntuación no es la deseada, sólo les quedan dos exámenes puntuados por la AAMC. Los examinadores del pasado tenían 10 exámenes de la AAMC, pero el MCAT posterior a 2015 hace que esos exámenes de práctica no tengan ningún valor. Aquí intento predecir las puntuaciones del MCAT utilizando las puntuaciones de los exámenes de práctica de terceros y los datos enviados por los usuarios de Reddit.

Datos:

Los datos se han tomado de esta hoja de cálculo de puntuaciones enviadas por los usuarios, compuesta por 844 puntuaciones enviadas por los usuarios. Está compuesta por usuarios del subreddit MCAT y de los foros de Student Doctor Network. Sólo incluí individuos que tomaron el MCAT entre enero y septiembre de 2017.

Hay una tremenda cantidad de sesgo de auto-reporte en estos datos, que tocaré al final. Se descartaron las puntuaciones imposibles (un usuario informó de un ‘406’ en el examen 1 de NextStep, que, al igual que el MCAT real, tiene una puntuación de 472 a 528). También excluí los datos de otro usuario que reportó un 472 en el examen real después de reportar 505, 504, 509 y 509 en los exámenes NextStep 1-4, y un 509 y 510 en el AAMC #1 y #2. No sé si es posible dejar caer la bola tan mal en el día de la prueba por lo que estoy llamando a una casualidad. Estas fueron las únicas dos puntuaciones excluidas.

Kaplan (n=309):

La historia corta es – las puntuaciones de Kaplan están fuertemente, fuertemente, desinfladas, pero todavía tienen poder predictivo. Como una conversión extremadamente cruda, usted puede agregar 10 puntos a su puntuación de Kaplan para obtener su puntuación AAMC. Esto se vuelve menos predictivo en los extremos superior e inferior. Kaplan y NextStep tuvieron la mayor correlación con las puntuaciones reales del MCAT, aunque esto no significa necesariamente que sean el mejor material de práctica. Sí significa que su escala es la más precisa.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores’ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

Los exámenes de NextStep estaban ligeramente menos desinflados que los de Kaplan, pero tenían una distribución igualmente ajustada (r2 de .536). Un factor de conversión extremadamente crudo sería sumar 7 a tu media de NextStep para estimar tu puntuación real. Parece que NextStep se enorgullece de dar puntuaciones escaladas precisas, lo que hace que me pregunte por qué las suyas siguen estando tan desinfladas. No hay una ‘conversión cruda’ para las puntuaciones de NextStep, ya que está menos desinflada para las puntuaciones medias (498-510) y muy desinflada para las puntuaciones altas (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ‘ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Los exámenes de Princeton Review están absurdamente desinflados. La persona media que saca un 503 en un examen de TPR obtiene un 518 en el examen real. Los exámenes de Princeton Review tuvieron la peor correlación con las puntuaciones reales del MCAT (este gráfico es un sustituto inacabado de uno que publicaré más adelante, pero los datos deberían ser los mismos).

<a href=’#’><img alt=’Hoja 1 ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Notas:

¿Por qué están tan desinfladas estas pruebas? En parte se debe a mi conjunto de datos sesgados (véase la siguiente sección). Pero creo que es principalmente porque las empresas de preparación de exámenes prefieren que alguien obtenga una puntuación de 505 en sus exámenes de práctica y un 515 en el MCAT real, en lugar de lo contrario. Sus «garantías de devolución del 100% del dinero» dependen de que superes tu puntuación en el examen de práctica. El programa «Higher Score Guarantee» de Kaplan sólo te devolverá el dinero si tu puntuación real en el MCAT es inferior a tu puntuación de diagnóstico. Ellos han construido un colchón de ~10 puntos en la escala de sus exámenes de práctica para asegurar que esto no será redimido a menudo. Kaplan es la compañía más popular de preparación para el MCAT, y tienen un tesoro de datos de los estudiantes que podrían ser utilizados para dar puntuaciones precisas, si así lo desean.

Princeton Review ofrece un programa similar, pero la puntuación de referencia puede ser su anterior puntuación real en el MCAT (si se toma dentro de los 90 días del inicio del curso de revisión) o el examen de diagnóstico de Princeton Review tomado al comienzo de su curso. Si usted no es un repetidor, y se utiliza este último, no hay casi ninguna posibilidad de que usted no supere esa puntuación.

No creo que sea una coincidencia que NextStep, una empresa de preparación sin una «garantía de mejor puntuación» de reembolso completo, no desinfle las puntuaciones de sus exámenes de práctica tan fuertemente. Ellos sí tienen una garantía para sus tutorías, pero sólo redime una sesión de tutoría gratuita de 2 horas.

Personalmente, me sentí abatido cuando obtuve un 500 en mi primer examen de práctica de Princeton Review. En realidad, la mayoría de las personas que obtienen esa puntuación lo hacen bien en el examen real. Si no hubiera trabajado con estos datos, habría pensado que estaba en camino de obtener un 500 en el examen real, una puntuación que tiene una terrible tasa media de aceptación del 22,3%, según la AAMC. Princeton Review no señala en ningún momento lo desinfladas que están sus puntuaciones, y probablemente muchos estudiantes no se den cuenta de ello. Ahora entiendo que es su manera de proteger sus ingresos mientras siguen ofreciendo una garantía de devolución de dinero.

Cuando tenga más tiempo, me gustaría añadir más empresas de preparación de exámenes (Altaius y ExamKrackers), y comparar las secciones individuales con las puntuaciones reales de las secciones del MCAT para ver si alguna empresa tiene una correlación notablemente más alta en una subsección.

Dificultades:

Entre las muchas deficiencias de estos datos, la más condenatoria es el hecho de que las empresas de preparación de exámenes de terceros pueden cambiar sus algoritmos de escala en cualquier momento sin previo aviso (y lo hacen). NextStep ha declarado por correo electrónico que están constantemente afinando su algoritmo, con una revisión importante en enero de 2017. Kaplan parece hacer lo mismo (como se discutió anteriormente, creo que NextStep realmente puede desear ser preciso en su informe de puntuación y me imagino que se ajustan con más frecuencia que otras empresas).

Luego hay todos los sesgos que jugaron en los datos que tenía:

  • Estoy apostando que los usuarios que visitan el subreddit de MCAT y otros foros de Internet pre-médicos son más dedicados que el promedio de tomadores de exámenes.
  • Sesgo masivo de autoinformación: es más probable que la gente envíe sus puntuaciones si son impresionantes (la puntuación media en mis datos fue un absurdamente alto 515).
  • Estos exámenes de práctica son caros, y la demografía de estos examinados está casi seguramente sesgada hacia la gente rica.
  • Las puntuaciones de los exámenes de terceros se promediaron y no se tuvo en cuenta cuántos exámenes hicieron. Un individuo que hizo 10 exámenes de Kaplan y obtuvo 510 cada vez fue tratado exactamente igual que un individuo que hizo 1 examen de Kaplan y obtuvo 510, aunque sospecho que la persona que hizo 10 exámenes está mejor preparada para obtener una buena puntuación en el examen real. Investigaré esto cuando tenga más tiempo pero supongo que es menos importante que las puntuaciones en sí.

Con todo, esta es una ciencia extremadamente imperfecta con muchas trampas, pero fue capaz de predecir mi puntuación dentro de dos puntos, y sirve como una guía para aquellos que se preguntan dónde están sin ninguna puntuación del examen AAMC en la mano.

Deja una respuesta

Tu dirección de correo electrónico no será publicada.