(3/26/18 – este é um post inacabado que eu coloquei para que os dados possam ser úteis para outros enquanto eu os adiciono / revejo. Também para melhor visualização da experiência em uma área de trabalho, os gráficos são massacrados no celular)

A AAMC tem apenas 3 exames de prática de pontuação liberados, deixando os candidatos a exames em uma situação difícil – para saber onde eles estão, eles têm que fazer um exame de pontuação da AAMC. Mas esses exames são um recurso precioso, pois são a coisa mais próxima que podemos chegar ao verdadeiro MCAT. Se a sua pontuação não estiver onde eles querem, eles ficam com apenas 2 exames pontuados da AAMC. Os examinadores do passado tiveram 10 exames AAMC, mas o MCAT pós-2015 torna esses testes de prática inúteis. Aqui eu tento prever as notas do MCAT usando notas dos exames práticos de terceiros e dados enviados pelo usuário do Reddit.

Data:

Os dados foram retirados da planilha de notas enviada pelo usuário, composta de 844 notas enviadas pelo usuário. É composta por usuários do subredito MCAT e dos fóruns do Student Doctor Network. Só incluí indivíduos que fizeram o MCAT entre janeiro e setembro de 2017.

Existe uma tremenda quantidade de auto-reportagem parcial nestes dados, que vou tocar no final. As pontuações impossíveis foram descartadas (um utilizador reportou um ‘406’ no NextStep Exam 1, que, tal como o MCAT real, tem uma pontuação de 472-528). Também excluí dados de um outro usuário que relatou um 472 no exame real após relatar 505, 504, 509 e 509 no NextStep Exams 1-4, e um 509 e 510 no AAMC #1 e #2. Eu não sei se é possível deixar cair a bola tão mal no dia do teste, então estou chamando isso de um acaso. Estas foram as duas únicas pontuações excluídas.

Kaplan (n=309):

A história curta é – as pontuações de Kaplan são pesadas, pesadas, deflacionadas, mas ainda têm poder de previsão. Como uma conversão extremamente crua, você pode adicionar 10 pontos à sua pontuação Kaplan para obter sua pontuação AAMC. Isto torna-se menos preditivo nos extremos superior e inferior. Kaplan e NextStep tiveram a correlação mais forte com as pontuações reais do MCAT, embora isto não seja necessariamente dizer que eles são o melhor material de prática. Isto significa que a sua escala é a mais precisa.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

NextStep examinados estavam ligeiramente menos deflacionados que Kaplan, mas tinham uma distribuição igualmente apertada (r2 de .536). Um fator de conversão extremamente bruto seria adicionar 7 à sua média do NextStep para estimar sua pontuação real. O NextStep parece se orgulhar de dar pontuações precisas em escala, o que me faz pensar por que as deles ainda estão tão deflacionados. Não há ‘conversão bruta’ para as pontuações do NextStep, pois é menos deflacionado para pontuações médias (498-510) e fortemente deflacionado para pontuações altas (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Pontuações MCAT reais ‘ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Princeton Review’s exams are absurdamente deflated. A pessoa média que obtém uma nota de 503 em um exame de TPR obtém uma nota de 518 no exame real. Os exames da Princeton Review tiveram a pior correlação com as notas reais do MCAT (este gráfico é um stand-in inacabado para um que vou postar mais tarde, mas os dados devem ser os mesmos).

<a href=’#’><img alt=’Sheet 1 ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Notes:

Então porque é que estes testes estão tão deflacionados? Parte dele é o meu conjunto de dados distorcido (ver próxima secção). Mas eu acho que é principalmente porque as empresas de preparação para testes preferem alguém com 505 pontos nos seus exames práticos e um 515 no MCAT real, em vez do oposto. As suas “garantias de devolução de 100% do dinheiro” dependem de você ter um desempenho superior à sua pontuação no teste prático. O programa “Higher Score Guarantee” da Kaplan só será resgatado se a sua pontuação real no MCAT estiver abaixo da sua pontuação no diagnóstico. Eles construíram uma almofada de ~10 pontos na escala de seus exames de prática para garantir que isto não será resgatado com freqüência. A Kaplan é a empresa de preparação para o MCAT mais popular, e eles têm um tesouro de dados dos alunos que podem ser usados para dar notas precisas, se desejarem.

Princeton Review oferece um programa similar, mas a nota de base pode ser tanto a sua nota MCAT real anterior (se tirada dentro de 90 dias do início do curso de revisão) ou o exame diagnóstico Princeton Review tirado no início do seu curso. Se você não for um reponsável, e este último for usado, não há quase nenhuma chance de você não conseguir bater aquela pontuação.

Não acho que seja coincidência que o NextStep, uma empresa de preparação sem uma “Garantia de Melhor Pontuação” completa, não deflacione suas pontuações no teste de prática tão pesadamente. Eles têm uma garantia para o seu tutoring, mas só resgata uma sessão grátis de 2 horas de tutoring.

Pessoalmente, eu fiquei desanimado quando recebi 500 no meu primeiro exame prático de Princeton Review. Na realidade, a maior parte das pessoas que têm uma boa nota no exame. Se eu não tivesse trabalhado com esses dados, eu teria pensado que estava no caminho certo para um 500 no exame real – uma pontuação que tem uma taxa de aceitação média horrível de 22,3%, segundo a AAMC . Princeton Review em nenhum momento observa como suas notas estão deflacionadas, e muitos alunos provavelmente não percebem isso. Eu agora entendo que é a maneira deles protegerem suas receitas enquanto ainda oferecem uma garantia de retorno de dinheiro.

Quando eu tiver mais tempo, eu gostaria de adicionar mais empresas de preparação para testes (Altaius e ExamKrackers), e comparar seções individuais com as pontuações reais da seção MCAT para ver se alguma empresa tem uma correlação notavelmente maior em uma subseção.

Pitfalls:

Dentre as muitas falhas destes dados, a mais condenável é o fato de que as empresas de preparação para testes de terceiros podem alterar seus algoritmos de escalonamento a qualquer momento sem aviso prévio (e eles o fazem). NextStep declarou por e-mail que eles estão constantemente aperfeiçoando seu algoritmo, com uma grande revisão em janeiro de 2017. Kaplan parece fazer o mesmo (como discutido acima, eu acho que NextStep pode realmente desejar ser preciso em seus relatórios de pontuação e eu imagino que eles se ajustam mais frequentemente do que outras empresas).

Então lá todos os vieses que jogaram nos dados que eu tinha:

  • Eu estou apostando que os usuários que visitam o subreddit MCAT e outros fóruns pré-médicos da internet são mais dedicados do que o tomador de teste médio.
  • Viés massivo de auto-reportagem – as pessoas são mais propensas a submeter as suas pontuações se forem impressionantes (a pontuação média nos meus dados foi um 515 absurdamente alto).
  • Estes testes práticos são caros, e os demográficos destes testadores são quase certamente enviesados para as pessoas ricas.
  • A média das notas dos exames de terceiros foi calculada e não foi considerada a quantidade de exames que eles fizeram. Um indivíduo que fez 10 exames Kaplan e obteve 510 cada vez foi tratado exatamente como um indivíduo que fez 1 exame Kaplan e obteve 510, apesar de eu suspeitar que a pessoa que fez 10 exames está melhor preparada para obter uma boa nota no exame real. Vou analisar este quando tiver mais tempo, mas acho que é menos importante do que a pontuação em si.

No total, esta é uma ciência extremamente imperfeita com muitas armadilhas, mas foi capaz de prever a minha pontuação em dois pontos, e serve como um guia para aqueles que se perguntam onde estão sem nenhuma pontuação no exame AAMC em mãos.

Deixe uma resposta

O seu endereço de email não será publicado.