(3/26/18 – c’est un post inachevé que j’ai mis en place afin que les données puissent être utiles à d’autres personnes pendant que je l’ajoute / le révise. Aussi pour la meilleure expérience vue sur un ordinateur de bureau, les graphiques sont massacrés sur mobile)

L’AAMC n’a que 3 examens pratiques notés publiés, laissant les futurs preneurs de test dans une situation difficile – pour savoir où ils se situent, ils doivent passer un examen noté par l’AAMC. Mais ces examens sont une ressource précieuse, car ils sont ce qui se rapproche le plus du véritable MCAT. Si leur score n’est pas à la hauteur de leurs attentes, il ne leur reste que deux examens notés par l’AAMC. Dans le passé, les candidats à l’examen disposaient de 10 examens AAMC, mais le MCAT post-2015 rend ces tests pratiques sans valeur. Ici, je tente de prédire les scores du MCAT en utilisant les scores des examens pratiques de tiers et les données soumises par les utilisateurs sur Reddit.

Données:

Les données ont été tirées de cette feuille de calcul des scores soumis par les utilisateurs, composée de 844 scores soumis par les utilisateurs. Il est composé d’utilisateurs du subreddit MCAT et des forums du Student Doctor Network. Je n’ai inclus que les personnes qui ont passé le MCAT entre janvier et septembre 2017.

Il y a énormément de biais d’auto-déclaration dans ces données, que j’aborderai à la fin. Les scores impossibles ont été rejetés (un utilisateur a signalé un  » 406  » à l’examen 1 de NextStep, qui, comme le véritable MCAT, est noté de 472 à 528). J’ai également exclu les données d’un autre utilisateur qui a signalé un 472 à l’examen réel après avoir signalé 505, 504, 509 et 509 aux examens NextStep 1 à 4, et 509 et 510 aux examens AAMC 1 et 2. Je ne sais pas s’il est possible d’échouer à ce point le jour de l’examen, alors j’appelle cela un coup de chance. Ce sont les deux seuls scores exclus.

Kaplan (n=309):

L’histoire courte est – les scores de Kaplan sont fortement, fortement, déflatés, mais ont encore un pouvoir prédictif. Comme une conversion extrêmement grossière, vous pouvez ajouter 10 points à votre score Kaplan pour obtenir votre score AAMC. Ce dernier devient moins prédictif aux extrêmes supérieurs et inférieurs. Kaplan et NextStep ont la plus forte corrélation avec les résultats réels du MCAT, mais cela ne signifie pas nécessairement qu’ils constituent le matériel de référence. Cela signifie que leur échelle est la plus précise.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border : none’ /></a>

NextStep (n=354):

Les examens deNextStep étaient légèrement moins déflatés que ceux de Kaplan, mais ils avaient une distribution aussi serrée (r2 de 0,536). Un facteur de conversion extrêmement grossier serait d’ajouter 7 à votre moyenne NextStep pour estimer votre score réel. NextStep semble s’enorgueillir de donner des scores exacts, ce qui m’amène à me demander pourquoi les leurs sont encore si peu élevés. Il n’y a pas de  » conversion brute  » pour les scores NextStep, car ils sont moins dégonflés pour les scores moyens (498-510) et fortement dégonflés pour les scores élevés (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores’ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border : none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Les examens de Princeton Review sont absurdement dégonflés. La personne moyenne qui obtient un 503 à un examen TPR obtient un 518 à l’examen réel. Les examens de Princeton Review avaient la pire corrélation avec les résultats réels du MCAT (ce graphique est un stand-in inachevé pour un que je posterai plus tard, mais les données devraient être les mêmes).

<a href=’#’><img alt=’Sheet 1 ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border : none’ /></a>

Notes:

Alors pourquoi ces tests sont-ils si dégonflés ? C’est en partie dû à mon ensemble de données biaisé (voir la section suivante). Mais je pense que c’est principalement parce que les sociétés de préparation aux tests préfèrent que quelqu’un obtienne 505 à leurs examens pratiques et 515 au MCAT réel, plutôt que l’inverse. Leurs  » garanties de remboursement à 100 %  » reposent sur le fait que vous devez obtenir un meilleur résultat à l’examen blanc. Le programme « Higher Score Guarantee » de Kaplan ne vous remboursera que si votre score réel au MCAT est inférieur à votre score de diagnostic. Kaplan a intégré une marge d’environ 10 points dans l’échelle de ses examens blancs afin de s’assurer que cette garantie ne sera pas utilisée souvent. Kaplan est la société de préparation au MCAT la plus populaire, et ils ont un trésor de données sur les étudiants qui pourraient être utilisées pour donner des scores précis, s’ils le souhaitaient.

Princeton Review offre un programme similaire, mais le score de base peut être soit votre score réel précédent au MCAT (s’il est pris dans les 90 jours suivant le début du cours de révision), soit l’examen de diagnostic de Princeton Review pris au début de votre cours. Si vous n’êtes pas un repreneur et que ce dernier est utilisé, il n’y a presque aucune chance que vous échouiez à battre ce score.

Je ne pense pas que ce soit une coïncidence que NextStep, une société de préparation sans garantie de remboursement intégral  » Better Score Guarantee « , ne dégonfle pas aussi lourdement ses scores aux tests pratiques. Ils ont bien une garantie pour leur tutorat, mais elle ne rachète qu’une séance de tutorat gratuite de 2 heures.

Personnellement, j’ai été déprimé lorsque j’ai obtenu un 500 à mon premier examen pratique Princeton Review. En réalité, la plupart des personnes qui obtiennent ce score se débrouillent bien à l’examen réel. Si je n’avais pas travaillé avec ces données, j’aurais pensé que j’étais sur la bonne voie pour obtenir un 500 à l’examen réel – un score qui a un taux d’acceptation moyen épouvantable de 22,3 %, selon l’AAMC . Princeton Review n’indique à aucun moment à quel point ses résultats sont dévalués, et de nombreux étudiants ne s’en rendent probablement pas compte. Je comprends maintenant que c’est leur façon de protéger leurs revenus tout en offrant une garantie de remboursement des scores.

Lorsque j’aurai plus de temps, j’aimerais ajouter d’autres sociétés de préparation aux tests (Altaius et ExamKrackers), et comparer les sections individuelles aux scores réels des sections du MCAT pour voir si certaines sociétés ont une corrélation notablement plus élevée sur une sous-section.

Pitfalls:

Parmi les nombreuses lacunes de ces données, la plus accablante est le fait que les sociétés de préparation aux tests tierces peuvent changer leurs algorithmes de mise à l’échelle à tout moment sans avertissement (et elles le font). NextStep a déclaré par e-mail qu’elle affinait constamment son algorithme, avec une révision majeure en janvier 2017. Kaplan semble faire de même (comme discuté ci-dessus, je pense que NextStep peut en fait désirer être précis dans sa déclaration de score et j’imagine qu’ils ajustent plus fréquemment que d’autres entreprises).

Puis il y a tous les biais qui ont joué dans les données que j’avais :

  • Je parie que les utilisateurs qui visitent le subreddit MCAT et d’autres forums internet pré-médicaux sont plus dévoués que le preneur de test moyen.
  • Biais massif d’autodéclaration – les gens sont plus susceptibles de soumettre leurs scores s’ils sont impressionnants (le score moyen dans mes données était un 515 absurdement élevé).
  • Ces tests de pratique sont chers, et la démographie de ces preneurs de test est presque certainement biaisée vers les gens riches.
  • Les scores des examens de tiers ont été moyennés et aucune considération n’a été donnée au nombre d’examens qu’ils ont pris. Une personne qui a passé 10 examens Kaplan et a obtenu 510 à chaque fois a été traitée exactement de la même manière qu’une personne qui a passé 1 examen Kaplan et a obtenu un 510, même si je soupçonne que la personne qui a passé 10 examens est mieux préparée pour obtenir un bon score à l’examen réel. J’examinerai cette question quand j’aurai plus de temps, mais je suppose que c’est moins important que les scores eux-mêmes.

En somme, il s’agit d’une science extrêmement imparfaite avec de nombreux pièges, mais elle a pu prédire mon score à deux points près, et sert de guide pour ceux qui se demandent où ils en sont sans aucun score d’examen AAMC en main.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.