(3/26/18 – det här är ett oavslutat inlägg som jag har lagt upp så att data kan vara till nytta för andra medan jag lägger till det / revidera det. Också för bästa upplevelse visa på en stationär dator, graferna är slaktade på mobil)

Den AAMC har bara 3 poängsatta övningsprov släppt, vilket lämnar blivande testtagare i en svår situation – för att veta var de står måste de ta ett AAMC poängsatt prov. Men dessa prov är en värdefull resurs, eftersom de är det närmaste vi kan komma det riktiga MCAT-provet. Om deras poäng inte är där de vill att de ska vara, har de bara två AAMC-poängprov kvar. Tidigare hade testdeltagare 10 AAMC-examina, men MCAT efter 2015 gör dessa övningstester värdelösa. Här försöker jag förutsäga MCAT-poäng med hjälp av tredje parts poäng på övningsprov och data som användare skickat in från Reddit.

Data:

Data har hämtats från det här kalkylbladet med poäng som användare skickat in, som består av 844 poäng som användare skickat in. Det består av användare av underreddit MCAT och forumet Student Doctor Network. Jag inkluderade endast personer som tog MCAT mellan januari och september 2017.

Det finns en enorm mängd självrapporteringsbias i dessa data, vilket jag kommer att beröra i slutet. Omöjliga resultat slängdes ut (en användare rapporterade en ”406” på NextStep Exam 1, som liksom den riktiga MCAT får poäng från 472-528). Jag uteslöt också uppgifter från en annan användare som rapporterade 472 på det riktiga provet efter att ha rapporterat 505, 504, 509 och 509 på NextStep Exams 1-4 samt 509 och 510 på AAMC #1 och #2. Jag vet inte om det är möjligt att tappa bollen så mycket på provdagen så jag kallar det för en slump. Dessa var de enda två resultat som exkluderades.

Kaplan (n=309):

Den korta berättelsen är – Kaplans resultat är kraftigt, kraftigt, deflaterade, men har fortfarande en förutsägande kraft. Som en extremt grov omräkning kan du lägga till 10 poäng till din Kaplan-poäng för att få din AAMC-poäng. Detta blir mindre förutsägande vid de övre och nedre extremerna. Kaplan och NextStep hade den starkaste korrelationen till de faktiska MCAT-poängen, även om detta inte nödvändigtvis betyder att de är det bästa materialet. Det betyder dock att deras skalning är den mest exakta.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ’ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

NextStep-examina var något mindre deflaterade än Kaplans, men de hade en lika snäv fördelning (r2 på .536). En extremt grov omräkningsfaktor skulle vara att lägga till 7 till ditt NextStep-genomsnitt för att uppskatta ditt faktiska resultat. NextStep verkar vara stolta över att ge korrekta skalade resultat, vilket får mig att undra varför deras resultat fortfarande är så deflaterade. Det finns ingen ”grov omräkning” för NextSteps poäng, eftersom de är mindre deflaterade för genomsnittliga poäng (498-510) och kraftigt deflaterade för höga poäng (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ’ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Princeton Reviews prov är absurt nedtonade. Den genomsnittliga personen som får 503 på ett TPR-test får 518 på det riktiga testet. Princeton Reviews prov hade den sämsta korrelationen till de verkliga MCAT-poängen (den här grafen är en oavslutad stand-in för en som jag kommer att lägga upp senare, men uppgifterna bör vara desamma).

<a href=’#’><img alt=’Sheet 1 ’ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Notiser:

Varför är då de här testen så urusla? En del av det beror på min snedvridna datamängd (se nästa avsnitt). Men jag tror att det främst beror på att testförberedelseföretagen föredrar att någon får 505 poäng på deras övningsprov och 515 poäng på den riktiga MCAT, snarare än tvärtom. Deras ”100 % pengarna tillbaka-garantier” bygger på att du överträffar ditt resultat på övningsprovet. Kaplans ”Higher Score Guarantee”-program löser endast ut om din faktiska MCAT-poäng är lägre än din diagnostiska poäng. De har byggt in en buffert på ~10 poäng i skalningen av deras övningsprov för att se till att detta inte kommer att lösas in ofta. Kaplan är det mest populära MCAT-förberedelseföretaget, och de har en skattkammare av studentdata som skulle kunna användas för att ge korrekta poäng, om de önskade det.

Princeton Review erbjuder ett liknande program, men grundpoängen kan vara antingen din tidigare faktiska MCAT-poäng (om den tas inom 90 dagar efter starten av översynskursen) eller Princeton Reviews diagnostiska prov som tas i början av din kurs. Om du inte är en retaker, och det sistnämnda används, finns det nästan ingen chans att du misslyckas med att slå det resultatet.

Jag tror inte att det är en slump att NextStep, ett prep-företag som inte har en ”Better Score Guarantee” med full återbetalning, inte deflaterar sina resultat från övningsproven lika kraftigt. De har visserligen en garanti för sin handledning, men den ger bara rätt till en gratis två timmars handledning.

Personligen blev jag nedstämd när jag fick 500 poäng på mitt första övningsprov från Princeton Review. I verkligheten klarar sig de flesta som får det resultatet bra på det riktiga provet. Om jag inte hade arbetat med dessa uppgifter skulle jag ha trott att jag var på väg att få 500 poäng på det riktiga provet – ett resultat som har en fruktansvärd genomsnittlig antagningsfrekvens på 22,3 %, enligt AAMC . Princeton Review noterar inte vid något tillfälle hur deflaterade deras poäng är, och många studenter inser förmodligen inte detta. Jag förstår nu att det är deras sätt att skydda sina intäkter samtidigt som de fortfarande erbjuder en garanti för återbetalning av poäng.

När jag har mer tid vill jag lägga till fler testförberedande företag (Altaius och ExamKrackers) och jämföra enskilda avsnitt med de faktiska MCAT-avsnittspoängen för att se om något företag har en anmärkningsvärt högre korrelation på ett avsnitt.

Pitfalls:

Av de många bristerna i dessa data är den mest fördömande det faktum att de tredjepartsföretag som förbereder testerna kan ändra sina skalningsalgoritmer när som helst utan förvarning (och det gör de). NextStep har via e-post uppgett att de ständigt finjusterar sin algoritm, med en större översyn i januari 2017. Kaplan verkar göra samma sak (som diskuterats ovan tror jag att NextStep faktiskt kan önska att vara korrekt i sin poängrapportering och jag kan tänka mig att de justerar oftare än andra företag).

Därefter finns det alla fördomar som spelade in i de uppgifter jag hade:

  • Jag slår vad om att användare som besöker MCAT subreddit och andra internetforum för premedicinsk utbildning är mer hängivna än den genomsnittliga testtagaren.
  • Massiv självrapporteringsbias – folk är mer benägna att skicka in sina resultat om de är imponerande (det genomsnittliga resultatet i mina data var en absurt hög 515).
  • Dessa övningstester är dyra, och demografin för dessa testdeltagare är nästan säkert snedfördelad mot rika människor.
  • Tredje parts provresultat har räknats ut i genomsnitt och ingen hänsyn har tagits till hur många prov de har tagit. En person som tog 10 Kaplan-tester och fick 510 varje gång behandlades exakt likadant som en person som tog 1 Kaplan-test och fick 510, även om jag misstänker att personen som tog 10 tester är bättre förberedd för att få ett bra resultat på det faktiska testet. Jag ska undersöka detta när jag har mer tid, men jag antar att det är mindre viktigt än själva poängen.

Samt sett är detta en extremt ofullkomlig vetenskap med många fallgropar, men den kunde förutsäga min poäng inom två poäng, och fungerar som en guide för dem som undrar var de står utan att ha några AAMC-examenspoäng i handen.

Lämna ett svar

Din e-postadress kommer inte publiceras.