(3/26/18 – dette er et ufærdigt indlæg, som jeg har lagt op, så dataene kan være til nytte for andre, mens jeg tilføjer til det / revidere det. Også for bedste oplevelse visning på et skrivebord, graferne er slagtet på mobil)

Den AAMC har kun 3 scorede praksiseksamen frigivet, hvilket efterlader potentielle testdeltagere i en vanskelig situation – for at vide, hvor de står, skal de tage en AAMC-scoreret eksamen. Men disse eksamener er en værdifuld ressource, da de er det tætteste, vi kan komme på den rigtige MCAT. Hvis deres score ikke er der, hvor de ønsker det, er de kun tilbage med 2 AAMC-scorede eksamener. Tidligere havde testdeltagere 10 AAMC-prøver, men MCAT’en efter 2015 gør disse praksisprøver værdiløse. Her forsøger jeg at forudsige MCAT-scoringer ved hjælp af 3. parts praksiseksamen-scoringer og brugerindsendte data fra Reddit.

Data:

Dataene er taget fra dette brugerindsendte score-regneark, der består af 844 brugerindsendte scoringer. Det er sammensat af brugere af MCAT subreddit og Student Doctor Network-forummet. Jeg har kun inkluderet personer, der tog MCAT mellem januar og september 2017.

Der er en enorm mængde af selvrapporteringsbias i disse data, som jeg vil berøre til sidst. Umulige scoringer blev smidt ud (en bruger rapporterede en “406” på NextStep Exam 1, som ligesom den rigtige MCAT scorer 472-528). Jeg udelukkede også data fra en anden bruger, der rapporterede en 472 på den rigtige eksamen efter at have rapporteret 505, 504, 509 og 509 på NextStep Eksamen 1-4 og en 509 og 510 på AAMC #1 og #2. Jeg ved ikke, om det er muligt at tabe bolden så slemt på testdagen, så jeg kalder det en tilfældighed. Disse var de eneste to resultater, der blev udelukket.

Kaplan (n=309):

Den korte historie er – Kaplans resultater er stærkt, stærkt, deflateret, men har stadig forudsigelseskraft. Som en ekstremt grov omregning kan du lægge 10 point til din Kaplan-score for at få din AAMC-score. Dette bliver mindre forudsigende ved de øvre og nedre ekstremer. Kaplan og NextStep havde den stærkeste korrelation til de faktiske MCAT-scores, selv om dette ikke nødvendigvis betyder, at de er det bedste øvelsesmateriale. Det betyder dog, at deres skalering er den mest præcise.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

NextStep-prøverne var lidt mindre deflaterede end Kaplan, men de havde en tilsvarende stram fordeling (r2 på 0,536). En ekstremt grov omregningsfaktor ville være at lægge 7 til dit NextStep-gennemsnit for at estimere din faktiske score. NextStep lader til at være stolte af at give nøjagtige skala-scoringer, hvilket får mig til at undre mig over, hvorfor deres score stadig er så deflateret. Der er ingen ‘grov omregning’ for NextStep-scoringer, da den er mindre deflateret for gennemsnitlige scoringer (498-510) og stærkt deflateret for høje scoringer (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ‘ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Princeton Review’s eksamener er absurd nedtonet. Den gennemsnitlige person, der opnår 503 på en TPR-eksamen, får 518 på den rigtige eksamen. Princeton Review’s eksamener havde den dårligste korrelation til de faktiske MCAT-scoringer (denne graf er en ufærdig stand-in for en, som jeg vil poste senere, men dataene skulle være de samme).

<a href=’#’><img alt=’Sheet 1 ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Notes:

Så hvorfor er disse test så deflaterede? En del af det er mit skæve datasæt (se næste afsnit). Men jeg tror primært, at det er fordi testforberedelsesfirmaerne foretrækker, at nogen scorer 505 på deres øvelsesprøver og en 515 på den faktiske MCAT, snarere end det modsatte. Deres “100 % pengene tilbage-garantier” er afhængige af, at du overgår din score i praksisprøven. Kaplans “Higher Score Guarantee”-program indfrier kun, hvis din faktiske MCAT-score er lavere end din diagnostiske score. De har indbygget en stødpude på ~10 point i skaleringen af deres øvelsesprøver for at sikre, at dette ikke vil blive indløst ofte. Kaplan er det mest populære MCAT prep firma, og de har et skatkammer af studenterdata, som kunne bruges til at give præcise scorer, hvis de ønskede det.

Princeton Review tilbyder et lignende program, men baselinescoren kan være enten din tidligere faktiske MCAT score (hvis den er taget inden for 90 dage efter starten af gennemgangskurset) eller Princeton Review diagnostiske eksamen taget i starten af dit kursus. Hvis du ikke er en retaker, og sidstnævnte bruges, er der næsten ingen chance for, at du ikke formår at slå denne score.

Jeg tror ikke, at det er et tilfælde, at NextStep, et prep firma uden en fuld refusion ‘Better Score Guarantee’, ikke deflaterer deres praksis test score så voldsomt. De har en garanti for deres vejledning, men den indløser kun en gratis 2 timers vejledningssession.

Personligt var jeg nedtrykt, da jeg fik et 500-tal på min første Princeton Review-øvelsesprøve. I virkeligheden klarer de fleste mennesker, der scorer det, sig fint på den rigtige eksamen. Havde jeg ikke arbejdet med disse data, ville jeg have troet, at jeg var på vej til en 500 på den rigtige eksamen – en score, der har en forfærdelig gennemsnitlig acceptprocent på 22,3 %, ifølge AAMC . Princeton Review bemærker på intet tidspunkt, hvor deflateret deres score er, og mange studerende er sandsynligvis ikke klar over dette. Jeg forstår nu, at det er deres måde at beskytte deres indtægter på, mens de stadig tilbyder en pengene tilbage score garanti.

Når jeg har mere tid, vil jeg gerne tilføje flere test prep virksomheder (Altaius og ExamKrackers), og sammenligne individuelle sektioner med faktiske MCAT sektionsscorer for at se, om nogen virksomheder har en markant højere korrelation på en underafdeling.

Pitfalls:

Men blandt de mange mangler ved disse data er den mest fordømmende det faktum, at de 3. part test prep virksomheder kan ændre deres skaleringsalgoritmer når som helst uden varsel (og det gør de). NextStep har via e-mail oplyst, at de konstant finjusterer deres algoritme, med en større overhaling i januar 2017. Kaplan ser ud til at gøre det samme (som diskuteret ovenfor, tror jeg, at NextStep faktisk kan ønske at være nøjagtige i deres score rapportering, og jeg forestiller mig, at de justerer oftere end andre virksomheder).

Så er der alle de bias, der spillede ind i de data, jeg havde:

  • Jeg satser på, at brugere, der besøger MCAT subreddit og andre pre-medicinske internetfora, er mere dedikerede end den gennemsnitlige testdeltager.
  • Massiv selvrapporteringsbias – folk er mere tilbøjelige til at indsende deres score, hvis de er imponerende (den gennemsnitlige score i mine data var en absurd høj 515).
  • Disse praksisprøver er dyre, og demografien af disse testdeltagere er næsten helt sikkert skævt fordelt i retning af rige folk.
  • 3. partsprøveresultater blev gennemsnitliggjort, og der blev ikke taget hensyn til, hvor mange prøver de tog. En person, der tog 10 Kaplan-prøver og fik 510 hver gang, blev behandlet nøjagtigt på samme måde som en person, der tog 1 Kaplan-prøve og fik 510, selv om jeg formoder, at den person, der tog 10 prøver, er bedre forberedt til at score godt ved den faktiske prøve. Jeg vil undersøge dette, når jeg har mere tid, men jeg gætter på, at det er mindre vigtigt end selve scoren.

Alt i alt er dette en yderst ufuldkommen videnskab med mange faldgruber, men den var i stand til at forudsige min score inden for to point, og tjener som en vejledning for dem, der spekulerer på, hvor de står uden nogen AAMC eksamensscore i hånden.

Skriv et svar

Din e-mailadresse vil ikke blive publiceret.