(3/26/18 – dit is een onvoltooide post die ik heb geplaatst zodat de gegevens van nut kunnen zijn voor anderen terwijl ik het aanvul / herzie. Ook voor de beste ervaring bekijken op een desktop, de grafieken zijn afgeslacht op mobiel)

De AAMC heeft slechts 3 gescoorde oefenexamens vrijgegeven, waardoor aspirant-testnemers zich in een lastige situatie bevinden – om te weten waar ze staan, moeten ze een AAMC gescoord examen afleggen. Maar die examens zijn een kostbaar hulpmiddel, omdat ze het dichtst bij de echte MCAT komen. Als hun score niet is waar ze willen zijn, hebben ze nog maar 2 AAMC gescoorde examens. Examenkandidaten uit het verleden hadden 10 AAMC examens, maar de post-2015 MCAT maakt die oefenexamens waardeloos. Hier probeer ik MCAT scores te voorspellen met behulp van 3rd party oefenexamen scores en door gebruikers ingezonden data van Reddit.

Data:

De data is afkomstig van deze door gebruikers ingezonden score spreadsheet, die bestaat uit 844 door gebruikers ingezonden scores. Het is samengesteld uit gebruikers van de MCAT subreddit en de Student Doctor Network forums. Ik heb alleen individuen opgenomen die de MCAT hebben gedaan tussen januari en september 2017.

Er is een enorme hoeveelheid zelfrapportage bias in deze gegevens, die ik aan het eind zal aanstippen. Onmogelijke scores werden eruit gegooid (één gebruiker rapporteerde een ‘406’ op NextStep Exam 1, die, net als de echte MCAT, een score heeft van 472-528). Ik sloot ook de gegevens uit van een andere gebruiker die een 472 aangaf op het echte examen na 505, 504, 509, en 509 te hebben opgegeven op NextStep Examens 1-4, en een 509 en 510 op AAMC #1 en #2. Ik weet niet of het mogelijk is om op de testdag zo slecht te scoren, dus ik noem het een toevalstreffer. Dit waren de enige twee uitgesloten scores.

Kaplan (n=309):

Het korte verhaal is – Kaplan’s scores zijn zwaar, zwaar, gedeflateerd, maar hebben nog steeds voorspellende kracht. Als een extreem grove conversie, kun je 10 punten toevoegen aan je Kaplan score om je AAMC score te krijgen. Dit wordt minder voorspellend bij de bovenste en onderste uitersten. Kaplan en NextStep hadden de sterkste correlatie met de werkelijke MCAT-scores, hoewel dit niet noodzakelijk betekent dat zij het beste praktijkmateriaal zijn. Het betekent wel dat hun schaling het nauwkeurigst is.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

NextStep-examens waren iets minder gedefleerd dan Kaplan, maar ze hadden een vergelijkbaar strakke verdeling (r2 van .536). Een uiterst grove omrekeningsfactor zou zijn om 7 bij uw NextStep-gemiddelde op te tellen om uw werkelijke score te schatten. NextStep lijkt er prat op te gaan nauwkeurige geschaalde scores te geven, wat me doet afvragen waarom die van hen nog steeds zo gedefleerd zijn. Er is geen ‘ruwe conversie’ voor NextStep-scores, omdat ze minder gedefleerd zijn voor gemiddelde scores (498-510) en zwaar gedefleerd voor hoge scores (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ‘ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Princeton Review’s examens zijn absurd gedefleerd. De gemiddelde persoon die een 503 scoort op een TPR examen krijgt een 518 op het echte examen. De examens van Princeton Review hadden de slechtste correlatie met de werkelijke MCAT-scores (deze grafiek is een onafgemaakte stand-in voor een die ik later zal posten, maar de gegevens zouden dezelfde moeten zijn).

<a href=’#’><img alt=’Sheet 1 ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Notes:

Dus waarom zijn deze tests zo leeggelopen? Deels komt dat door mijn scheve gegevensverzameling (zie volgende sectie). Maar ik denk dat het in de eerste plaats komt omdat de testvoorbereidingsbedrijven liever hebben dat iemand 505 scoort op hun oefenexamens en een 515 op de eigenlijke MCAT, in plaats van het tegenovergestelde. Hun “100% geld terug garanties” vertrouwen erop dat je beter scoort dan je oefenexamen score. Kaplan’s “Hogere Score Garantie” programma zal alleen inlossen als je werkelijke MCAT score lager is dan je diagnostische score. Ze hebben een buffer van ~10 punten ingebouwd in de schaal van hun oefenexamens om er zeker van te zijn dat dit niet vaak zal worden ingeroepen. Kaplan is de meest populaire MCAT prep bedrijf, en ze hebben een schat aan student gegevens die kunnen worden gebruikt om nauwkeurige scores te geven, als ze dat willen.

Princeton Review biedt een soortgelijk programma, maar de basislijn score kan ofwel uw vorige werkelijke MCAT score zijn (indien genomen binnen 90 dagen na de start van de review cursus) of het Princeton Review diagnostisch examen genomen aan het begin van uw cursus. Als je geen retaker bent, en de laatste wordt gebruikt, is er bijna geen kans dat je er niet in slaagt om die score te verslaan.

Ik denk niet dat het toeval is dat NextStep, een prep bedrijf zonder een volledige-terugbetaling ‘Betere Score Garantie’, hun oefentest scores niet zo zwaar defleren. Ze hebben wel een garantie voor hun bijlessen, maar die vergoedt alleen een gratis bijles-sessie van 2 uur.

Persoonlijk was ik neerslachtig toen ik een 500 haalde op mijn eerste Princeton Review oefenexamen. In werkelijkheid doen de meeste mensen die dat cijfer halen het prima op het echte examen. Had ik niet met deze gegevens gewerkt, dan zou ik gedacht hebben dat ik op weg was naar een 500 op het echte examen – een score die een vreselijk gemiddeld aanvaardingspercentage heeft van 22,3%, volgens de AAMC . Princeton Review vermeldt op geen enkel moment hoe laag hun scores zijn, en veel studenten beseffen dit waarschijnlijk niet. Ik begrijp nu dat het hun manier is om hun inkomsten te beschermen en toch een geld-terug score garantie te bieden.

Wanneer ik meer tijd heb, wil ik meer test prep bedrijven toevoegen (Altaius en ExamKrackers), en individuele secties vergelijken met de werkelijke MCAT sectie scores om te zien of er bedrijven zijn die een opmerkelijk hogere correlatie hebben op een subsectie.

Valkuilen:

Van de vele tekortkomingen van deze gegevens, is de meest vernietigende het feit dat de 3e partij test prep bedrijven op elk moment hun schaal algoritmen kunnen veranderen zonder waarschuwing (en dat doen ze). NextStep heeft via e-mail verklaard dat ze hun algoritme voortdurend bijstellen, met een grote revisie in januari 2017. Kaplan lijkt hetzelfde te doen (zoals hierboven besproken, denk ik dat NextStep er eigenlijk naar kan verlangen om nauwkeurig te zijn in hun score-rapportage en ik stel me voor dat ze vaker aanpassen dan andere bedrijven).

Dan zijn er alle vooroordelen die speelden in de gegevens die ik had:

  • Ik durf te wedden dat gebruikers die de MCAT-subreddit en andere pre-medische internetforums bezoeken, meer toegewijd zijn dan de gemiddelde testafnemer.
  • Massive self-reporting bias – mensen zijn meer geneigd om hun scores in te dienen als ze indrukwekkend zijn (de gemiddelde score in mijn gegevens was een absurd hoge 515).
  • Deze oefentests zijn duur, en de demografie van deze testers zijn vrijwel zeker scheef in de richting van rijke mensen.
  • De examenscores van derden werden gemiddeld en er werd geen rekening gehouden met het aantal examens dat zij aflegden. Iemand die 10 Kaplan-examens heeft afgelegd en telkens een 510 kreeg, werd precies hetzelfde behandeld als iemand die 1 Kaplan-examen heeft afgelegd en een 510 kreeg, ook al vermoed ik dat degene die 10 examens heeft afgelegd beter voorbereid is om goed te scoren op het eigenlijke examen. Ik zal hiernaar kijken als ik meer tijd heb, maar ik denk dat het minder belangrijk is dan de scores zelf.

Al met al is dit een uiterst onvolmaakte wetenschap met veel valkuilen, maar het was in staat om mijn score binnen twee punten te voorspellen, en dient als een gids voor degenen die zich afvragen waar ze staan zonder enige AAMC-examenscores in de hand.

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.