(26.3.18 – tämä on keskeneräinen viesti, jonka olen laittanut ylös, jotta tiedot voivat olla hyödyksi muille, kun lisään siihen / tarkistan sitä. Myös parhaan kokemuksen näkymä työpöydällä, kuvaajat ovat teurastettu mobiili)

AAMC on vain 3 pisteytetty käytännön tentit julkaistiin, jättäen mahdollisille kokeen suorittajille vaikeassa tilanteessa – tietää, missä he seisovat, heidän on otettava AAMC pisteytetty tentti. Mutta nuo kokeet ovat arvokas resurssi, sillä ne ovat lähimpänä oikeaa MCAT-tutkintoa. Jos heidän pistemääränsä ei ole sellainen kuin he haluaisivat, heille jää vain kaksi AAMC:n pisteytettyä koetta. Aikaisemmilla kokelailla oli käytössään 10 AAMC-koetta, mutta vuoden 2015 jälkeinen MCAT tekee näistä harjoituskokeista arvottomia. Tässä yritän ennustaa MCAT-pistemääriä käyttämällä kolmannen osapuolen harjoituskokeiden pistemääriä ja käyttäjien Redditistä lähettämiä tietoja.

Data:

Tiedot on otettu tästä käyttäjien lähettämästä pistetaulukosta, joka koostuu 844 käyttäjän lähettämistä pisteistä. Se koostuu MCAT-subredditin ja Student Doctor Network -foorumien käyttäjistä. Otin mukaan vain henkilöt, jotka suorittivat MCAT-kokeen tammikuun ja syyskuun 2017 välisenä aikana.

Tämässä datassa on valtavasti itseraportointiharhaa, jota käsittelen lopussa. Mahdottomat pisteet hylättiin (yksi käyttäjä ilmoitti ”406” NextStep Exam 1 -tutkinnosta, joka oikean MCAT-kokeen tavoin pisteytetään 472-528 pisteellä). Jätin pois myös yhden toisen käyttäjän tiedot, joka ilmoitti 472 pistettä oikeassa kokeessa ilmoitettuaan 505, 504, 509 ja 509 pistettä NextStep Exams 1-4 -kokeissa sekä 509 ja 510 pistettä AAMC #1 ja #2 -kokeissa. En tiedä, onko mahdollista pudottaa pallo näin pahasti koepäivänä, joten kutsun sitä sattumaksi. Nämä olivat ainoat kaksi pistettä, jotka jätettiin pois.

Kaplan (n=309):

Lyhyesti sanottuna – Kaplanin pisteet ovat vahvasti, vahvasti, deflatoituneet, mutta niillä on silti ennustusvoimaa. Äärimmäisen karkeana muunnoksena voit lisätä 10 pistettä Kaplanin pistemäärääsi saadaksesi AAMC:n pistemäärän. Tämä heikentää ennustuskykyä ylä- ja alapäässä. Kaplanilla ja NextStepillä oli vahvin korrelaatio todellisiin MCAT-pistemääriin, vaikka tämä ei välttämättä tarkoita, että ne olisivat parasta harjoitusmateriaalia. Se tarkoittaa kuitenkin sitä, että niiden skaalaus on tarkin.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ’ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

NextStep-tutkinnot olivat hiukan vähemmän deflatoituneita kuin Kaplan-tutkinnot, mutta niiden jakauma oli samankaltaisen tiukka kuin Kaplan-tutkinnoilla (r2 on .536). Erittäin karkea muuntokerroin olisi lisätä 7 NextStep-keskiarvoosi todellisen pistemäärän arvioimiseksi. NextStep näyttää olevan ylpeä siitä, että se antaa tarkkoja skaalattuja pisteitä, mikä saa minut ihmettelemään, miksi niiden pistemäärät ovat edelleen niin deflatoituneita. NextStep-pisteiden osalta ei ole mitään ”karkeaa muunnosta”, sillä ne ovat vähemmän deflatoituja keskimääräisten pisteiden osalta (498-510) ja voimakkaasti deflatoituja korkeiden pisteiden osalta (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ’ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Princeton Review’n tentit ovat järjettömän deflatoituja. Keskimääräinen henkilö, joka saa 503 pistettä TPR-kokeesta, saa 518 pistettä oikeassa kokeessa. Princeton Review’n kokeilla oli huonoin korrelaatio todellisiin MCAT-pistemääriin (tämä kaavio on keskeneräinen sijaiskuvaus myöhemmin julkaisemastani, mutta tietojen pitäisi olla samat).

<a href=’#’><img alt=’Sheet 1 ’ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Huomautukset:

Miksi nämä testit sitten ovat niin deflatoituneita? Osittain se johtuu vinoutuneesta aineistostani (ks. seuraava kappale). Mutta luulen, että se johtuu pääasiassa siitä, että testivalmennusyritykset pitävät parempana, että joku saa harjoituskokeissa 505 pistettä ja varsinaisessa MCAT-kokeessa 515 pistettä, eikä päinvastoin. Heidän ”100-prosenttinen rahanpalautustakuunsa” perustuu siihen, että voit ylittää harjoituskokeen pistemäärän. Kaplanin ”Korkeamman pistemäärän takuu” -ohjelma lunastaa rahat vain, jos varsinainen MCAT-pistemääräsi on alhaisempi kuin diagnostinen pistemääräsi. He ovat rakentaneet harjoituskokeidensa skaalaukseen ~10 pisteen puskurin varmistaakseen, että tätä ei lunasteta usein. Kaplan on suosituin MCAT-valmennusyritys, ja heillä on aarreaitta opiskelijoiden tietoja, joita voitaisiin haluttaessa käyttää tarkkojen pisteiden antamiseen.

Princeton Review tarjoaa samanlaista ohjelmaa, mutta peruspistemääränä voidaan käyttää joko aiempaa todellista MCAT-pistemäärääsi (jos se on suoritettu 90 päivän kuluessa kurssin alkamisesta) tai kurssin alussa suoritettua Princeton Reviewn diagnostista koetta. Jos et ole uudelleentekijä ja käytetään jälkimmäistä, on lähes mahdotonta, ettet onnistu ylittämään tuota pistemäärää.

En usko, että on sattumaa, että NextStep, prep-yritys, jolla ei ole täyttä palautusta ’Better Score Guarantee’, ei deflatoi harjoituskokeidensa pistemääriä yhtä voimakkaasti. Heillä on kyllä takuu tukiopetukselleen, mutta se lunastaa vain ilmaisen 2 tunnin tukiopetuskerran.

Henkilökohtaisesti olin masentunut, kun sain 500 pistettä ensimmäisestä Princeton Reviewn harjoituskokeesta. Todellisuudessa useimmat ihmiset, jotka saavat tuon pistemäärän, pärjäävät hyvin varsinaisessa kokeessa. Jos en olisi työskennellyt näiden tietojen kanssa, olisin luullut, että olin matkalla kohti 500:aa oikeassa kokeessa – pistemäärä, jolla on kauhea keskimääräinen hyväksymisprosentti 22,3 %, AAMC:n mukaan. Princeton Review ei missään vaiheessa mainitse, kuinka alhaisia niiden pisteet ovat, eivätkä monet opiskelijat luultavasti tajua tätä. Ymmärrän nyt, että se on heidän tapansa suojella tulojaan ja tarjota silti rahanpalautustakuu.

Kun minulla on enemmän aikaa, haluaisin lisätä lisää testivalmennusyrityksiä (Altaius ja ExamKrackers) ja verrata yksittäisiä osioita MCAT:n todellisten osioiden pistemääriin nähdäkseni, onko jollakin yrityksellä huomattavan korkeampi korrelaatio jossakin osa-alueessa.

Puutteet:

Tämän datan monien puutteiden joukossa tuomittavin on se, että kolmannen osapuolen testivalmisteluyritykset voivat muuttaa skaalausalgoritmejaan milloin tahansa ilman varoitusta (ja niin ne tekevät). NextStep on ilmoittanut sähköpostitse, että he jatkuvasti hienosäätävät algoritmiään, ja tammikuussa 2017 tehtiin suuri remontti. Kaplan näyttää tekevän samoin (kuten edellä on keskusteltu, luulen, että NextStep saattaa itse asiassa haluta olla tarkka pisteraportoinnissaan, ja kuvittelen, että he muokkaavat sitä useammin kuin muut yritykset).

Sitten kaikki ennakkoluulot, jotka pelasivat tietoihini:

  • Lyön vetoa, että käyttäjät, jotka vierailevat MCAT-subredditissä ja muilla lääketieteellistä edeltävillä internetin internetfoorumeilla, ovat omistautuneempia kuin keskiverto kokeen vastaanottaja.
  • Massiivinen self-reporting bias – ihmiset toimittavat todennäköisemmin pistemääränsä, jos ne ovat vaikuttavia (keskimääräinen pistemäärä aineistossani oli järjettömän korkea 515).
  • Nämä harjoituskokeet ovat kalliita, ja näiden kokeiden osallistujien väestörakenne on lähes varmasti vinoutunut rikkaiden ihmisten suuntaan.
  • Kolmannen osapuolen kokeiden pistemäärät laskettiin keskiarvona, eikä otettu huomioon sitä, kuinka monta koetta he tekivät. Henkilöä, joka teki 10 Kaplanin koetta ja sai joka kerta 510 pistettä, kohdeltiin täsmälleen samalla tavalla kuin henkilöä, joka teki yhden Kaplanin kokeen ja sai 510 pistettä, vaikka epäilen, että henkilö, joka teki 10 koetta, on paremmin valmistautunut saamaan hyvät pisteet varsinaisessa kokeessa. Tutkin tätä asiaa, kun minulla on enemmän aikaa, mutta luulen, että sillä ei ole niin suurta merkitystä kuin itse pistemäärillä.

Kaiken kaikkiaan tämä on äärimmäisen epätäydellistä tiedettä, jossa on monia sudenkuoppia, mutta se pystyi ennustamaan pistemääräni kahden pisteen tarkkuudella, ja se toimii oppaana niille, jotka miettivät, missä he ovat ilman AAMC-tenttipisteitä käsissään.

Vastaa

Sähköpostiosoitettasi ei julkaista.