(3/26/18 – questo è un post incompiuto che ho messo su così i dati possono essere utili ad altri mentre aggiungo ad esso / rivederlo. Anche per la migliore esperienza di visualizzazione su un desktop, i grafici sono macellati su mobile)

L’AAMC ha solo 3 esami pratici segnati rilasciati, lasciando i potenziali partecipanti al test in una situazione difficile – per sapere dove si trovano, devono prendere un esame segnato AAMC. Ma questi esami sono una risorsa preziosa, in quanto sono la cosa più vicina al vero MCAT. Se il loro punteggio non è dove vogliono che sia, rimangono solo 2 esami con punteggio AAMC. I partecipanti al test del passato avevano 10 esami AAMC, ma il MCAT post-2015 rende quei test pratici senza valore. Qui tento di prevedere i punteggi MCAT usando i punteggi degli esami pratici di terze parti e i dati inviati dagli utenti da Reddit.

Dati:

I dati sono stati presi da questo foglio di calcolo dei punteggi inviati dagli utenti, composto da 844 punteggi inviati dagli utenti. È composto da utenti del subreddit MCAT e dei forum dello Student Doctor Network. Ho incluso solo gli individui che hanno preso il MCAT tra gennaio e settembre 2017.

C’è una quantità enorme di auto-riferito bias in questi dati, che io tocco alla fine. I punteggi impossibili sono stati scartati (un utente ha riportato un ‘406’ su NextStep Exam 1, che, come il vero MCAT, è valutato 472-528). Ho anche escluso i dati di un altro utente che ha riportato un 472 sull’esame reale dopo aver riportato 505, 504, 509, e 509 su NextStep Exams 1-4, e un 509 e 510 su AAMC #1 e #2. Non so se è possibile perdere la palla così tanto il giorno dell’esame, quindi lo chiamo un colpo di fortuna. Questi erano gli unici due punteggi esclusi.

Kaplan (n=309):

La storia breve è – i punteggi Kaplan sono pesantemente, pesantemente, sgonfiati, ma hanno ancora potere predittivo. Come conversione estremamente rozza, puoi aggiungere 10 punti al tuo punteggio Kaplan per ottenere il tuo punteggio AAMC. Questo diventa meno predittivo agli estremi superiori e inferiori. Kaplan e NextStep hanno avuto la più forte correlazione con i punteggi MCAT effettivi, anche se questo non significa necessariamente che sono il materiale migliore. Significa che la loro scala è la più accurata.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

Gli esami NextStep erano leggermente meno sgonfiati di Kaplan, ma avevano una distribuzione altrettanto stretta (r2 di .536). Un fattore di conversione estremamente rozzo sarebbe quello di aggiungere 7 alla tua media NextStep per stimare il tuo punteggio effettivo. NextStep sembra essere orgogliosa di dare punteggi scalari accurati, il che mi fa chiedere perché i loro sono ancora così sgonfi. Non c’è una ‘conversione grezza’ per i punteggi NextStep, in quanto è meno sgonfiato per i punteggi medi (498-510) e pesantemente sgonfiato per i punteggi alti (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ‘ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Gli esami della Princeton Review sono assurdamente sgonfi. La persona media che ottiene un punteggio di 503 in un esame TPR ottiene un 518 nell’esame reale. Gli esami di Princeton Review hanno la peggiore correlazione con i punteggi MCAT reali (questo grafico è una controfigura non finita di uno che posterò più tardi, ma i dati dovrebbero essere gli stessi).

<a href=’#’><img alt=’Sheet 1 ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Note:

Perché questi test sono così sgonfi? In parte è il mio set di dati distorti (vedi la prossima sezione). Ma penso che sia soprattutto perché le aziende di preparazione al test preferiscono che qualcuno ottenga un punteggio di 505 sui loro esami pratici e un 515 sul MCAT reale, piuttosto che il contrario. Le loro “garanzie di rimborso al 100%” si basano sul fatto che tu superi il punteggio dell’esame di pratica. Il programma “Higher Score Guarantee” di Kaplan riscatterà solo se il tuo punteggio MCAT reale è inferiore al tuo punteggio diagnostico. Hanno costruito un cuscinetto di ~10 punti nella scala dei loro esami pratici per garantire che questo non sarà riscattato spesso. Kaplan è la società di preparazione MCAT più popolare, e hanno un tesoro di dati degli studenti che potrebbero essere utilizzati per dare punteggi accurati, se lo desiderano.

Princeton Review offre un programma simile, ma il punteggio di base può essere sia il tuo precedente punteggio MCAT effettivo (se preso entro 90 giorni dall’inizio del corso di revisione) o l’esame diagnostico Princeton Review preso all’inizio del tuo corso. Se non sei un ripetente, e viene usato quest’ultimo, non c’è quasi nessuna possibilità che tu non riesca a battere quel punteggio.

Non penso che sia una coincidenza che NextStep, una società di preparazione senza un rimborso completo ‘Better Score Guarantee’, non sgonfi i punteggi dei loro test pratici così pesantemente. Hanno una garanzia per il loro tutoraggio, ma riscatta solo una sessione gratuita di 2 ore di tutoraggio.

Personalmente, ero scoraggiato quando ho ottenuto un 500 sul mio primo esame di pratica Princeton Review. In realtà, la maggior parte delle persone che ottengono quel punteggio vanno bene all’esame vero e proprio. Se non avessi lavorato con questi dati, avrei pensato di essere sulla buona strada per un 500 all’esame reale – un punteggio che ha un terribile tasso medio di accettazione del 22,3%, secondo l’AAMC. Princeton Review in nessun punto nota quanto siano sgonfiati i loro punteggi, e molti studenti probabilmente non se ne rendono conto. Ora capisco che è il loro modo di proteggere le loro entrate mentre offrono ancora una garanzia di rimborso del punteggio.

Quando ho più tempo, vorrei aggiungere altre società di preparazione al test (Altaius e ExamKrackers), e confrontare le singole sezioni con i punteggi effettivi della sezione MCAT per vedere se qualche società ha una correlazione notevolmente più alta su una sottosezione.

Pitfalls:

Tra i molti difetti di questi dati, il più grave è il fatto che le società di preparazione ai test di terze parti possono cambiare i loro algoritmi di scala in qualsiasi momento senza preavviso (e lo fanno). NextStep ha dichiarato via e-mail che stanno costantemente mettendo a punto il loro algoritmo, con una revisione importante nel gennaio 2017. Kaplan sembra fare lo stesso (come discusso sopra, penso che NextStep possa effettivamente desiderare di essere accurata nella loro segnalazione del punteggio e immagino che si adattino più frequentemente di altre aziende).

Poi ci sono tutti i pregiudizi che hanno giocato nei dati che ho avuto:

  • Scommetto che gli utenti che visitano il subreddit MCAT e altri forum internet pre-medici sono più dedicati rispetto alla media dei partecipanti al test.
  • Massive self-reporting bias – le persone sono più propense a presentare i loro punteggi se sono impressionanti (il punteggio medio nei miei dati era un assurdamente alto 515).
  • Questi test pratici sono costosi, e la demografia di chi fa questi test è quasi certamente sbilanciata verso gente ricca.
  • I punteggi degli esami di terza parte sono stati calcolati come media e non è stata fatta alcuna considerazione sul numero di esami sostenuti. Un individuo che ha sostenuto 10 esami Kaplan e ha ottenuto 510 ogni volta è stato trattato esattamente allo stesso modo di un individuo che ha sostenuto 1 esame Kaplan e ha ottenuto 510, anche se sospetto che la persona che ha sostenuto 10 esami sia meglio preparata per ottenere un buon punteggio all’esame vero e proprio. Indagherò su questo quando avrò più tempo, ma immagino che sia meno importante dei punteggi stessi.

Tutto sommato, questa è una scienza estremamente imperfetta con molte insidie, ma è stata in grado di prevedere il mio punteggio entro due punti, e serve come guida per coloro che si chiedono dove stanno senza alcun punteggio dell’esame AAMC in mano.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.