(3/26/18 – aceasta este o postare neterminată pe care am pus-o astfel încât datele să poată fi de folos altora în timp ce o adaug / o revizuiesc. De asemenea, pentru cea mai bună experiență de vizualizare a experienței pe un desktop, graficele sunt măcelărite pe mobil)

AAMC are doar 3 examene de practică cu scoruri publicate, lăsând potențialii participanți la teste într-o situație dificilă – pentru a ști unde se află, trebuie să ia un examen cu scoruri AAMC. Dar aceste examene sunt o resursă prețioasă, deoarece sunt cel mai apropiat lucru pe care îl putem obține de adevăratul MCAT. În cazul în care scorul lor nu este acolo unde își doresc să fie, le rămân doar 2 examene cu punctaj AAMC. Cei care luau testele în trecut aveau la dispoziție 10 examene AAMC, dar MCAT-ul de după 2015 face ca aceste teste practice să fie lipsite de valoare. Aici încerc să prezic scorurile MCAT folosind scorurile examenelor de practică de la terți și datele trimise de utilizatori de pe Reddit.

Date:

Datele au fost preluate din această foaie de calcul a scorurilor trimise de utilizatori, compusă din 844 de scoruri trimise de utilizatori. Acesta este alcătuit din utilizatori ai subredditului MCAT și ai forumurilor Student Doctor Network. Am inclus doar persoanele care au susținut MCAT între ianuarie și septembrie 2017.

Există o cantitate enormă de prejudecăți de auto-raportare în aceste date, pe care le voi aborda la final. Scorurile imposibile au fost aruncate (un utilizator a raportat un „406” la NextStep Exam 1, care, la fel ca MCAT-ul real, este notat 472-528). Am exclus, de asemenea, datele de la un alt utilizator care a raportat un 472 la examenul real după ce a raportat 505, 504, 509 și 509 la NextStep Exams 1-4, și 509 și 510 la AAMC #1 și #2. Nu știu dacă este posibil să scapi mingea atât de rău în ziua examenului, așa că o numesc o întâmplare. Acestea au fost singurele două scoruri excluse.

Kaplan (n=309):

Povestea pe scurt este – scorurile de la Kaplan sunt puternic, puternic, dezumflate, dar încă au putere predictivă. Ca o conversie extrem de brută, puteți adăuga 10 puncte la scorul Kaplan pentru a obține scorul AAMC. Acest lucru devine mai puțin predictiv la extremele superioare și inferioare. Kaplan și NextStep au avut cea mai puternică corelație cu scorurile MCAT reale, deși acest lucru nu înseamnă neapărat că sunt cele mai bune materiale de practică. Înseamnă însă că scalarea lor este cea mai precisă.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

Examenele NextStep au fost puțin mai puțin defulate decât cele Kaplan, dar au avut o distribuție la fel de strânsă (r2 de 0,536). Un factor de conversie extrem de rudimentar ar fi să adăugați 7 la media NextStep pentru a vă estima scorul real. NextStep pare să se mândrească cu faptul că oferă scoruri exacte la scară, ceea ce mă face să mă întreb de ce ale lor sunt încă atât de dezumflate în continuare. Nu există o „conversie rudimentară” pentru scorurile NextStep, deoarece este mai puțin dezumflată pentru scorurile medii (498-510) și puternic dezumflată pentru scorurile mari (510+).

&lt;a href=’#’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ‘ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Examenele lui Princeton Review sunt absurd de dezumflate. Persoana medie care obține un punctaj de 503 la un examen TPR obține un 518 la examenul real. Examenele de la Princeton Review au avut cea mai proastă corelație cu notele reale la MCAT (acest grafic este un stand-in neterminat pentru unul pe care îl voi posta mai târziu, dar datele ar trebui să fie aceleași).

<a href=’#’><img alt=’Sheet 1 ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Note:

Atunci de ce sunt aceste teste atât de dezumflate? O parte din cauza setului meu de date înclinat (a se vedea secțiunea următoare). Dar cred că este în primul rând pentru că firmele de pregătire a testelor preferă ca cineva să obțină un scor de 505 la examenele lor de practică și un 515 la MCAT-ul real, mai degrabă decât contrariul. „Garanțiile lor de returnare a banilor 100%” se bazează pe faptul că veți depăși scorul obținut la testul de practică. Programul Kaplan „Higher Score Guarantee” (Garanție pentru un scor mai mare) vă va răscumpăra doar dacă scorul real la MCAT este mai mic decât scorul de diagnosticare. Aceștia au construit o pernă de ~10 puncte în scalarea examenelor lor de practică pentru a se asigura că acest lucru nu va fi răscumpărat des. Kaplan este cea mai populară companie de pregătire pentru MCAT și au o comoară de date ale studenților care ar putea fi folosite pentru a oferi scoruri exacte, dacă ar dori.

Princeton Review oferă un program similar, dar scorul de bază poate fi fie scorul MCAT real anterior (dacă este luat în termen de 90 de zile de la începerea cursului de revizuire), fie examenul de diagnosticare Princeton Review luat la începutul cursului. Dacă nu sunteți un repetent, iar acesta din urmă este folosit, aproape că nu există nicio șansă să nu reușiți să bateți acel scor.

Nu cred că este o coincidență faptul că NextStep, o companie de pregătire fără o „Garanție pentru un scor mai bun” cu rambursare integrală, nu dezumflă la fel de mult scorurile testelor de practică. Ei au o garanție pentru meditațiile lor, dar nu răscumpără decât o sesiune gratuită de meditații de 2 ore.

Personal, am fost descurajat când am obținut un 500 la primul meu examen practic de la Princeton Review. În realitate, majoritatea oamenilor care obțin acest scor se descurcă bine la examenul real. Dacă nu aș fi lucrat cu aceste date, aș fi crezut că sunt pe drumul cel bun pentru un 500 la examenul real – un scor care are o rată medie de acceptare îngrozitoare de 22,3%, conform AAMC . Princeton Review nu notează în niciun moment cât de dezumflate sunt scorurile lor, iar mulți studenți probabil că nu realizează acest lucru. Acum înțeleg că este modul lor de a-și proteja veniturile, oferind în același timp o garanție de returnare a scorului.

Când am mai mult timp, aș dori să adaug mai multe companii de pregătire a testelor (Altaius și ExamKrackers) și să compar secțiunile individuale cu scorurile reale ale secțiunii MCAT pentru a vedea dacă unele companii au o corelație semnificativ mai mare la o subsecțiune.

Capcanele:

Printre numeroasele neajunsuri ale acestor date, cel mai condamnabil este faptul că firmele terțe de pregătire a testelor își pot schimba oricând algoritmii de scalare fără avertisment (și o fac). NextStep a declarat prin e-mail că își ajustează în mod constant algoritmul, cu o revizuire majoră în ianuarie 2017. Kaplan pare să facă același lucru (așa cum am discutat mai sus, cred că NextStep ar putea de fapt să dorească să fie precisă în raportarea scorului lor și îmi imaginez că se ajustează mai frecvent decât alte companii).

Apoi există toate prejudecățile care au jucat în datele pe care le-am avut:

  • Pun pariu că utilizatorii care vizitează subredditul MCAT și alte forumuri de internet pre-medicale sunt mai dedicați decât persoana medie care ia testul.
  • Bias masiv de auto-raportare – oamenii sunt mai predispuși să își prezinte scorurile dacă sunt impresionante (scorul mediu în datele mele a fost un scor absurd de mare de 515).
  • Aceste teste de practică sunt costisitoare, iar datele demografice ale celor care susțin aceste teste sunt aproape sigur înclinate spre oameni bogați.
  • Punctajele obținute la examene de la terți au fost mediate și nu s-a ținut cont de câte examene au dat. O persoană care a luat 10 examene Kaplan și a obținut 510 de fiecare dată a fost tratată exact la fel ca o persoană care a luat 1 examen Kaplan și a obținut 510, chiar dacă bănuiesc că persoana care a luat 10 examene este mai bine pregătită pentru a obține un scor bun la examenul real. Voi analiza acest aspect când voi avea mai mult timp la dispoziție, dar bănuiesc că este mai puțin important decât notele în sine.

În concluzie, aceasta este o știință extrem de imperfectă, cu multe capcane, dar a fost capabilă să prezică scorul meu cu o diferență de două puncte și servește drept ghid pentru cei care se întreabă unde se află fără a avea în mână scorurile examenelor AAMC.

.

Lasă un răspuns

Adresa ta de email nu va fi publicată.