(3/26/18 – ez egy befejezetlen poszt, hogy én tettem fel, így az adatok hasznosak lehetnek mások számára, míg én hozzáadom / felülvizsgálja azt. Szintén a legjobb élmény megtekintése asztali számítógépen, a grafikonok hentesített mobilon)

Az AAMC csak 3 pontozott gyakorlati vizsgát adott ki, így a leendő vizsgázók nehéz helyzetben vannak – ahhoz, hogy tudják, hol állnak, meg kell tenniük egy AAMC pontozott vizsgát. De ezek a vizsgák értékes erőforrásnak számítanak, mivel ezek állnak a legközelebb az igazi MCAT-hoz. Ha a pontszámuk nem ott van, ahol szeretnék, akkor csak 2 AAMC-pontszámú vizsga marad számukra. A korábbi vizsgázóknak 10 AAMC-vizsga állt rendelkezésükre, de a 2015 utáni MCAT értéktelenné teszi ezeket a gyakorló teszteket. Itt megpróbálom megjósolni az MCAT pontszámokat 3rd party gyakorlati vizsga pontszámok és a Redditről származó, felhasználók által beküldött adatok felhasználásával.

Adatok:

Az adatokat ebből a felhasználó által beküldött pontszám táblázatból vettem, amely 844 felhasználó által beküldött pontszámból áll. Az MCAT subreddit és a Student Doctor Network fórumok felhasználóiból áll. Csak olyan személyeket vettem fel, akik 2017 januárja és szeptembere között tették le az MCAT-t.

Ezekben az adatokban óriási mennyiségű önbevallási torzítás van, amire a végén kitérek. A lehetetlen pontszámokat kidobtuk (egy felhasználó “406-os” eredményt jelentett a NextStep Exam 1 vizsgán, amely a valódi MCAT-hoz hasonlóan 472-528 pontozású). Kizártam egy másik felhasználó adatait is, aki 472-es eredményt jelentett a valódi vizsgán, miután a NextStep Exams 1-4 vizsgákon 505, 504, 509 és 509, valamint az AAMC #1 és #2 vizsgákon 509 és 510 pontot jelentett. Nem tudom, hogy lehetséges-e ennyire elszalasztani a labdát a vizsga napján, ezért ezt véletlennek nevezem. Ez volt az egyetlen két pontszám, amit kizártak.

Kaplan (n=309):

Röviden: a Kaplan pontszámai erősen, erősen, defláltak, de még mindig van előrejelző erejük. Rendkívül durva átváltásként 10 pontot adhatsz hozzá a Kaplan pontszámodhoz, hogy megkapd az AAMC pontszámodat. Ez a felső és alsó szélsőértékeknél már kevésbé jósolható. A Kaplan és a NextStep mutatta a legerősebb korrelációt a tényleges MCAT pontszámokkal, bár ez nem feltétlenül jelenti azt, hogy ezek a legjobb gyakorlati anyagok. Azt jelenti, hogy a skálázásuk a legpontosabb.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ‘ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

NextStep vizsgák valamivel kevésbé voltak defláltak, mint a Kaplan, de hasonlóan szoros eloszlásúak voltak (r2 0,536). Egy rendkívül durva átváltási tényező az lenne, ha a NextStep átlagához hozzáadnánk 7-et, hogy megbecsüljük a tényleges pontszámot. Úgy tűnik, a NextStep büszke arra, hogy pontos skálázott pontszámokat ad, ami elgondolkodtat, hogy az övék miért olyan deflált még mindig. A NextStep pontszámok esetében nincs “durva átváltás”, mivel az átlagos pontszámok (498-510) esetében kevésbé deflált, a magas pontszámok (510+) esetében pedig erősen deflált.

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ‘ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

A Princeton Review vizsgái abszurd módon leeresztettek. Az átlagos személy, aki 503 pontot ér el a TPR vizsgán, 518-at kap a valódi vizsgán. A Princeton Review vizsgái korreláltak a legrosszabbul a tényleges MCAT pontszámokkal (ez a grafikon egy befejezetlen helyettesítője annak, amit később teszek közzé, de az adatoknak ugyanazoknak kell lenniük).

<a href=’#’><img alt=’Sheet 1 ‘ src=’https:&#47;&#47;public.tableau.com&#47;statikus&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Jegyzetek:

Hát miért ilyen leeresztett tesztek? Részben a ferde adathalmazom miatt (lásd a következő részt). De szerintem elsősorban azért, mert a tesztfelkészítő cégek jobban szeretik, ha valaki 505 pontot ér el a gyakorlóvizsgáikon, és 515-öt a tényleges MCAT-on, mint az ellenkezőjét. A “100%-os pénzvisszafizetési garanciájuk” arra épül, hogy Ön felülmúlja a gyakorlati teszt pontszámát. A Kaplan “Magasabb pontszám garancia” programja csak akkor váltja vissza a pénzt, ha a tényleges MCAT pontszámod alacsonyabb, mint a diagnosztikai pontszámod. A gyakorlati vizsgáik skálázásába egy ~10 pontos párnát építettek be, hogy biztosítsák, hogy ez nem lesz gyakran beváltva. A Kaplan a legnépszerűbb MCAT-előkészítő cég, és a hallgatói adatok kincsesbányájával rendelkeznek, amelyet felhasználhatnak a pontos pontszámok megadásához, ha úgy kívánják.

A Princeton Review hasonló programot kínál, de az alappontszám lehet akár a korábbi tényleges MCAT-pontszám (ha az áttekintő tanfolyam kezdetétől számított 90 napon belül készült), akár a Princeton Review diagnosztikai vizsgája, amelyet a tanfolyam elején tettek. Ha nem újravizsgázol, és az utóbbit használod, szinte kizárt, hogy nem sikerül megdöntened ezt a pontszámot.

Nem hiszem, hogy véletlen, hogy a NextStep, egy olyan felkészítő cég, amelynek nincs teljes visszatérítéses “Better Score Garancia”, nem deflálja olyan erősen a gyakorló tesztek pontszámait. Nekik van garanciájuk a korrepetálásra, de ez csak egy ingyenes 2 órás korrepetálást vált ki.

Személyesen le voltam törve, amikor az első Princeton Review gyakorlóvizsgámon 500 pontot kaptam. A valóságban a legtöbb ember, aki ennyi pontot ér el, jól teljesít a tényleges vizsgán. Ha nem dolgoztam volna ezekkel az adatokkal, azt hittem volna, hogy a valódi vizsgán 500-as eredményt fogok elérni – egy olyan pontszámot, amelynek az AAMC szerint 22,3%-os átlagos elfogadási aránya borzalmas. A Princeton Review egyetlen ponton sem jegyzi meg, hogy a pontszámok mennyire defláltak, és sok diák valószínűleg nem veszi észre ezt. Most már értem, hogy így védik a bevételeiket, miközben továbbra is pénzvisszafizetési garanciát kínálnak a pontszámokra.

Ha több időm lesz, szeretnék több tesztelő céget (Altaius és ExamKrackers) is felvenni, és összehasonlítani az egyes szakaszokat a tényleges MCAT szakaszok pontszámaival, hogy lássam, van-e olyan cég, amelyiknek az egyik alszakaszban feltűnően magasabb a korrelációja.

Buktatók:

Az adatok számos hiányossága közül a legsúlyosabb az a tény, hogy a 3rd party tesztelő cégek bármikor, figyelmeztetés nélkül megváltoztathatják a skálázási algoritmusukat (és meg is teszik). A NextStep e-mailben közölte, hogy folyamatosan finomhangolják az algoritmusukat, és 2017 januárjában egy nagyobb átalakítást hajtottak végre. Úgy tűnik, hogy a Kaplan is ugyanezt teszi (ahogy fentebb tárgyaltuk, úgy gondolom, hogy a NextStep valóban arra vágyik, hogy pontos legyen a pontszámjelentésük, és elképzelhető, hogy gyakrabban módosítanak, mint más cégek).

Aztán ott van az összes elfogultság, ami az általam kapott adatokban játszott:

  • Fogadok, hogy az MCAT subredditet és más orvos előtti internetes fórumokat látogató felhasználók elhivatottabbak, mint az átlagos vizsgázók.
  • Masszív önbevallási torzítás – az emberek nagyobb valószínűséggel küldik be a pontszámukat, ha azok lenyűgözőek (az átlagos pontszám az én adataimban abszurdan magas 515 volt).
  • Ezek a gyakorló tesztek drágák, és a vizsgázók demográfiai összetétele szinte biztosan a gazdagok felé tolódik el.
  • A harmadik féltől származó vizsgaeredményeket átlagolták, és nem vették figyelembe, hogy hány vizsgán vettek részt. Egy olyan személyt, aki 10 Kaplan-vizsgát tett, és minden alkalommal 510 pontot kapott, pontosan ugyanúgy kezeltek, mint egy olyan személyt, aki 1 Kaplan-vizsgát tett, és 510 pontot kapott, még akkor is, ha gyanítom, hogy az a személy, aki 10 vizsgát tett, jobban felkészült arra, hogy a tényleges vizsgán jól teljesítsen. Majd utánanézek ennek, ha több időm lesz, de azt hiszem, ez kevésbé fontos, mint maguk a pontszámok.

Mindent egybevetve, ez egy rendkívül tökéletlen tudomány, sok buktatóval, de két ponton belül képes volt megjósolni a pontszámomat, és útmutatóként szolgál azok számára, akik azon tűnődnek, hogy hol állnak anélkül, hogy AAMC-vizsga pontszámok lennének a kezükben.

Vélemény, hozzászólás?

Az e-mail-címet nem tesszük közzé.