(26.3.2018 – jedná se o nedokončený příspěvek, který jsem vložil, aby data mohla být užitečná pro ostatní, zatímco ho budu doplňovat / revidovat. Také pro nejlepší zážitek prohlížení na stolním počítači, na mobilu jsou grafy zmasakrované)

AAMC vydala pouze 3 bodované cvičné zkoušky, takže potenciální účastníci zkoušek jsou v těžké situaci – aby věděli, jak na tom jsou, musí si udělat bodovanou zkoušku AAMC. Tyto zkoušky jsou však cenným zdrojem, protože jsou nejblíže skutečné zkoušce MCAT. Pokud jejich skóre není takové, jaké by chtěli mít, zbývají jim pouze dvě bodované zkoušky AAMC. Dřívější účastníci testů měli k dispozici 10 zkoušek AAMC, ale MCAT po roce 2015 činí tyto cvičné testy bezcennými. Zde se pokusím předpovědět skóre MCAT pomocí výsledků cvičných zkoušek třetích stran a údajů od uživatelů z Redditu.

Data:

Údaje byly převzaty z této tabulky výsledků od uživatelů, která se skládá z 844 výsledků od uživatelů. Tvoří ji uživatelé subredditu MCAT a fóra Student Doctor Network. Zahrnul jsem pouze jednotlivce, kteří skládali zkoušku MCAT v období od ledna do září 2017.

V těchto údajích je obrovské zkreslení vlastních výsledků, kterého se dotknu na konci. Nemožné výsledky byly vyřazeny (jeden uživatel uvedl „406“ u zkoušky NextStep Exam 1, která je stejně jako skutečná zkouška MCAT hodnocena body 472-528). Vyřadil jsem také údaje jednoho dalšího uživatele, který nahlásil 472 bodů na skutečné zkoušce poté, co nahlásil 505, 504, 509 a 509 bodů na NextStep Exams 1-4 a 509 a 510 bodů na AAMC #1 a #2. Nevím, jestli je možné, aby v den zkoušky tak moc klesl, takže to označuji za náhodu. To byly jediné dva vyloučené výsledky.

Kaplan (n=309):

Krátce řečeno – výsledky Kaplanu jsou silně, silně, zkreslené, ale stále mají vypovídací schopnost. Jako extrémně hrubý přepočet můžete ke svému Kaplanovu skóre přičíst 10 bodů a získat skóre AAMC. To se stává méně prediktivním na horních a dolních extrémech. Kaplan a NextStep měly nejsilnější korelaci se skutečnými výsledky MCAT, i když to nutně neznamená, že jsou to nejlepší cvičné materiály. Znamená to však, že jejich škálování je nejpřesnější.

<a href=’#‘><img alt=’Kaplan vs. skutečné skóre MCAT ‚ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png‘ style=’border: none‘ /></a>

NextStep (n=354):

Zkoušky NextStep byly o něco méně deflované než zkoušky Kaplan, ale měly podobně těsné rozložení (r2 .536). Extrémně hrubým přepočítávacím koeficientem by bylo přičtení 7 k průměru zkoušky NextStep, abyste odhadli své skutečné skóre. Zdá se, že společnost NextStep je hrdá na to, že poskytuje přesné škálované skóre, což mě nutí přemýšlet, proč je jejich skóre stále tak deflované. Pro skóre NextStep neexistuje žádný „hrubý přepočet“, protože je méně deflované pro průměrné skóre (498-510) a silně deflované pro vysoké skóre (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. skutečné skóre MCAT ‚ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png‘ style=’border: none‘ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Zkoušky Princeton Review jsou absurdně vyprázdněné. Průměrný člověk, který získá 503 bodů ze zkoušky TPR, získá 518 bodů ze skutečné zkoušky. Zkoušky Princeton Review měly nejhorší korelaci se skutečnými výsledky MCAT (tento graf je nedokončeným zástupným grafem, který zveřejním později, ale údaje by měly být stejné).

<a href=’#‘><img alt=’List 1 ‚ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png‘ style=’border: none‘ /></a>

Poznámky:

Tak proč jsou ty testy tak vyprázdněné? Částečně za to může můj zkreslený soubor dat (viz další část). Ale myslím si, že je to především proto, že společnosti připravující na testy dávají přednost tomu, aby někdo u jejich cvičných zkoušek získal 505 bodů a u skutečného testu MCAT 515 bodů, než aby tomu bylo naopak. Jejich „100% garance vrácení peněz“ se spoléhají na to, že překonáte výsledek cvičného testu. Program „Záruka vyššího skóre“ společnosti Kaplan se vyplatí pouze v případě, že vaše skutečné skóre v testu MCAT bude nižší než vaše diagnostické skóre. Do škálování svých cvičných zkoušek zabudovali ~10bodový polštář, aby zajistili, že se tato záruka nebude uplatňovat často. Kaplan je nejoblíbenější společností připravující na MCAT a má pokladnici dat studentů, která by mohla být použita k poskytnutí přesného skóre, pokud by si to přáli.

Princeton Review nabízí podobný program, ale výchozím skóre může být buď vaše předchozí skutečné skóre MCAT (pokud bylo získáno do 90 dnů od zahájení přehledového kurzu), nebo diagnostická zkouška Princeton Review provedená na začátku kurzu. Pokud nejste opakovatelem a použije se druhý z nich, není téměř žádná šance, že byste toto skóre nepřekonali.

Nedomnívám se, že je náhoda, že NextStep, přípravná společnost bez „záruky lepšího skóre“ s plným vrácením peněz, své výsledky cvičných testů tak silně neznehodnocuje. Mají sice záruku na doučování, ale vykupuje se pouze dvouhodinovým doučováním zdarma.

Osobně jsem byl sklíčený, když jsem u své první cvičné zkoušky od Princeton Review dostal 500 bodů. Ve skutečnosti většina lidí, kteří dosáhnou takového skóre, si u skutečné zkoušky vede dobře. Kdybych nepracoval s těmito údaji, myslel bych si, že jsem na dobré cestě k 500 u skutečné zkoušky – skóre, které má podle AAMC strašlivou průměrnou míru přijetí 22,3 % . Princeton Review na žádném místě neuvádí, jak jsou jejich výsledky zkreslené, a mnoho studentů si to pravděpodobně neuvědomuje. Nyní chápu, že je to jejich způsob, jak chránit své příjmy a zároveň stále nabízet záruku vrácení peněz za skóre.

Když budu mít více času, chtěl bych přidat další společnosti připravující na testy (Altaius a ExamKrackers) a porovnat jednotlivé sekce se skutečnými výsledky sekcí MCAT, abych zjistil, zda některá ze společností má nápadně vyšší korelaci v jedné podsekci.

Problémy:

Mezi mnoha nedostatky těchto dat je nejhorší fakt, že společnosti připravující testy třetích stran mohou kdykoli bez varování změnit své škálovací algoritmy (a také to dělají). Společnost NextStep prostřednictvím e-mailu uvedla, že svůj algoritmus neustále dolaďuje, přičemž v lednu 2017 došlo k jeho zásadní revizi. Zdá se, že Kaplan dělá totéž (jak bylo řečeno výše, myslím, že NextStep si možná skutečně přeje, aby jejich vykazování skóre bylo přesné, a dovedu si představit, že ho upravují častěji než ostatní společnosti).

Tak tady jsou všechna zkreslení, která hrála roli v údajích, které jsem měl k dispozici:

  • Sázím na to, že uživatelé navštěvující subreddit MCAT a další předlékařská internetová fóra jsou oddanější než průměrný účastník testů.
  • Masivní zkreslení při sebehodnocení – lidé častěji předkládají své výsledky, pokud jsou působivé (průměrné skóre v mých datech bylo absurdně vysokých 515 bodů).
  • Tyto cvičné testy jsou drahé a demografické údaje těchto řešitelů jsou téměř jistě vychýleny směrem k bohatým lidem.
  • Výsledky zkoušek třetích stran byly zprůměrovány a nebyl brán zřetel na to, kolik zkoušek absolvovali. S osobou, která absolvovala 10 zkoušek Kaplan a pokaždé získala 510 bodů, bylo zacházeno úplně stejně jako s osobou, která absolvovala 1 zkoušku Kaplan a získala 510 bodů, i když mám podezření, že osoba, která absolvovala 10 zkoušek, je lépe připravena dosáhnout dobrého výsledku u skutečné zkoušky. Na tohle se podívám, až budu mít víc času, ale hádám, že je to méně důležité než samotné skóre.

Celkově vzato je to nesmírně nedokonalá věda s mnoha úskalími, ale dokázala předpovědět mé skóre s přesností na dva body a slouží jako vodítko pro ty, které zajímá, jak si stojí, aniž by měli v ruce nějaké výsledky zkoušek AAMC.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.