(3/26/18 – jest to niedokończony post, który umieściłem, aby dane mogły być przydatne dla innych, podczas gdy ja dodaję do niego / poprawiam go. Również dla najlepszego widoku doświadczenia na pulpicie, wykresy są rzeźbione na telefonie komórkowym)

AAMC ma tylko 3 punktowane egzaminy praktyczne wydane, pozostawiając przyszłych testowiczów w trudnej sytuacji – aby wiedzieć, gdzie stoją, muszą wziąć AAMC punktowany egzamin. Ale te egzaminy są cennym zasobem, ponieważ są one najbliższą rzeczą, jaką możemy uzyskać do prawdziwego MCAT. Jeśli ich wynik nie jest tam, gdzie chcą, aby być, są one w lewo z tylko 2 AAMC zdobyte egzaminów. Testerzy z przeszłości mieli 10 egzaminów AAMC, ale MCAT po 2015 roku sprawia, że te testy praktyczne są bezwartościowe. Tutaj próbuję przewidzieć wyniki MCAT używając wyników egzaminów praktycznych stron trzecich i danych przesłanych przez użytkowników z Reddit.

Dane:

Dane zostały pobrane z tego arkusza kalkulacyjnego wyników przesłanych przez użytkowników, składającego się z 844 wyników przesłanych przez użytkowników. Składa się on z użytkowników subreddit MCAT i forów Student Doctor Network. Uwzględniłem tylko osoby, które zdawały MCAT między styczniem a wrześniem 2017 r.

W tych danych jest ogromna ilość błędów w raportowaniu własnym, które poruszę na końcu. Niemożliwe wyniki zostały wyrzucone (jeden użytkownik zgłosił „406” na NextStep Exam 1, który, podobnie jak prawdziwy MCAT, jest punktowany 472-528). Wykluczyłem również dane od jednego użytkownika, który zgłosił wynik 472 na prawdziwym egzaminie po zgłoszeniu 505, 504, 509 i 509 na NextStep Exams 1-4, oraz 509 i 510 na AAMC #1 i #2. Nie wiem czy jest możliwe, aby upuścić piłkę tak bardzo w dniu testu, więc nazywam to fluke. Były to jedyne dwa wyniki wykluczone.

Kaplan (n=309):

Krótka historia jest taka – wyniki Kaplana są mocno, mocno, zdeflorowane, ale wciąż mają moc predykcyjną. Jako niezwykle prymitywna konwersja, możesz dodać 10 punktów do wyniku Kaplana, aby uzyskać wynik AAMC. To staje się mniej przewidywalne na górnych i dolnych krańcach. Kaplan i NextStep miały najsilniejszą korelację z rzeczywistymi wynikami MCAT, choć niekoniecznie oznacza to, że są one najlepszym materiałem do ćwiczeń. Oznacza to, że ich skalowanie jest najbardziej dokładne.

<a href=’#’><img alt=’Kaplan vs Actual MCAT Scores ’ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

NextStep (n=354):

Egzaminy NextStep były nieco mniej zdeflorowane niż Kaplan, ale miały podobnie ciasny rozkład (r2 of .536). Niezwykle prymitywnym współczynnikiem konwersji byłoby dodanie 7 do twojej średniej NextStep, aby oszacować twój rzeczywisty wynik. NextStep wydaje się być dumny z podawania dokładnych skalowanych wyników, co sprawia, że zastanawiam się dlaczego ich wyniki są wciąż tak zdefasonowane. Nie ma 'surowej konwersji’ dla wyników NextStep, ponieważ jest on mniej zdeflorowany dla średnich wyników (498-510) i mocno zdeflorowany dla wysokich wyników (510+).

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ’ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png’ style=’border: none’ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Egzaminy Princeton Review są absurdalnie zawyżone. Przeciętna osoba, która zdobywa 503 punkty na egzaminie TPR dostaje 518 punktów na prawdziwym egzaminie. Egzaminy Princeton Review miały najgorszą korelację z rzeczywistymi wynikami MCAT (ten wykres jest niedokończonym stand-inem dla jednego, który zamieszczę później, ale dane powinny być takie same).

<a href=’#’><img alt=’Sheet 1 ’ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png’ style=’border: none’ /></a>

Notatki:

Dlaczego więc te testy są tak zdefasonowane? Częściowo jest to mój skośny zestaw danych (patrz następna sekcja). Ale myślę, że jest to przede wszystkim dlatego, że firmy przygotowujące testy wolą, aby ktoś uzyskał wynik 505 na ich egzaminach praktycznych i 515 na rzeczywistym MCAT, a nie odwrotnie. Ich „100% gwarancje zwrotu pieniędzy” opierają się na tym, że osiągniesz lepszy wynik niż na egzaminie praktycznym. Program „Gwarancja wyższego wyniku” Kaplana wykupi się tylko wtedy, gdy twój rzeczywisty wynik MCAT będzie niższy od wyniku diagnostycznego. Zbudowali ~10-punktową poduszkę do skalowania swoich egzaminów praktycznych, aby zapewnić, że nie będzie to często umarzane. Kaplan jest najbardziej popularną firmą przygotowującą do egzaminu MCAT i ma skarbnicę danych o studentach, które mogą być użyte do podania dokładnych wyników, jeśli tego chcą.

Princeton Review oferuje podobny program, ale wynik bazowy może być albo twoim poprzednim aktualnym wynikiem MCAT (jeśli został uzyskany w ciągu 90 dni od rozpoczęcia kursu przeglądu), albo egzaminem diagnostycznym Princeton Review zdanym na początku kursu. Jeśli nie jesteś recydywistą, a ten ostatni jest używany, nie ma prawie żadnych szans, abyś nie pobił tego wyniku.

Nie sądzę, aby to był przypadek, że NextStep, firma prep bez pełnego zwrotu pieniędzy 'Better Score Guarantee’, nie defluje swoich wyników testów praktycznych tak mocno. Co prawda mają gwarancję na swoje korepetycje, ale obejmuje ona tylko 2-godzinną darmową sesję korepetycyjną.

Osobiście byłem załamany, kiedy na moim pierwszym egzaminie Princeton Review dostałem 500 punktów. W rzeczywistości większość osób, które uzyskały taki wynik, dobrze sobie radzi na prawdziwym egzaminie. Gdybym nie pracował z tymi danymi, pomyślałbym, że byłem na dobrej drodze do 500 na prawdziwym egzaminie – wynik, który ma straszny średni wskaźnik akceptacji 22,3%, na AAMC . Princeton Review w żadnym momencie nie zauważa, jak zdeflorowane są ich wyniki, a wielu studentów prawdopodobnie nie zdaje sobie z tego sprawy. Teraz rozumiem, że jest to ich sposób na ochronę swoich przychodów, podczas gdy nadal oferują gwarancję zwrotu pieniędzy za wynik.

Gdy mam więcej czasu, chciałbym dodać więcej firm przygotowujących testy (Altaius i ExamKrackers), i porównać poszczególne sekcje z rzeczywistymi wynikami sekcji MCAT, aby zobaczyć, czy któraś z firm ma zauważalnie wyższą korelację na jednej z podsekcji.

Pitfalls:

Wśród wielu niedociągnięć tych danych, najbardziej potępiającym jest fakt, że firmy przygotowujące testy dla osób trzecich mogą zmienić swoje algorytmy skalowania w każdej chwili bez ostrzeżenia (i robią to). NextStep oświadczył za pośrednictwem poczty elektronicznej, że stale dostraja swój algorytm, z głównym remontem w styczniu 2017 roku. Kaplan wydaje się robić to samo (jak omówiono powyżej, myślę, że NextStep może faktycznie pragnąć być dokładny w ich raportowaniu wyników i wyobrażam sobie, że dostosowują się częściej niż inne firmy).

Wtedy tam wszystkie uprzedzenia, które grały w dane, które miałem:

  • Założę się, że użytkownicy odwiedzający MCAT subreddit i inne fora internetowe pre-medyczne są bardziej oddani niż przeciętny uczestnik testu.
  • Te testy praktyczne są drogie, i demografia tych testowiczów jest prawie na pewno skośna w kierunku bogatych ludzi.
  • Wyniki egzaminów osób trzecich zostały uśrednione i nie zwrócono uwagi na to, ile egzaminów wzięli. Osoba, która przystąpiła do 10 egzaminów Kaplana i za każdym razem uzyskała 510 była traktowana dokładnie tak samo jak osoba, która przystąpiła do 1 egzaminu Kaplana i uzyskała 510, nawet jeśli podejrzewam, że osoba, która przystąpiła do 10 egzaminów jest lepiej przygotowana do uzyskania dobrego wyniku na rzeczywistym egzaminie. Przyjrzę się temu, kiedy będę miał więcej czasu, ale zgaduję, że jest to mniej ważne niż same wyniki.

W sumie, jest to niezwykle niedoskonała nauka z wieloma pułapkami, ale była w stanie przewidzieć mój wynik w granicach dwóch punktów i służy jako przewodnik dla tych, którzy zastanawiają się, gdzie stoją bez jakichkolwiek wyników egzaminów AAMC w ręku.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.