(3/26/18 – dies ist ein unvollendeter Beitrag, den ich hier eingestellt habe, damit die Daten für andere von Nutzen sein können, während ich sie ergänze/überarbeite. Für eine optimale Darstellung auf dem Desktop werden die Diagramme auf dem Handy zerstört.)

Das AAMC hat nur drei bewertete Praxistests veröffentlicht, was angehende Prüflinge in eine schwierige Situation bringt – um zu wissen, wo sie stehen, müssen sie einen bewerteten AAMC-Test ablegen. Aber diese Prüfungen sind eine wertvolle Ressource, da sie dem echten MCAT am nächsten kommen. Wenn ihr Ergebnis nicht ihren Vorstellungen entspricht, bleiben ihnen nur 2 AAMC-Prüfungen. Früher hatten die Prüflinge 10 AAMC-Prüfungen, aber der MCAT nach 2015 macht diese Übungstests wertlos. Hier versuche ich, die MCAT-Ergebnisse anhand der Ergebnisse von Übungstests von Drittanbietern und der von Nutzern eingereichten Daten von Reddit vorherzusagen.

Daten:

Die Daten stammen aus dieser von Nutzern eingereichten Tabelle, die 844 von Nutzern eingereichte Ergebnisse enthält. Sie besteht aus Nutzern des MCAT-Subreddits und der Student Doctor Network-Foren. Ich habe nur Personen einbezogen, die den MCAT zwischen Januar und September 2017 abgelegt haben.

Diese Daten enthalten eine enorme Menge an Verzerrungen durch Selbstangaben, auf die ich am Ende eingehen werde. Unmögliche Ergebnisse wurden herausgenommen (ein Nutzer meldete eine „406“ bei NextStep Exam 1, das wie der echte MCAT mit 472-528 Punkten bewertet wird). Außerdem habe ich die Daten eines anderen Nutzers ausgeschlossen, der bei der echten Prüfung 472 Punkte erreicht hatte, nachdem er bei den NextStep-Prüfungen 1-4 505, 504, 509 und 509 und bei den AAMC-Prüfungen 1 und 2 509 und 510 erreicht hatte. Ich weiß nicht, ob es möglich ist, am Prüfungstag so schlecht abzuschneiden, also nenne ich das einen Zufallstreffer. Dies waren die einzigen beiden Ergebnisse, die ausgeschlossen wurden.

Kaplan (n=309):

Die kurze Geschichte ist – Kaplans Ergebnisse sind stark, stark, deflationiert, haben aber immer noch Vorhersagekraft. Als extrem grobe Umrechnung können Sie 10 Punkte zu Ihrer Kaplan-Punktzahl addieren, um Ihre AAMC-Punktzahl zu erhalten. Am oberen und unteren Ende der Skala wird die Vorhersagekraft geringer. Kaplan und NextStep wiesen die stärkste Korrelation zu den tatsächlichen MCAT-Ergebnissen auf, was jedoch nicht unbedingt bedeutet, dass sie das beste Übungsmaterial sind. Es bedeutet jedoch, dass ihre Skalierung am genauesten ist.

<a href=’#‘><img alt=’Kaplan vs Actual MCAT Scores ‚ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ka&#47;KaplanMCATpredictions&#47;Sheet1&#47;1_rss.png‘ style=’border: none‘ /></a>

NextStep (n=354):

NextStep-Prüfungen waren etwas weniger deflationiert als Kaplan-Prüfungen, wiesen aber eine ähnlich enge Verteilung auf (r2 von .536). Ein äußerst grober Umrechnungsfaktor wäre, zu Ihrem NextStep-Durchschnitt 7 zu addieren, um Ihre tatsächliche Punktzahl zu schätzen. NextStep scheint stolz darauf zu sein, genaue Skalenwerte anzugeben, weshalb ich mich frage, warum ihre Werte immer noch so niedrig sind. Es gibt keine „grobe Umrechnung“ für NextStep-Punktzahlen, da sie für durchschnittliche Punktzahlen (498-510) weniger deflationiert und für hohe Punktzahlen (510+) stark deflationiert sind.

&lt;a href=’#’&gt;&lt;img alt=’NextStep vs. Actual MCAT Scores ‚ src=’https:&amp;#47;&amp;#47;public.tableau.com&amp;#47;static&amp;#47;images&amp;#47;Ne&amp;#47;NextStep&amp;#47;Sheet1&amp;#47;1_rss.png‘ style=’border: none‘ /&gt;&lt;/a&gt;

The Princeton Review (n=190):

Die Prüfungen von Princeton Review sind absurd schlecht. Die durchschnittliche Person, die in einer TPR-Prüfung 503 Punkte erzielt, erreicht in der echten Prüfung 518 Punkte. Die Prüfungen von Princeton Review weisen die schlechteste Korrelation zu den tatsächlichen MCAT-Ergebnissen auf (diese Grafik ist ein unfertiger Ersatz für eine, die ich später veröffentlichen werde, aber die Daten sollten dieselben sein).

<a href=’#‘><img alt=’Sheet 1 ‚ src=’https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;TP&#47;TPR_0&#47;Sheet1&#47;1_rss.png‘ style=’border: none‘ /></a>

Anmerkungen:

Warum sind diese Tests also so schwach ausgeprägt? Zum Teil liegt es an meinem verzerrten Datensatz (siehe nächster Abschnitt). Aber ich denke, es liegt vor allem daran, dass die Testvorbereitungsfirmen es vorziehen, wenn jemand bei ihren Übungstests 505 Punkte und beim eigentlichen MCAT 515 Punkte erreicht, anstatt das Gegenteil. Ihre „100 % Geld-zurück-Garantie“ setzt voraus, dass Sie Ihr Ergebnis im Übungstest übertreffen. Das „Higher Score Guarantee“-Programm von Kaplan wird nur dann zurückgezahlt, wenn Ihr tatsächliches MCAT-Ergebnis unter Ihrem diagnostischen Ergebnis liegt. In die Skalierung ihrer Übungstests haben sie ein Polster von ca. 10 Punkten eingebaut, um sicherzustellen, dass diese Garantie nicht oft in Anspruch genommen wird. Kaplan ist das beliebteste Unternehmen für die Vorbereitung auf den MCAT und verfügt über eine Fülle von Schülerdaten, die für die Ermittlung genauer Ergebnisse verwendet werden können, wenn dies gewünscht wird.

Princeton Review bietet ein ähnliches Programm an, aber das Basisergebnis kann entweder Ihr früheres tatsächliches MCAT-Ergebnis sein (wenn es innerhalb von 90 Tagen vor Beginn des Wiederholungskurses erzielt wurde) oder die diagnostische Prüfung von Princeton Review, die zu Beginn des Kurses abgelegt wurde. Wenn Sie kein Wiederholungstäter sind und der letztere verwendet wird, besteht fast keine Chance, dass Sie diese Punktzahl nicht übertreffen.

Ich glaube nicht, dass es ein Zufall ist, dass NextStep, ein Vorbereitungsunternehmen ohne eine vollständige Rückerstattungsgarantie für eine bessere Punktzahl, seine Übungstestergebnisse nicht so stark herabsetzt. Sie haben zwar eine Garantie für ihre Nachhilfe, aber die löst nur eine kostenlose 2-stündige Nachhilfesitzung ein.

Persönlich war ich niedergeschlagen, als ich bei meiner ersten Princeton Review-Übungsprüfung ein Ergebnis von 500 hatte. In Wirklichkeit schneiden die meisten Leute, die diese Punktzahl erreichen, bei der eigentlichen Prüfung gut ab. Hätte ich nicht mit diesen Daten gearbeitet, wäre ich davon ausgegangen, dass ich bei der echten Prüfung 500 Punkte erreichen würde – eine Punktzahl, die laut AAMC eine erschreckende durchschnittliche Annahmerate von 22,3 % hat. Princeton Review weist an keiner Stelle darauf hin, wie niedrig die Punktzahlen sind, und viele Studenten wissen das wahrscheinlich nicht. Wenn ich mehr Zeit habe, möchte ich weitere Testvorbereitungsunternehmen (Altaius und ExamKrackers) hinzufügen und einzelne Abschnitte mit den tatsächlichen MCAT-Abschnittsergebnissen vergleichen, um zu sehen, ob ein Unternehmen in einem Unterabschnitt eine deutlich höhere Korrelation aufweist.

Fallstricke:

Unter den vielen Unzulänglichkeiten dieser Daten ist die Tatsache, dass die Drittanbieter von Testvorbereitungen ihre Skalierungsalgorithmen jederzeit ohne Vorwarnung ändern können (und das tun sie auch), die schlimmste. NextStep hat per E-Mail erklärt, dass sie ihren Algorithmus ständig feinabstimmen und im Januar 2017 eine größere Überarbeitung vorgenommen haben. Kaplan scheint das Gleiche zu tun (wie oben besprochen, denke ich, dass NextStep tatsächlich den Wunsch hat, in ihren Score-Berichten genau zu sein, und ich kann mir vorstellen, dass sie häufiger als andere Unternehmen Anpassungen vornehmen).

Dann gibt es all die Verzerrungen, die in die Daten einfließen, die ich hatte:

  • Ich wette, dass Nutzer, die den MCAT-Subreddit und andere vormedizinische Internetforen besuchen, engagierter sind als der durchschnittliche Testteilnehmer.
  • Massive Verzerrung der Selbstauskunft – die Leute geben ihre Ergebnisse eher an, wenn sie beeindruckend sind (das Durchschnittsergebnis in meinen Daten war ein absurd hohes 515).
  • Diese Übungstests sind teuer, und die demografische Zusammensetzung dieser Testteilnehmer ist mit ziemlicher Sicherheit auf reiche Leute ausgerichtet.
  • Die Ergebnisse der Prüfungen von Dritten wurden gemittelt und es wurde nicht berücksichtigt, wie viele Prüfungen sie abgelegt haben. Eine Person, die an 10 Kaplan-Prüfungen teilgenommen und jedes Mal 510 Punkte erreicht hat, wurde genauso behandelt wie eine Person, die an einer Kaplan-Prüfung teilgenommen und 510 Punkte erreicht hat, obwohl ich vermute, dass die Person, die an 10 Prüfungen teilgenommen hat, besser vorbereitet ist, um bei der eigentlichen Prüfung gut abzuschneiden. Ich werde mich damit befassen, wenn ich mehr Zeit habe, aber ich vermute, dass das weniger wichtig ist als die Noten selbst.

Alles in allem ist dies eine extrem unvollkommene Wissenschaft mit vielen Fallstricken, aber sie war in der Lage, meine Punktzahl innerhalb von zwei Punkten vorherzusagen, und dient als Leitfaden für diejenigen, die sich fragen, wo sie stehen, ohne irgendwelche AAMC-Prüfungsergebnisse in der Hand zu haben.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.