Mit dem Ziel in der Studieneingangsphase allgemein-wissenschaftliche Methodenkompetenzen Psychologiestudierender effektiv zu fördern, wurde für eine Einführungsveranstaltung ein IRT-basierter Wissenstest entwickelt. Dieses Instrument ermöglicht es, Fehlkonzepte in den Themenbereichen "wissenschaftliches Vortragen", "wissenschaftliches Schreiben" und "wissenschaftliches Arbeiten" zu Lehrveranstaltungsbeginn zu identifizieren und deren Abbau im Lauf der Veranstaltung zu erfassen. Der pilotierte Wissenstest wurde in einer Prä-Post-Erhebung mittels zwei Testversionen bei 63 Psychologiestudierenden eingesetzt. Neben einer Lösung sollte pro Aufgabe auch eine Sicherheitseinschätzung zur Korrektheit der Antwort abgegeben werden. Studierende zeigten in allen Themenbereichen einen signifikanten Fähigkeitsanstieg, was als Indikator für den Abbau von Fehlkonzepten gilt. Ein signifikanter Anstieg der Sicherheit konnte für die Themenbereiche wissenschaftliches Vortragen und wissenschaftliches Schreiben ermittelt werden. Im Sinne einer intendierten Reduktion von Heterogenität in der Studieneingangsphase zeigte sich außerdem, dass Studierende mit jeweils niedrigen Ausgangswerten für die Fähigkeit sowie Sicherheit einen höheren Zuwachs aufwiesen als Studierende mit höheren Ausgangswerten. Implikationen werden für Studierende und Lehrende diskutiert.