Forschungsorientierung in der Lehre erfährt an Universitäten und Hochschulen hohes Interesse; nicht wenige Projekte des Qualitätspakts Lehre (BMBF) haben genau hier ihren Schwerpunkt und in den letzten Jahren vielfältige Maßnahmen umgesetzt. Während sich somit die Gestaltung von Lehre verändert hat, muss - nicht nur unter Perspektive einer Projektlogik - auch danach gefragt werden, wie die Qualität der Lehre fest- und sichergestellt wird. Zu fragen ist also für die einzelnen Projekte, welche Erträge Forschungsorientierung in der Lehre bietet. Die wenigen Evaluationen zu forschungsorientierter Lehre scheinen sich allerdings kaum von klassischen Lehrveranstaltungsevaluationen zu unterscheiden. Der Beitrag setzt an dieser Stelle an und fragt nach der Art und den Inhalten der Evaluationen forschungsorientierter Lehre. Hierzu werden Inhaltsanalysen sowie Interviews mit Akteur*innen zur Gestaltung forschungsorientierter Lehre herangezogen, um Durchführungsformen und die Ziele von Evaluation speziell mit dem Fokus der Forschungsorientierung zu eruieren. Ziel ist es, Erkenntnisse darüber zu erlangen, wie die Evaluation forschungsorientierter Lehre aktuell gestaltet wird und wo blinde Flecken bzw. Entwicklungsfelder auszumachen sind. Wir argumentieren, dass die Evaluation Forschenden Lernens einer Chimäre gleicht, mit der wir in der Hochschulbildung und Hochschuldidaktik leben müssen.