Ziel des vorliegenden Beitrags ist, die Qualität der Rückmeldungen eines didaktisch systemgeprompteten, generativen Sprachmodells zu Schüler:innentexten zu untersuchen. Hierzu schrieben in einer explorativen Studie 19 Schüler:innen eine erste Textversion, erhielten KI-generiertes Feedback und überarbeiteten daraufhin noch einmal ihre Texte, die wiederum ein maschinelles Feedback bekamen. Die kriteriengeleiteten Rückmeldungen des KI-basierten Systems wurden im Anschluss mit menschlichen Expertenurteilen qualitativ und quantitativ verglichen. Darüber hinaus wurden die Überzeugungen der Schüler:innen untersucht. Die Arbeit liefert vier zentrale Ergebnisse: Erstens verbesserten die Schüler:innen die Qualität ihrer Texte durch die Überarbeitung – ob diese Verbesserung dank oder trotz des KI-generierten Feedbacks erwirkt werden konnte, muss ob der fehlenden Kontrollgruppe unbeantwortet bleiben. Zweitens weist der Vergleich der analytischen Urteile zwischen einem menschlichen Experten und dem KI-System nur auf schwache Übereinstimmungen (ICC = 0,279, p = 0,001) hin. Drittens deuten die qualitativen Analysen an, dass lernförderliches Feedback zu Schüler:innentexten durch das KI-System zwar möglich ist, es treten aber auch eindeutige Probleme in Bezug auf die Konsistenz und die inhaltliche Richtigkeit des Feedbacks zutage. Viertens haben diese Fehler zur Folge, dass einige Schüler:innen dem Feedback kein Vertrauen schenken, was eine der zentralen Herausforderungen von KI-generiertem Feedback ist und bleiben wird.