MA SIGB 05 LV 2 Evaluation und Qualitätsentwicklung
Präsenzlehrveranstaltung mit weniger als 25% E-Learning-Anteil
Qualitätsentwicklung und Evaluation sind wichtig für Leitungsaufgaben in den Arbeitsfeldern Soziales, Inklusion, Gesundheit und Bildung. Wird etwas zu Unrecht vorrangig mit Planerfüllung, Überwachung und Kontrolle in Verbindung gebracht. Kann wirklich hilfreich sein. Die Arbeit beschäftigt sich dabei mit den einschlägigen theoretischen Vorgaben und untersucht die Praxis in verschiedenen Berufsfeldern.
Dieses Seminar findet als Präsenzseminar statt. Zusätzlich haben Sie auch die Option, über Podcasts wichtige Inhalte der jeweiligen Seminarsitzungen zu erarbeiten, z. B. dann wenn Sie erkrankt sind. Die Podcasts lade ich normalerweise am Donnerstag hoch.
Bitte beachten Sie, dass die Podcasts dieses Seminars umfänglich auf die Tabellen der Forschungsmethoden-Materialsammlung zurückgreifen. Inhalte dieses Seminars sind nicht von der quantitativen Forschung zu trennen. Denn Evaluationsforschung ist vorwiegend quantitative Forschung in einem besonderen Umfeld. Entsprechend wird sich das SPSS Seminar auch mit Evaluationsstudien befassen und Inhalte dieses Seminars vertiefend aufgreifen. Entsprechend müssen Sie damit rechnen, dass Inhalte dieser Veranstaltung auch Gegenstand der Klausur in Modul 4 werden können.
Erste Sitzung
Für die erste Sitzung ist ein Einleitung in den Themenbereich Evaluation und Qualitätsentwicklung geplant.
Evaluationsstandards der Deutschen Gesellschaft für Evaluation nach Bortz/Döring (2009) |
| 1. Nützlichkeit, d.h. an den Interessen der Evaluationsnutzer ausgerichtet, Interessen und Bedürfnisse berücksichtigen, vertrauenswürdige & kompetente Evaluatoren, klare & verständliche Berichte 2. Durchführbarkeit, d.h.: realistisch, gut durchdacht, diplomatisch & kostenbewusst arbeiten / Störungen minimieren / Interessenkonflikte vermeiden 3. Korrektheit: ethisch & fachlich korrekt vorgehen / dem Wohlergehen der betroffenen Personen ausreichend Raum geben / Stärken & Schwächen fair beschreiben / alle beteiligten Personen über Ergebnisse informieren 4. Genauigkeit: fachlich angemessene Informationen ermitteln / Programm korrekt dokumentieren / zuverlässige Informationsquellen nutzen / qualitative und quantitative Informationen verwenden / unparteilich & fair berichten |
Zweite, dritte und vierte Sitzung
Die zweite, dritte und vierte Sitzungen werden sich mit dem Thema Gütekriterien befassen. Lernziel: Testverfahren bewerten und auswählen können. Wichtig sind Kenntnisse in diesem Bereich, weil Testbefunde in Evaluationsstudien manchmal belegen sollen, wie wirksam eine Intervention war. Und meistens ist es besser bestehende und erforschte Instrumente zu verwenden als sich selbst Instrumente zusammenzubasteln. Auch bei dieser Aufgabe helfen Kenntnisse in Sache Gütekriterien ungemein.
Eigentlich ist die Bewertung von Testverfahren nicht kompliziert, wenn man sich in Sachen Forschungsmethoden auskennt.
Weil man Testverfahren nur bewerten lernt, wenn man dies tut, werden wir uns gemeinsam einige Testverfahren anschauen, um Standards wie Objektivität, Reliabilität, Validität und Fairness anwenden zu können.
Das nächste Gütekriterium, das hier untersucht werden soll, ist die Reliabilität. Hört sich kompliziert an und ist auch kompliziert. Zwar könnte man sagen, dass die Reliabilität z. B. untersucht, ob die Kinder, die Weihnachten getestet wurden, auch noch Ostern die gleichen Werte zeigen. Aber es ist sinnvoll, sich diesen Punkt genauer anzuschauen.
Das Problem ist, dass Reliabilität durch Korrelationskoeffizienten belegt wird. Man prüft also den Zusammenhang z. B. zwischen Testzeitpunkt 1 und Testzeitpunkt 2 dadurch, dass man die erreichten Testwerte bei einem wesentlichen Anteil der untersuchten Kinder korreliert. Das nennt sich dann Test-Re-Test-Reliablilität. Also ist es sinnvoll, zu verstehen, was Korrelationen sind. Auch dies ist nicht ganz einfach. Denn als Voraussetzung zum Verständnis von Korrelationskoeffizienten muss man auch verstehen, was die Standardabweichung ist. Und diesen Kennwert erkläre ich als erstes.
Standardabweichung
Bei der Berechnung von Korrelationen muss man auf die Standardabweichung zurückgreifen. Vermutlich ist es zunächst einmal verwirrend, dass es unterschiedliche Korrelationskoeffizienten gibt. Es gibt solche, die mit dem Arithmetischen Mittel arbeiten. Und es gibt Korrelationskoeffizienten, die die gemessenen Werte in eine Rangreihe bringen. Bei der Berechnung von der Reliabilität wird normalerweise ein mittelwertsbasierter Korrelationskoeffizient verwendet.
Korrelationskoeffizienten
Fünfte Sitzung
Die fünfte Sitzung bereitet die Auseinandersetzung mit einer Evaluationsstudie aus der Elementarpädagogik vor. Es geht um das Konzept der bewegungsorientierten Sprachbildung. Damit Sie diese Studie bewerten können, sollten Sie wissen, wie Kinder lesen und schreiben lernen – denn die Literacyentwicklung beginnt tatsächlich nicht etwa in der Schule, sondern bereits in den ersten Lebensmonaten. Sie sollten auch wissen, welchen Einfluss Mehrsprachigkeit hat.
Kinder aus Familien mit Migrationsgeschichte haben ziemlich häufig Probleme in den deutschen Schulen. Einigermaßen klar ist aber, dass dies nicht für jedes Kind gilt. Und das ist ganz sicher nicht eine Variable, die wirksam wird, sondern das sind viele Variable. Migration wirkt also in einem multikausalen Geschehen auf den Schulerfolg.
| Tab 46: Erklärungsmodelle für schlechte Lese-/Schreibkompetenzen von Kindern mit Migrationshintergrund in deutschen Schulen |
| Erweiterte Schwellen/Interdependenzhypothesie in Anlehnung an Cummings: Bilinguale Kinder müssen in ihrer ersten Sprache ein Mindestniveau erreicht haben, damit sie in ihrer zweiten Sprache angemessene Entwicklungsschritte machen können |
| Lese-Schreibentwicklung enthält für bilinguale Kinder höhere Entwicklungsanforderungen (z. B. Mand 2008): Phonetisches Problem, Wortschatzproblem, Grammatikproblem) |
| Mand 2012: Bilinguale Kinder entwickeln in Deutschland vor allem deshalb Lese-/Schreibprobleme, weil sie besonders häufig aus armen Familien stammen. Das entscheidende Problem ist also nicht die Bilingualität. Sondern das entscheidende Problem ist die Armut. |
| Tab 48 Mand 2018 / Befunde aus der Dortmunder Wortschatzstudie: Testergebnisse aus Brennpunktkitas und Brennpunktschulen des Ruhrgebiets | |||||
| AWST Rdeutsch | AWST Rrussisch ( angegeben sind die t-Werte, die der deutschen Eichstichprobe entsprechen) | HSP 1 +Richtige Wörter | Stolperwörter Richtige Sätze | |
| Arithmetisches Mittel (t-Wert) | 32.05 | 25.03 1 | 48.34 | 18,36 | |
| | D. | n. D. | |||
| entspricht Prozentrang | 3 | 2.1 | 76 | 20 | |
| N | 43 | 29 | 47 | 45 | |
| Tab 50 Rechtschreibfehler, die bei der phonetischen Schreibung entstehen (Mand 2012) | |
| Hund | Chnt, Chunt, Hnt, Homt, Hon, Hond, Hont, Hot, Hout, Ht, htot, Hunnt, Hunt, Hut, Ont, Unt, Uont |
| Mäuse | Maas, Maosl, Maoz, Mas, Mass, Maise, Mauise, Meas, Mese, Meise, Meuise, Meus, Meusä, Meusä, Meusae, Meuse, Meusee, Meusse, Meusu Moeuse, Moisä, Moise, Moisen Mojse, Mösä, Möse, Mose, Mosen, Mosi, Moze, Mouse, Moyse, Mse, Muise, Mujse, Mulse, |
Das ist nicht das erste Mal, das ich der Frage nachgegangen bin, ob kommunale Daten wie oder Anteil von Bürgern nicht deutscher Staatsbürgerschaft Auswirkungen auf Förderschulquoten haben. Den Anfang macht eine Studie, die ich 2006 in der Zeitschrift für Heilpädagogik veröffentlich habe (Mand, J.: Integration für die Kinder der Mittelschicht – Förderschulen für die Kinder der Arbeitslosen und Ausländer). Und Anfang des Jahres 2023 lassen sich noch immer solche Zusammenhänge finden.
Kinder mit nicht deutscher Staatsbürgerschaft schneiden sehr unterschiedlich in Schulen NRWs ab. Am schlechtesten der hier untersuchten Nationen schneiden Kinder mit serbischer Staatsbürgerschaft ab. Besser als die Kinder mit deutscher Staatsbürgerschaft sind die Schüler mit vietnamesischer Staatsbürgerschaft.
Sechste Sitzung (17.11., Online-Sitzung)
Die sechste Sitzung findet ausschließlich als asynchrone Online-Sitzung statt. Während der ursprünglich avisierten Zeiten (Mo 14.00 – 15.30) bin ich per Mail zu erreichen. Sie können aber die Aufgabe bearbeiten, wann immer Sie wollen.
Bitte laden Sie sich die Dissertation von Firmino (2015) herunter (z. B. bei FIS-Bildung). Bewegungsorientierte Sprachbildung in der frühen Kindheit. Eine empirische Studie zur bewegungsorientierten Sprachbildung im Krippenalltag unter Berücksichtigung familiärer Einbindung.
Die Frage an die Teilnehmer*innen des Evaluationsseminars: Ist es sinnvoll, das Konzept der Bewegungsorientierten Sprachbildung umfänglich in deutschen Kitas einzuführen? Bitte begründen Sie.