MA SIGB 05 LV 2 Evaluation und Qualitätsentwicklung
Präsenzlehrveranstaltung mit bis zu 25% E-Learning-Anteil
Qualitätsentwicklung und Evaluation sind wichtig für Leitungsaufgaben in den Arbeitsfeldern Soziales, Inklusion, Gesundheit und Bildung. Wird etwas zu Unrecht vorrangig mit Planerfüllung, Überwachung und Kontrolle in Verbindung gebracht. Kann wirklich hilfreich sein. Die Arbeit beschäftigt sich dabei mit den einschlägigen theoretischen Vorgaben und untersucht die Praxis in verschiedenen Berufsfeldern.
Die Modulabschließenden Prüfungen finden voraussichtlich in der zweiten und dritten Januarwoche zu den Zeiten des Seminars von Herrn Oltmanns Seminars bzw. dieses Seminars statt. Die Präsentationen werden in Arbeitsgruppen erarbeitet und vorgestellt. Wir werden beide die Prüfungen abnehmen. Sie können sich also zwar für einen der Prüfer in der Anmeldung entscheiden. Aber das ändert daran nichts, dass wir uns beide die Präsentationen anhören/anschauen.
Sie werden Projektanträge an die Aktion Mensch vorstellen. Jeder Projektantrag muss auch ein Evaluationskonzept enthalten. Es ist sehr sinnvoll, die Präsenzsitzungen (auch) dafür zu nutzen, die Präsentationen in Sachen Evaluation zu besprechen.
Dieses Seminar findet als Präsenzseminar statt. Zusätzlich haben Sie auch die Option, über Podcasts wichtige Inhalte der jeweiligen Seminarsitzungen zu erarbeiten, z. B. dann wenn Sie erkrankt sind oder sich in Quarantäne befinden. Die Podcasts lade ich normalerweise am Donnerstag nach den jeweiligen Sitzungen im Nachhinein hoch.
Bitte beachten Sie, dass die Podcasts dieses Seminars umfänglich auf die Tabellen der Forschungsmethoden-Materialsammlung zurückgreifen.
Erste Sitzung
Für die erste Sitzung ist ein Einleitung in den Themenbereich Evaluation und Qualitätsentwicklung geplant.
Evaluationsstandards der Deutschen Gesellschaft für Evaluation nach Bortz/Döring (2009) |
| 1. Nützlichkeit, d.h. an den Interessen der Evaluationsnutzer ausgerichtet, Interessen und Bedürfnisse berücksichtigen, vertrauenswürdige & kompetente Evaluatoren, klare & verständliche Berichte 2. Durchführbarkeit, d.h.: realistisch, gut durchdacht, diplomatisch & kostenbewusst arbeiten / Störungen minimieren / Interessenkonflikte vermeiden 3. Korrektheit: ethisch & fachlich korrekt vorgehen / dem Wohlergehen der betroffenen Personen ausreichend Raum geben / Stärken & Schwächen fair beschreiben / alle beteiligten Personen über Ergebnisse informieren 4. Genauigkeit: fachlich angemessene Informationen ermitteln / Programm korrekt dokumentieren / zuverlässige Informationsquellen nutzen / qualitative und quantitative Informationen verwenden / unparteilich & fair berichten |
Zweite, dritte, vierte und fünfte Sitzung
Die zweite, dritte und vierte Sitzungen werden sich mit dem Thema Gütekriterien befassen. Lernziel: Testverfahren bewerten und auswählen können. Wichtig sind Kenntnisse in diesem Bereich, weil Testbefunde in Evaluationsstudien manchmal belegen sollen, wie wirksam eine Intervention war. Und meistens ist es besser bestehende und erforschte Instrumente zu verwenden als sich selbst Instrumente zusammenzubasteln. Auch bei dieser Aufgabe helfen Kenntnisse in Sache Gütekriterien ungemein.
Eigentlich ist die Bewertung von Testverfahren nicht kompliziert, wenn man sich in Sachen Forschungsmethoden auskennt.
Weil man Testverfahren nur bewerten lernt, wenn man dies tut, werden wir uns gemeinsam einige Testverfahren anschauen, um Standards wie Objektivität, Reliabilität, Validität und Fairness anwenden zu können.
| Tab 21: Variablen, die einen Einfluss auf den IQ haben – Befunde der kulturvergleichenden IQ-Forschung nach Mand 2012 |
| Geschlecht Alter Einkommen Wirtschaftliches Umfeld Bildungsstand Erwerbstätigkeit und Arbeitslosigkeit Geschwister Kriminalität soziale Herkunft Gesundheitsvariablen: z. B. ADHS und PTBS Politische Orientierung Regionale bzw. ethnische Herkunft |
| Tab 22: Der Einfluss von Testverfahren in kulturvergleichenden IQ Studien (Wicherts 2010) in Untersuchungen zum mittleren IQ in Subsaharastaaten Afrikas | |
| K-ABC: WISC-R: Draw-A-Man WAIS-R/WAIS III CFT | IQ 73 IQ 75 IQ77,7 IQ 79 IQ86,7 |
| Tab 23: Empfehlungen des Bayrischen Landesjugendamts zur gutachterlichen Stellungnahme bei der Feststellung seelischer Behinderungen. www.blja.bayern.de/Textoffice/Gesetze/Textsammlung_SGB_VIII/TextOfficeSGBVIII_§_035a.htm Zugriff am 28.2.2007 |
| 1.1 Untersuchungen und Angaben zum „Klinisch-psychiatrischen Syndrom“ (Achse 1): Das Gutachten soll eine Angabe darüber enthalten, ob eine psychische Störung im Sinne eines „klinisch-psychiatrischen Syndroms“ vorliegt. Soweit es diagnostisch möglich ist, soll eine Aussage darüber erfolgen, in welcher Weise ggf. die psychische Störung im Zusammenhang mit einer Teilleistungsschwäche des Kindes oder Jugendlichen steht. … 1.2 Zu den „umschriebenen Entwicklungsstörungen der schulischen Fertigkeiten“ (Achse 2,siehe Seite 3) … gehören u. a. die „Lese- und Rechtschreibstörung“ (Legasthenie) und die Rechenstörung (Dyskalkulie). … Umschriebene Entwicklungsstörungen schulischer Fertigkeiten sind als seelische Behinderung oder drohende seelische Behinderung zu werten, wenn zur Funktionsstörung ein soziales Integrationsrisiko hinzukommt, so daß die Entwicklung des Kindes oder Jugendlichen und seine Eingliederung in die Gesellschaft aller Voraussicht nach beeinträchtigt wird. … Im Gutachten sind die Verfahren und die Ergebnisse zu benennen, nach denen die Diagnose der Entwicklungsstörung des Lesens und Rechtschreibens bzw. der Rechenstörung oder anderer Teilleistungsschwächen festgestellt wurden. … Das Gutachten muß Angaben über das schulische/berufliche Versagen im Lesen und Rechtschreiben enthalten. Grundlage dafür sind z.B. schulische Stellungnahmen und Schulzeugnisse, mangelhafte und ungenügende Diktatnoten. … Der Prozentrang im Rechtschreib- bzw. Lesetest sollte < 10 % entsprechen. Aufgrund der Fehlerstreuung der Testverfahren ist dieser Prozentrang nicht als strikte obere Grenze, sondern als Richtwert zu verstehen, der im Rahmen der übrigen diagnostischen Befunde zu bewerten ist. … 1.3 Angaben zum Intelligenzniveau (Achse 3):Unverzichtbar sind Angaben zur allgemeinen Intelligenzentwicklung. Dazu muß im Gutachten das angewandte Verfahren benannt werden. Als geeignete Verfahren bieten sich an: HAWIK-R, Kaufmann-Test, Adaptives-Intelligenzdiagnostikum (AID), CFT1 und CFT20. Liegen die Testwerte bei CFT1 bzw. CFT20 im unteren Durchschnittsbereich (IQ 85 bis 95), so empfiehlt es sich eine Überprüfung mit den Verfahren HAWIKR oder Kaufmann-Test bzw. AID, um eine allgemeine Intelligenzminderung auszuschließen. Nach den Kriterien von ICD-10 ist für die Feststellung der Entwicklungsstörung ein Intelligenzquotient > 70 vorauszusetzen.Das Gutachten muß eine Beurteilung darüber enthalten, inwieweit eine Diskrepanz zwischen der allgemeinen intellektuellen Begabung und dem Versagen im Lesen und Rechtschreiben bzw. im Rechnen besteht. …. 1.4 Angaben zur Körperlichen Symptomatik“ (Achse 4 Das Gutachten muß eine Aussage darüber enthalten, daß eine neurologische Erkrankung (z.B. Epilepsie, Cerebralparese), Sinnesbehinderungen (vor allem im Bereich des Sehens und Hörens) sowie andere körperliche Beeinträchtigungen als Ursache für das Versagen im Lesen, Rechtschreiben bzw. Rechnen ausgeschlossen sind. … |
| 1.5 Angaben zu „Aktuellen abnormen psychosozialen Umständen“ (Achse 5):Die gutachterliche Untersuchung soll die Kenntnis der psychosozialen Lebensumstände des betroffenen Kindes und Jugendlichen einschließen. … Ergänzend zu den Klassifikationskategorien, wie sie im Multiaxialen Klassifikationsschema der Achse 5 angeführt sind, muß überprüft sein, inwieweit eine schulische Förderung des Kindes erfolgt ist (spezielle Stützkurse seitens der Schule, Hausaufgabenhilfe, wesentliche Fehlzeiten usw.). Hilfreich ist eine Aussage darüber, aus welchen Gründen die familiären und innerschulischen Bemühungen nicht ausgereicht haben. Es ist zu verdeutlichen, daß eine außerschulische und außerfamiliäre Behandlung (z.B. „Legasthenietherapie“, „Rechentherapie“) erforderlich und geeignet ist, um die genannten Störungen und damit die (drohende) seelische Behinderung wirksam zu mildern und die soziale und schulische bzw. berufliche Eingliederung zu stützen.1.6 Angaben zur „Globalbeurteilung der psychosozialen Anpassung“ (Achse 6):Das Gutachten muß dazu Stellung nehmen, inwieweit die psychosoziale Anpassung des Kindes bzw. Jugendlichen zum Begutachtungszeitpunkt beeinträchtigt ist. |
Sechste und siebte Sitzung
Die Beschäftigung mit diagnostischen Instrumenten ist nun abgeschlossen. Sie müssten entsprechend in der Lage sein, für die Evaluation geeignete Instrumente auszuwählen und dabei Werte wie Reliabilität, Standardmessfehler und prognostische Validität zu berücksichtigen. In einem zweiten Teil des Evaluationsseminars geht es nun um einschlägige Evaluationsstudien in ausgewählten Bereichen.
Die Sitzung vom 27.11. stellt eine Evaluationsstudie aus der Elementarpädagogik vor. Es geht um das Konzept der bewegungsorientierten Sprachbildung. Zunächst erkläre ich, wie Kinder lesen und schreiben lernen – denn die Literacyentwicklung beginnt tatsächlich nicht etwa in der Schule, sondern bereits in den ersten Lebensmonaten. Dabei ist es sinnvoll sich zunächst mit der Frage zu beschäftigen, wie monolinguale Kinder ohne Behinderungen bzw. ohne Beeinträchtigung durch Störungsbilder lesen und schreiben lernen.
In einem zweiten Schritt betrachtet das Seminar eine über Pedocs frei verfügbare Diss von Madeira-Firmino (2015) :
Bewegungsorientierte Sprachbildung in der frühen Kindheit. Eine
empirische Studie zur bewegungsorientierten Sprachbildung im Krippenalltag unter Berücksichtigung familiärer Einbindung
Achte Sitzung
Auswirkungen von Migration auf den Schulerfolg in Deutschland
Kinder aus Familien mit Migrationsgeschichte haben ziemlich häufig Probleme in den deutschen Schulen. Einigermaßen klar ist aber, dass dies nicht für jedes Kind gilt. Und das ist ganz sicher nicht eine Variable, die wirksam wird, sondern das sind viele Variable. Migration wirkt also in einem multikausalen Geschehen auf den Schulerfolg.
| Tab 46: Erklärungsmodelle für schlechte Lese-/Schreibkompetenzen von Kindern mit Migrationshintergrund in deutschen Schulen |
| Erweiterte Schwellen/Interdependenzhypothesie in Anlehnung an Cummings: Bilinguale Kinder müssen in ihrer ersten Sprache ein Mindestniveau erreicht haben, damit sie in ihrer zweiten Sprache angemessene Entwicklungsschritte machen können |
| Lese-Schreibentwicklung enthält für bilinguale Kinder höhere Entwicklungsanforderungen (z. B. Mand 2008): Phonetisches Problem, Wortschatzproblem, Grammatikproblem) |
| Mand 2012: Bilinguale Kinder entwickeln in Deutschland vor allem deshalb Lese-/Schreibprobleme, weil sie besonders häufig aus armen Familien stammen. Das entscheidende Problem ist also nicht die Bilingualität. Sondern das entscheidende Problem ist die Armut. |
| Tab 48 Mand 2018 / Befunde aus der Dortmunder Wortschatzstudie: Testergebnisse aus Brennpunktkitas und Brennpunktschulen des Ruhrgebiets | |||||
| AWST Rdeutsch | AWST Rrussisch ( angegeben sind die t-Werte, die der deutschen Eichstichprobe entsprechen) | HSP 1 +Richtige Wörter | Stolperwörter Richtige Sätze | |
| Arithmetisches Mittel (t-Wert) | 32.05 | 25.03 1 | 48.34 | 18,36 | |
| | D. | n. D. | |||
| entspricht Prozentrang | 3 | 2.1 | 76 | 20 | |
| N | 43 | 29 | 47 | 45 | |
| Tab 50 Rechtschreibfehler, die bei der phonetischen Schreibung entstehen (Mand 2012) | |
| Hund | Chnt, Chunt, Hnt, Homt, Hon, Hond, Hont, Hot, Hout, Ht, htot, Hunnt, Hunt, Hut, Ont, Unt, Uont |
| Mäuse | Maas, Maosl, Maoz, Mas, Mass, Maise, Mauise, Meas, Mese, Meise, Meuise, Meus, Meusä, Meusä, Meusae, Meuse, Meusee, Meusse, Meusu Moeuse, Moisä, Moise, Moisen Mojse, Mösä, Möse, Mose, Mosen, Mosi, Moze, Mouse, Moyse, Mse, Muise, Mujse, Mulse, |
Das ist nicht das erste Mal, das ich der Frage nachgegangen bin, ob kommunale Daten wie Arbeitslosenquote oder Anteil von Bürgern nicht deutscher Staatsbürgerschaft Auswirkungen auf Förderschulquoten haben. Den Anfang macht eine Studie, die ich 2006 in der Zeitschrift für Heilpädagogik veröffentlich habe (Mand, J.: Integration für die Kinder der Mittelschicht – Förderschulen für die Kinder der Arbeitslosen und Ausländer). Und Anfang des Jahres 2023 lassen sich noch immer solche Zusammenhänge finden.
Kinder mit nicht deutscher Staatsbürgerschaft schneiden sehr unterschiedlich in Schulen NRWs ab. Am schlechtesten der hier untersuchten Nationen schneiden Kinder mit serbischer Staatsbürgerschaft ab. Besser als die Kinder mit deutscher Staatsbürgerschaft sind die Schüler mit vietnamesischer Staatsbürgerschaft.
Was ist die Aufgabe für die Teilnehmer*innen?
Bitte bewerten Sie die Evaluationsstudie von Konerding 2021 (Das grapho-phonologische Trainingsprogramm Lautarium bei Lese- Rechtschreibschwierigkeiten – Effekte in der Intervention und Prävention). Sie finden diese Studie bei FIS-Bildung. Ihre Frage: Ist es auf Basis der Befunde dieser Studie sinnvoll, das Lautarium für die Förderung von bilingualen Kindern einzusetzen?
Neunte Sitzung
Zunächst werden die Studierenden gebeten, ein Evaluationskonzept für die Lehrveranstaltungbewertung in der fiktiven Fachhochschule Glückstadt zu entwickeln. Die Vorschläge werden in einem zweiten Schritt konfrontiert mit Befunden der Evaluationsforschung zum Thema Lehrveranstaltungsbewertung und in einem dritten Schritt mit dem Vorgehen in der EvH verglichen.
Hier ein passender Podcast aus dem letzten WS:
Zehnte und elfte Sitzung
Die zehnte und elfte Sitzung bereiten die Podcasts der modulabschließenden Prüfungen vor.
Zwölfte, dreizehnte und vierzehnte Sitzung
Die Januarsitzungen dieses Seminars werden ausschließlich für die Präsentationen verwendet.
Diese lade ich Podcast für Podcast hoch, wenn ich Zeit gefunden habe, mir die Podcasts anzuhören und die Podcast auch so sind, dass man sie hochladen kann.
Bitte geben Sie mir etwas Zeit. Das sind wirklich viele Podcasts und das ist nicht das einzige Seminar, in dem ich diese Prüfungsform anbiete. Ich höre sie mir über mehrere Tage hinweg an und melde mich per Mail bei Ihnen, sobald ich Ihren Podcast bearbeitet habe.