Bitte beachten Sie: Diese Unterseite stammt aus dem Wintersemester 2022/23. Die Seite steht hier noch einige Seite zur Verfügung, weil es nach wie vor Abrufe gibt. Die Seite wird aber nicht mehr aktualisiert oder moderiert.
MA SIGB 05 LV 2 Evaluation und Qualitätsentwicklung
Präsenzlehrveranstaltung mit bis zu 25% E-Learning-Anteil
Qualitätsentwicklung und Evaluation sind wichtig für Leitungsaufgaben in den Arbeitsfeldern Soziales, Inklusion, Gesundheit und Bildung. Wird etwas zu Unrecht vorrangig mit Planerfüllung, Überwachung und Kontrolle in Verbindung gebracht. Kann wirklich hilfreich sein. Die Arbeit beschäftigt sich dabei mit den einschlägigen theoretischen Vorgaben und untersucht die Praxis in verschiedenen Berufsfeldern.
Die Modulabschließenden Prüfung finden in der zweiten und dritten Januarwoche zu den Zeiten des Seminars von Frau Kortekamps Seminars bzw. dieses Seminars statt. Sie werden Projektanträge an die Aktion Mensch vorstellen. Jeder Projektantrag muss auch ein Evaluationskonzept enthalten. Es ist sehr sinnvoll, die Präsenzsitzungen (auch) dafür zu nutzen, die Präsentationen in Sachen Evaluation zu besprechen.
Dieses Seminar findet als Präsenzseminar statt. Zusätzlich haben Sie auch die Option, über Podcasts wichtige Inhalte der jeweiligen Seminarsitzungen zu erarbeiten, z. B. dann wenn Sie erkrankt sind oder sich in Quarantäne befinden. Die Podcasts lade ich normalerweise am Donnerstag nach den jeweiligen Sitzungen im Nachhinein hoch.
Bitte beachten Sie, dass die Podcasts dieses Seminars umfänglich auf die Tabellen der Forschungsmethoden-Materialsammlung zurückgreifen.
Erste Sitzung
Für die erste Sitzung ist ein Einleitung in den Themenbereich Evaluation und Qualitätsentwicklung geplant.
Evaluationsstandards der Deutschen Gesellschaft für Evaluation nach Bortz/Döring (2009) |
| 1. Nützlichkeit, d.h. an den Interessen der Evaluationsnutzer ausgerichtet, Interessen und Bedürfnisse berücksichtigen, vertrauenswürdige & kompetente Evaluatoren, klare & verständliche Berichte 2. Durchführbarkeit, d.h.: realistisch, gut durchdacht, diplomatisch & kostenbewusst arbeiten / Störungen minimieren / Interessenkonflikte vermeiden 3. Korrektheit: ethisch & fachlich korrekt vorgehen / dem Wohlergehen der betroffenen Personen ausreichend Raum geben / Stärken & Schwächen fair beschreiben / alle beteiligten Personen über Ergebnisse informieren 4. Genauigkeit: fachlich angemessene Informationen ermitteln / Programm korrekt dokumentieren / zuverlässige Informationsquellen nutzen / qualitative und quantitative Informationen verwenden / unparteilich & fair berichten |
Zweite, dritte und vierte Sitzung
Den Erfolg von Maßnahmen kann man auch über Testverfahren belegen. Dies ist z. B. wichtig in psychotherapeutischen Zusammenhängen. Und dies kann auch wichtig sein in der Evaluation von Maßnahmen in der Elementarpädagogik oder in der Evaluation von Maßnahmen in der Inklusionspädagogik.
Testverfahren bewerten funktioniert ein wenig anders als die Bewertung von empirischen Untersuchungen. Es gibt aber Parallelen.
| Tab 21: Variablen, die einen Einfluss auf den IQ haben – Befunde der kulturvergleichenden IQ-Forschung nach Mand 2012 |
| Geschlecht Alter Einkommen Wirtschaftliches Umfeld Bildungsstand Erwerbstätigkeit und Arbeitslosigkeit Geschwister Kriminalität soziale Herkunft Gesundheitsvariablen: z. B. ADHS und PTBS Politische Orientierung Regionale bzw. ethnische Herkunft |
| Tab 22: Der Einfluss von Testverfahren in kulturvergleichenden IQ Studien (Wicherts 2010) in Untersuchungen zum mittleren IQ in Subsaharastaaten Afrikas | |
| K-ABC: WISC-R: Draw-A-Man WAIS-R/WAIS III CFT | IQ 73 IQ 75 IQ77,7 IQ 79 IQ86,7 |
| Tab 23: Empfehlungen des Bayrischen Landesjugendamts zur gutachterlichen Stellungnahme bei der Feststellung seelischer Behinderungen. www.blja.bayern.de/Textoffice/Gesetze/Textsammlung_SGB_VIII/TextOfficeSGBVIII_§_035a.htm Zugriff am 28.2.2007 |
| 1.1 Untersuchungen und Angaben zum „Klinisch-psychiatrischen Syndrom“ (Achse 1): Das Gutachten soll eine Angabe darüber enthalten, ob eine psychische Störung im Sinne eines „klinisch-psychiatrischen Syndroms“ vorliegt. Soweit es diagnostisch möglich ist, soll eine Aussage darüber erfolgen, in welcher Weise ggf. die psychische Störung im Zusammenhang mit einer Teilleistungsschwäche des Kindes oder Jugendlichen steht. … 1.2 Zu den „umschriebenen Entwicklungsstörungen der schulischen Fertigkeiten“ (Achse 2,siehe Seite 3) … gehören u. a. die „Lese- und Rechtschreibstörung“ (Legasthenie) und die Rechenstörung (Dyskalkulie). … Umschriebene Entwicklungsstörungen schulischer Fertigkeiten sind als seelische Behinderung oder drohende seelische Behinderung zu werten, wenn zur Funktionsstörung ein soziales Integrationsrisiko hinzukommt, so daß die Entwicklung des Kindes oder Jugendlichen und seine Eingliederung in die Gesellschaft aller Voraussicht nach beeinträchtigt wird. … Im Gutachten sind die Verfahren und die Ergebnisse zu benennen, nach denen die Diagnose der Entwicklungsstörung des Lesens und Rechtschreibens bzw. der Rechenstörung oder anderer Teilleistungsschwächen festgestellt wurden. … Das Gutachten muß Angaben über das schulische/berufliche Versagen im Lesen und Rechtschreiben enthalten. Grundlage dafür sind z.B. schulische Stellungnahmen und Schulzeugnisse, mangelhafte und ungenügende Diktatnoten. … Der Prozentrang im Rechtschreib- bzw. Lesetest sollte < 10 % entsprechen. Aufgrund der Fehlerstreuung der Testverfahren ist dieser Prozentrang nicht als strikte obere Grenze, sondern als Richtwert zu verstehen, der im Rahmen der übrigen diagnostischen Befunde zu bewerten ist. … 1.3 Angaben zum Intelligenzniveau (Achse 3):Unverzichtbar sind Angaben zur allgemeinen Intelligenzentwicklung. Dazu muß im Gutachten das angewandte Verfahren benannt werden. Als geeignete Verfahren bieten sich an: HAWIK-R, Kaufmann-Test, Adaptives-Intelligenzdiagnostikum (AID), CFT1 und CFT20. Liegen die Testwerte bei CFT1 bzw. CFT20 im unteren Durchschnittsbereich (IQ 85 bis 95), so empfiehlt es sich eine Überprüfung mit den Verfahren HAWIKR oder Kaufmann-Test bzw. AID, um eine allgemeine Intelligenzminderung auszuschließen. Nach den Kriterien von ICD-10 ist für die Feststellung der Entwicklungsstörung ein Intelligenzquotient > 70 vorauszusetzen.Das Gutachten muß eine Beurteilung darüber enthalten, inwieweit eine Diskrepanz zwischen der allgemeinen intellektuellen Begabung und dem Versagen im Lesen und Rechtschreiben bzw. im Rechnen besteht. …. 1.4 Angaben zur Körperlichen Symptomatik“ (Achse 4 Das Gutachten muß eine Aussage darüber enthalten, daß eine neurologische Erkrankung (z.B. Epilepsie, Cerebralparese), Sinnesbehinderungen (vor allem im Bereich des Sehens und Hörens) sowie andere körperliche Beeinträchtigungen als Ursache für das Versagen im Lesen, Rechtschreiben bzw. Rechnen ausgeschlossen sind. … |
| 1.5 Angaben zu „Aktuellen abnormen psychosozialen Umständen“ (Achse 5):Die gutachterliche Untersuchung soll die Kenntnis der psychosozialen Lebensumstände des betroffenen Kindes und Jugendlichen einschließen. … Ergänzend zu den Klassifikationskategorien, wie sie im Multiaxialen Klassifikationsschema der Achse 5 angeführt sind, muß überprüft sein, inwieweit eine schulische Förderung des Kindes erfolgt ist (spezielle Stützkurse seitens der Schule, Hausaufgabenhilfe, wesentliche Fehlzeiten usw.). Hilfreich ist eine Aussage darüber, aus welchen Gründen die familiären und innerschulischen Bemühungen nicht ausgereicht haben. Es ist zu verdeutlichen, daß eine außerschulische und außerfamiliäre Behandlung (z.B. „Legasthenietherapie“, „Rechentherapie“) erforderlich und geeignet ist, um die genannten Störungen und damit die (drohende) seelische Behinderung wirksam zu mildern und die soziale und schulische bzw. berufliche Eingliederung zu stützen.1.6 Angaben zur „Globalbeurteilung der psychosozialen Anpassung“ (Achse 6):Das Gutachten muß dazu Stellung nehmen, inwieweit die psychosoziale Anpassung des Kindes bzw. Jugendlichen zum Begutachtungszeitpunkt beeinträchtigt ist. |
Fünfte Sitzung (31.10.) und sechste Sitzung
Die fünfte Sitzung hat ausschließlich als Online-Angebotstattgefunden.
Sie stellt eine Evaluationsstudie aus der Elementarpädagogik vor. Es geht um das Konzept der bewegungsorientierten Sprachbildung. Zunächst erkläre ich, wie Kinder lesen und schreiben lernen – denn die Literacyentwicklung beginnt tatsächlich nicht etwa in der Schule, sondern bereits in den ersten Lebensmonaten.
In einem zweiten Schritt betrachtet das Seminar die Dissertation von Firmino (2015). Bewegungsorientierte Sprachbildung in der frühen Kindheit. Eine empirische Studie zur bewegungsorientierten Sprachbildung im Krippenalltag unter Berücksichtigung familiärer Einbindung. Die Frage an die Teilnehmer*innen des Evaluationsseminars: Ist es sinnvoll, das Konzept der Bewegungsorientierten Sprachbildung in deutschen Kitas einzuführen?
In der sechsten Sitzung haben wir uns die Diss noch einmal angeschaut. Ergebnis: Die Studie weist schwerwiegende Mängel auf. Die Stichprobe ist zu klein und nicht angemessen gewonnen. Belastbare Informationen zu den wirklich wichtigen Variablen der Sprachförderung (z. B. phonologische Bewusstheit) werden nicht zur Verfügung gestellt. Auch ist kaum nachvollziehbar, dass die Autorin aus den veröffentlichten Befunden ableiten will, dass das Konzept der bewegungsorientierten Sprachbildung erfolgreich war. Z. B. führt die Förderung in wesentlichen Bereichen nicht etwa zu einer Verbesserung der sprachlichen Leistungen , sondern zu einer Verschlechterung. Und in den Bereichen, in denen eine Verbesserung von t1 zu t2 beobachtet werden kann, sind die Veränderungen überschaubar.
Resümee: Wer Sprachförderung erfolgreich betreiben will, sollte also besser nicht auf die Bewegungsorientierte Sprachbildung zurückgreifen.
Siebte Sitzung
Gegenstand der siebten Sitzung waren zunächst die geplanten Forschungsprojekte für das Sommersemester und in einem zweiten Schritt die Präsentationen für die modulabschließende Prüfung im Wintersemester.
Die verbleibende Zeit habe ich genutzt, um in das Thema Qualitätsentwicklung in Hochschulen einzuleiten. Der Podcast hierzu erscheint im Rahmen der achten Sitzung.
U.a. habe ich darauf hingewiesen, dass die Lehrveranstaltung Kreativität und Kontrolle Gegenstand der Veranstaltungsevaluation der EvH ist. Bitte den entsprechenden Link erst nach Aufforderung in der achten Sitzung aktivieren.
Achte Sitzung
Die achte Sitzung hat sich hauptsächlich mit Lehrveranstaltungsbewertungen befasst. Zunächst waren die Studierenden gebeten, ein Evaluationskonzept für die Kehrveranstaltungbewertung in der fiktiven Fachhochschule Glückstadt zu entwickeln. Die Vorschläge (u.a.: externe Evaluation, Einsatz von Leitfadeninterviews für 10 % von durch Zufallsstichprobe ausgewählten Teilnehmer*innen plus normierter Fragebogen für alle Studierende) wurden in einem ersten Schritt konfrontiert mit Befunden der Evaluationsforschung zum Thema Lehrveranstaltungsbewertung und in einem zweiten Schritt mit dem Vorgehen in der EvH verglichen.
Hier ein passender Podcast aus dem letzten WS:
Neunte Sitzung
Die neunte Sitzung hat ein Evaluationsproblem aus der Behindertenhilfe zum Thema. Für nicht sprechende Menschen mit Autismusspektrumsstörung steht nun seit Jahrzehnten eine Fördermethode zur Verfügung, die darauf hinausläuft, dass Menschen mit ASS durch Berührungen am Arm oder an der Schulter dabei unterstützt werden, eine Tastatur zu benutzen, um schriftlich zu kommunizieren. Es den 90iger Jahren wurde mehrfach empirisch belegt, dass das, was die Menschen mit ASS schreiben, massiv von Stützer*innen beeinflusst wird. Nun liegen aber seit 2000 viele Studien vor, die ggf. ein neues Bild dieser Methode erlauben.
Zehnte Sitzung
Die zehnte Sitzung dient der Vorbereitung der Präsentationen am 9.1.23 .
Elfte Sitzung (19.12.)
Die 11. und 12. Sitzung dieses Seminars wird – wie bereits mehrfach angekündigt ausschließlich als Online-Sitzung angeboten.
Die elfte Sitzung des Seminars befasst sich mit Angeboten der Tier gestützten Therapie und Pädagogik. In der Evaluationsforschung zu diesem Thema gibt es nämlich einige Probleme, die dazu führen, dass die Wirksamkeit dieser Angebote regelmäßig überschätzt werden.
Zwölfte Sitzung (2.1.23)
Die zwölfte Sitzung untersucht die Wirksamkeit von Familienklassen. Diese richten sich an auffällige Kinder und ihre Eltern. Normalerweise einmal pro Woche werden die auffälligen Kinder einer Schule mit einem Elternteil eingeladen, gemeinsam in einer kleinen Gruppe den Schulvormittag zu gestalten. Familienklassentrainer sollen die Eltern dabei unterstützen, einen angemessenen Umgang mit ihren Kindern zu entwickeln. Das Problem: Besonders erfolgreich sind diese Familienklassen nicht.
Bitte beachten Sie in diesem Zusammenhang auch den von mir veröffentlichten Forschungsbericht unter den Online-Publikationen dieser Homepage.