MA SIGB 05 LV 2 Evaluation und Qualitätsentwicklung
Präsenzlehrveranstaltung mit weniger als 25% E-Learning-Anteil
Qualitätsentwicklung und Evaluation sind wichtig für Leitungsaufgaben in den Arbeitsfeldern Soziales, Inklusion, Gesundheit und Bildung. Wird etwas zu Unrecht vorrangig mit Planerfüllung, Überwachung und Kontrolle in Verbindung gebracht. Kann wirklich hilfreich sein. Die Arbeit beschäftigt sich dabei mit den einschlägigen theoretischen Vorgaben und untersucht die Praxis in verschiedenen Berufsfeldern.
Dieses Seminar findet als Präsenzseminar statt. Zusätzlich haben Sie auch die Option, über Podcasts wichtige Inhalte der jeweiligen Seminarsitzungen zu erarbeiten, z. B. dann wenn Sie erkrankt sind. Die Podcasts lade ich normalerweise am Donnerstag hoch.
Bitte beachten Sie, dass die Podcasts dieses Seminars umfänglich auf die Tabellen der Forschungsmethoden-Materialsammlung zurückgreifen. Inhalte dieses Seminars sind nicht von der quantitativen Forschung zu trennen. Denn Evaluationsforschung ist vorwiegend quantitative Forschung in einem besonderen Umfeld. Entsprechend wird sich das SPSS Seminar auch mit Evaluationsstudien befassen und Inhalte dieses Seminars vertiefend aufgreifen. Entsprechend müssen Sie damit rechnen, dass Inhalte dieser Veranstaltung auch Gegenstand der Klausur in Modul 4 werden können.
Erste Sitzung
Für die erste Sitzung ist ein Einleitung in den Themenbereich Evaluation und Qualitätsentwicklung geplant.
Evaluationsstandards der Deutschen Gesellschaft für Evaluation nach Bortz/Döring (2009) |
| 1. Nützlichkeit, d.h. an den Interessen der Evaluationsnutzer ausgerichtet, Interessen und Bedürfnisse berücksichtigen, vertrauenswürdige & kompetente Evaluatoren, klare & verständliche Berichte 2. Durchführbarkeit, d.h.: realistisch, gut durchdacht, diplomatisch & kostenbewusst arbeiten / Störungen minimieren / Interessenkonflikte vermeiden 3. Korrektheit: ethisch & fachlich korrekt vorgehen / dem Wohlergehen der betroffenen Personen ausreichend Raum geben / Stärken & Schwächen fair beschreiben / alle beteiligten Personen über Ergebnisse informieren 4. Genauigkeit: fachlich angemessene Informationen ermitteln / Programm korrekt dokumentieren / zuverlässige Informationsquellen nutzen / qualitative und quantitative Informationen verwenden / unparteilich & fair berichten |
Zweite, dritte und vierte Sitzung
Die zweite, dritte und vierte Sitzungen werden sich mit dem Thema Gütekriterien befassen. Lernziel: Testverfahren bewerten und auswählen können. Wichtig sind Kenntnisse in diesem Bereich, weil Testbefunde in Evaluationsstudien manchmal belegen sollen, wie wirksam eine Intervention war. Und meistens ist es besser bestehende und erforschte Instrumente zu verwenden als sich selbst Instrumente zusammenzubasteln. Auch bei dieser Aufgabe helfen Kenntnisse in Sache Gütekriterien ungemein.
Eigentlich ist die Bewertung von Testverfahren nicht kompliziert, wenn man sich in Sachen Forschungsmethoden auskennt.
Weil man Testverfahren nur bewerten lernt, wenn man dies tut, werden wir uns gemeinsam einige Testverfahren anschauen, um Standards wie Objektivität, Reliabilität, Validität und Fairness anwenden zu können.
Das nächste Gütekriterium, das hier untersucht werden soll, ist die Reliabilität. Hört sich kompliziert an und ist auch kompliziert. Zwar könnte man sagen, dass die Reliabilität z. B. untersucht, ob die Kinder, die Weihnachten getestet wurden, auch noch Ostern die gleichen Werte zeigen. Aber es ist sinnvoll, sich diesen Punkt genauer anzuschauen.
Das Problem ist, dass Reliabilität durch Korrelationskoeffizienten belegt wird. Man prüft also den Zusammenhang z. B. zwischen Testzeitpunkt 1 und Testzeitpunkt 2 dadurch, dass man die erreichten Testwerte bei einem wesentlichen Anteil der untersuchten Kinder korreliert. Das nennt sich dann Test-Re-Test-Reliablilität. Also ist es sinnvoll, zu verstehen, was Korrelationen sind. Auch dies ist nicht ganz einfach. Denn als Voraussetzung zum Verständnis von Korrelationskoeffizienten muss man auch verstehen, was die Standardabweichung ist. Und diesen Kennwert erkläre ich als erstes.
Standardabweichung
Bei der Berechnung von Korrelationen muss man auf die Standardabweichung zurückgreifen. Vermutlich ist es zunächst einmal verwirrend, dass es unterschiedliche Korrelationskoeffizienten gibt. Es gibt solche, die mit dem Arithmetischen Mittel arbeiten. Und es gibt Korrelationskoeffizienten, die die gemessenen Werte in eine Rangreihe bringen. Bei der Berechnung von der Reliabilität wird normalerweise ein mittelwertsbasierter Korrelationskoeffizient verwendet.
Korrelationskoeffizienten
Fünfte Sitzung
Die sechste Sitzung greift noch einmal das Thema Gütekriterien auf. Zunächst geht es um den Standardmessfehler. Denn: Ein wichtiger Grund, die Reliabilität zu erheben, ist der Versuch, Aussagen über die Genauigkeit der Testverfahren zu machen.
Wie kann man das erklären? Man kann sich vielleicht Testverfahren als eine Art Messgerät vorstellen. Wenn Sie z. B. der Meinung sind, dass es wichtig ist, ihr Körpergewicht regelmäßig zu prüfen. Dann brauchen Sie eine Waage. Sie werden sich in einem solchen Fall wünschen, dass Ihre Waage genau misst, also geeicht ist. Eine Waage, die feststellt, dass Sie sagen wir 60 kg wiegen, aber nicht ausschließen kann, dass es vielleicht aber auch 55 kg sind oder möglicherweise 65 kg, würden Sie vermutlich nicht kaufen wollen. Genauso ist es bei Tests. Einen Intelligenztest, der bei einem gemessenen IQ von 89 nicht ausschließen kann, dass eigentlich ein IQ von 84 vorliegt oder vielleicht doch ein IQ von 94, hilft nicht viel in der diagnostischen Arbeit. Und genau diese Information wird über den Standardmessfehler erhoben.
Reliabilität und Standardmessfehler
Sechste Sitzung (Online-Sitzung, 17.11.)
das Seminar hat entschieden, dass die Online-Sitzung asynchron durchgeführt wird. Dies bedeutet, dass Sie die Podcasts anhören können bzw. die Aufgaben bearbeiten können, wann immer das passt. Während der eigentlich vorgesehenen Präsenzzeiten (also 14.00 bis 15.30) bin ich per Mail erreichbar, um sofort auf Ihre Fragen antworten zu können. Danach kann das vielleicht etwas dauern.
Die Veranstaltung befasst sich Frage, ob die Testverfahren auch das messen, was sie zu messen vorgeben. Anders formuliert: Es geht um das Gütekriterium der Validität.
So ganz banal ist diese Frage nicht. Man kann zunächst sehr grundsätzliche Überlegungen anstellen, und darüber nachdenken, was genau z. B. Intelligenztests messen.
Validität
Es gibt unterschiedliche Methoden, mit denen man die Validität misst. Am interessantesten ist hier die Prognostische Validität. Grundgedanke hier: Es wäre wirklich hilfreich, wenn die durch den Test ermittelten Befunde langfristiger Prognosen erlauben. Also muss man über einen langen Zeitraum prüfen, ob die ermittelten Befunde irgendeine Prognose erlauben. Kommt Ihnen selbstverständlich vor, ist es aber nicht.
Was ist Ihre Aufgabe? Sie haben Unterlagen zur Verfügung gestellt bekommen, die Aussagen über die Gütekriterien von Testverfahren erlauben. Bitte prüfen Sie, ob in dem von Ihnen bearbeiteten Verfahren die prognostische Validität untersucht wird und ob die Ergebnisse hier überzeugend ausfallen. Wenn Sie mögen, können Sie mir die Ergebnisse Ihrer Recherche per Mail zukommen lassen.
Siebte Sitzung (24.11.)
| Tab 21: Variablen, die einen Einfluss auf den IQ haben – Befunde der kulturvergleichenden IQ-Forschung nach Mand 2012 |
| Geschlecht Alter Einkommen Wirtschaftliches Umfeld Bildungsstand Erwerbstätigkeit und Arbeitslosigkeit Geschwister Kriminalität soziale Herkunft Gesundheitsvariablen: z. B. ADHS und PTBS Politische Orientierung Regionale bzw. ethnische Herkunft |
| Tab 22: Der Einfluss von Testverfahren in kulturvergleichenden IQ Studien (Wicherts 2010) in Untersuchungen zum mittleren IQ in Subsaharastaaten Afrikas | |
| K-ABC: WISC-R: Draw-A-Man WAIS-R/WAIS III CFT | IQ 73 IQ 75 IQ77,7 IQ 79 IQ86,7 |
| Tab 23: Empfehlungen des Bayrischen Landesjugendamts zur gutachterlichen Stellungnahme bei der Feststellung seelischer Behinderungen. www.blja.bayern.de/Textoffice/Gesetze/Textsammlung_SGB_VIII/TextOfficeSGBVIII_§_035a.htm Zugriff am 28.2.2007 |
| 1.1 Untersuchungen und Angaben zum „Klinisch-psychiatrischen Syndrom“ (Achse 1): Das Gutachten soll eine Angabe darüber enthalten, ob eine psychische Störung im Sinne eines „klinisch-psychiatrischen Syndroms“ vorliegt. Soweit es diagnostisch möglich ist, soll eine Aussage darüber erfolgen, in welcher Weise ggf. die psychische Störung im Zusammenhang mit einer Teilleistungsschwäche des Kindes oder Jugendlichen steht. … 1.2 Zu den „umschriebenen Entwicklungsstörungen der schulischen Fertigkeiten“ (Achse 2,siehe Seite 3) … gehören u. a. die „Lese- und Rechtschreibstörung“ (Legasthenie) und die Rechenstörung (Dyskalkulie). … Umschriebene Entwicklungsstörungen schulischer Fertigkeiten sind als seelische Behinderung oder drohende seelische Behinderung zu werten, wenn zur Funktionsstörung ein soziales Integrationsrisiko hinzukommt, so daß die Entwicklung des Kindes oder Jugendlichen und seine Eingliederung in die Gesellschaft aller Voraussicht nach beeinträchtigt wird. … Im Gutachten sind die Verfahren und die Ergebnisse zu benennen, nach denen die Diagnose der Entwicklungsstörung des Lesens und Rechtschreibens bzw. der Rechenstörung oder anderer Teilleistungsschwächen festgestellt wurden. … Das Gutachten muß Angaben über das schulische/berufliche Versagen im Lesen und Rechtschreiben enthalten. Grundlage dafür sind z.B. schulische Stellungnahmen und Schulzeugnisse, mangelhafte und ungenügende Diktatnoten. … Der Prozentrang im Rechtschreib- bzw. Lesetest sollte < 10 % entsprechen. Aufgrund der Fehlerstreuung der Testverfahren ist dieser Prozentrang nicht als strikte obere Grenze, sondern als Richtwert zu verstehen, der im Rahmen der übrigen diagnostischen Befunde zu bewerten ist. … 1.3 Angaben zum Intelligenzniveau (Achse 3):Unverzichtbar sind Angaben zur allgemeinen Intelligenzentwicklung. Dazu muß im Gutachten das angewandte Verfahren benannt werden. Als geeignete Verfahren bieten sich an: HAWIK-R, Kaufmann-Test, Adaptives-Intelligenzdiagnostikum (AID), CFT1 und CFT20. Liegen die Testwerte bei CFT1 bzw. CFT20 im unteren Durchschnittsbereich (IQ 85 bis 95), so empfiehlt es sich eine Überprüfung mit den Verfahren HAWIKR oder Kaufmann-Test bzw. AID, um eine allgemeine Intelligenzminderung auszuschließen. Nach den Kriterien von ICD-10 ist für die Feststellung der Entwicklungsstörung ein Intelligenzquotient > 70 vorauszusetzen.Das Gutachten muß eine Beurteilung darüber enthalten, inwieweit eine Diskrepanz zwischen der allgemeinen intellektuellen Begabung und dem Versagen im Lesen und Rechtschreiben bzw. im Rechnen besteht. …. 1.4 Angaben zur Körperlichen Symptomatik“ (Achse 4 Das Gutachten muß eine Aussage darüber enthalten, daß eine neurologische Erkrankung (z.B. Epilepsie, Cerebralparese), Sinnesbehinderungen (vor allem im Bereich des Sehens und Hörens) sowie andere körperliche Beeinträchtigungen als Ursache für das Versagen im Lesen, Rechtschreiben bzw. Rechnen ausgeschlossen sind. … |
| 1.5 Angaben zu „Aktuellen abnormen psychosozialen Umständen“ (Achse 5):Die gutachterliche Untersuchung soll die Kenntnis der psychosozialen Lebensumstände des betroffenen Kindes und Jugendlichen einschließen. … Ergänzend zu den Klassifikationskategorien, wie sie im Multiaxialen Klassifikationsschema der Achse 5 angeführt sind, muß überprüft sein, inwieweit eine schulische Förderung des Kindes erfolgt ist (spezielle Stützkurse seitens der Schule, Hausaufgabenhilfe, wesentliche Fehlzeiten usw.). Hilfreich ist eine Aussage darüber, aus welchen Gründen die familiären und innerschulischen Bemühungen nicht ausgereicht haben. Es ist zu verdeutlichen, daß eine außerschulische und außerfamiliäre Behandlung (z.B. „Legasthenietherapie“, „Rechentherapie“) erforderlich und geeignet ist, um die genannten Störungen und damit die (drohende) seelische Behinderung wirksam zu mildern und die soziale und schulische bzw. berufliche Eingliederung zu stützen.1.6 Angaben zur „Globalbeurteilung der psychosozialen Anpassung“ (Achse 6):Das Gutachten muß dazu Stellung nehmen, inwieweit die psychosoziale Anpassung des Kindes bzw. Jugendlichen zum Begutachtungszeitpunkt beeinträchtigt ist. |
Achte Sitzung (1.12.): Evaluation von Sprachförderangeboten im Elementarbereich
In der bildungspolitischen Diskussion wird zurecht immer deutlicher auf die Bedeutung von Sprachförderung in Kindertagesstätten hingewiesen. Zum Entsetzen von vielen Protagonisten der Elementarpädagogik wird die Forderung erhoben, dass Erzieher*innen diagnostisch arbeiten sollen. Und sie sollen gezielte Angebote für die Kinder bereit stellen, die in der Sprachentwicklung Probleme zeigen.
Das ist meines Erachtens eine vernünftige Idee. Denn wesentliche Voraussetzungen für das Lesen und Schreiben werden in den Jahren vor der Einschulung gebildet (Wortschatz, Phonologische Bewusstheit usw.).
Nun gibt es erste Evaluationsstudien, die sich mit Sprachförderangeboten auseinandersetzen. Eine dieser Angebote untersucht die alltagsintegrierte Förderung. und alltagsintegriert arbeiten viele Erzieher*innen wirklich gerne.
Wie immer ist es hilfreich, sich ein wenig in dem Metier auszukennen, in der Evaluationsstudien durchgeführt werden. Und das heißt hier: Man sollte wissen, wie Kinder lesen und schreiben lernen.
Wie monolinguale Kinder lesen und schreiben lernen.
Nun sind nicht alle Kinder monolingual. Entsprechend stehen in einem zweiten Schritt die Auswirkungen von Bilingualität im Mittelpunkt der Veranstaltung. Bilinguale Kinder haben ziemlich häufig Probleme im Lesen und Schreiben. Und es gibt auch einige Studien, die statistisch nicht sehr informierte Zeitgenossen*innen glauben lassen, dass Bilingualität negative Auswirkungen auf die Lese-/Schreibentwicklung hat. Aber ganz so einfach ist es nicht. Denn die Abiturwahrscheinlichkeit und auch die Förderschulwahrscheinlichkeit von bilingualen Schüler*innen unterscheidet sich ganz beträchtlich je nach Nationalität. Und es sind nicht sprachliche Variablen, also sagen wir Ähnlichkeiten zwischen der ersten Sprache (L1) und der zweiten Sprache (L2), sondern es sind klar soziale Variablen, die diese Unterschiede erklären.
Neunte Sitzung (8.12.)
Nachdem nun einigermaßen klar ist, wie die Literacyentwicklung bei monolingualen und bilingualen Kindern verläuft, ist es möglich, sich ein Urteil über die bewegungsorientierte Sprachbildung zu erlauben:
Madeira Firmino, Nadine: Bewegungsorientierte Sprachbildung in der frühen Kindheit. Eine empirische Studie zur bewegungsorientierten Sprachbildung im Krippenalltag unter Berücksichtigung familiärer Einbindung. Bad Heilbrunn : Klinkhardt 2015).
Sie finden diese Studie, wenn Sie Autorin und Titel in ihre Suchmaschine eingeben und dann den Links nach pedocs folgen. Ihre Aufgabe: Stellen Sie bitte fest, ob die Evaluationsbefunde dafür sprechen, in Kindertagesstätten mit der bewegungsorientierten Sprachbildung zu arbeiten.
Sollte noch ausreichend Zeit sein, befasst sich das Seminar mit der Evaluation der. Bochumer Familienklassenprojekte.
10. Sitzung (15.12.) Evaluation in der Hochschule
In der 10. Sitzung geht es um einen Bereich, den die meisten Studierenden genau zu kennen glauben: der pädagogischen Arbeit in der Hochschule. Die Seminarsitzung verläuft in drei Schritten: In einem ersten Schritt werden die Teilnehmenden gebeten, ein Evaluationskonzept für die EvH zu entwerfen. Ein zweiter Schritt konfrontiert dies mit dem Stand der Forschung (Tab 61 ff der Forschungsmethodenmaterialsammling). In einem dritten Schritt werfen wir einen Blick auf die Evaluationswirklichkeit dieser Hochschule.
Lehrveranstaltungsbewertung Teil 1
Lehrveranstaltungsbewertung Teil 2
Lehrveranstaltungsbewertung Teil 3
Elfte und zwölfte Sitzung (22.12., 5.1., Online Sitzung)
Das Seminar hat entschieden, dass die 11. Sitzung als asynchrone Online-Sitzung stattfinden soll. Dies bedeutet in diesem Fall: Jede der Projektarbeitsgruppen kann in der Zeit bis zum 7.1. eine Zoom-Sprechstunde vereinbaren, um noch einmal abschließend über die modulabschließende Prüfung zu reden.