Ist nicht kompliziert: Google & co meiden, Fachdatenbanken nutzen, Standort der Bücher & Zeitschriften lokalisieren, ausleihen & lesen. Man sollte wissen, wie man herausfindet, ob es sich um wichtige Zeitschriften bzw. Verlage handelt. Man braucht einige Methodenkenntnisse, um die Aussagekraft wissenschaftlicher Studien bewerten zu können. Hilfreich sind vielleicht auch Kenntnisse darüber, was in Veröffentlichungen wo steht, damit man nicht alles von vorn bis hinten lesen muss. Aber das war´s dann auch. Die Veranstaltung führt ein in die Datenbankrecherche.
Diese Veranstaltung richtet sich an Studierende der Sozialen Arbeit im Modul 1.1 des ersten Semesters.
Erste Sitzung
In den ersten beiden Sitzungen stelle ich mich und die Veranstaltungsplanung vor. Sie erfahren von mir, welche Standards gelten, wenn Sie sich für eine modulabschließende Prüfung bei mir entscheiden wollen. Und dann geht es gleich zur Sache: Ich erkläre, wie man eine Fragestellung entwickelt. Und dann unternehmen Sie erste Schritte in diese Richtung, wenn Sie wollen könnten Sie sogar versuchen eine Fragestellung zu entwickeln, die Sie im Rahmen einer späteren Hausarbeit untersuchen wollen.
Es gibt verschiedene Wege eine Hausarbeit zu schreiben. Sie können z. B. eine Hausarbeit schreiben, die herausfinden will, welche Angebote eine/r Ihrer Adressat*innen braucht, um erste Schritte zu tun, ein wichtiges Problem anzugehen (diagnostische Hausarbeit). Sie können auch eine klassische Hausarbeit schreiben. Wichtig ist hier erstens, dass Sie auf irgendeine Art und Weise nicht nur zusammentragen, was andere geschrieben haben, sondern auch analysieren und interpretieren. Dies kann man normalerweise tun, indem man in irgendeiner Weise einen Vergleich einbaut (z. B. Vergleich von Methoden, Vergleich von Ländern, Vergleich von Epochen).
Zweite Sitzung
Die zweite Sitzung befasst sich damit, welche Probleme entstehen, wenn man googelt oder wenn man eine Katalogrecherche mit einer Fachdatenbankrecherche verwechselt. Damit dies anschaulich wird, werden die Teilnehmer*innen gebeten, auf eigenen Geräten eine schlechte Recherche durchzuführen. Wie Sie vermutlich alle wissen, zeigt Google ja nicht an, was zu Ihrem Thema veröffentlicht ist. Sondern Google entwirft auf Basis Ihrer Suchgeschichte und Ihrer Käufe im Internet Hypothesen darüber, was Sie interessieren könnte und zeigt Ihnen dann nur noch passende Treffer an. Diese Personalisierung führt zu vielfältigen Problemen, u.a. auch dazu, dass Sie ggf. nicht erkennen, dass Fragen kontrovers diskutiert werden oder dass Sie sich nur einseitig informieren.
Um herauszufinden, was alles passieren kann, werden die Teilnehmer*innen gebeten, mit ihren eigenen Endgeräten zum Thema Autismus-Therapie zu recherchieren. Die Auswertung soll erstens die verrücktesten Treffer zusammenstellen. Zweitens wird untersucht, ob es seriöse Treffer gibt und in welcher Hinsicht sich diese vom aktuellen Stand der Forschung unterscheiden.
Hier ein Podcast aus einer Veranstaltung der letzten Semester zum Thema „Falsch Recherchieren“:
Die Probleme von Google sind also: Google Recherchen sind personalisiert und damit nicht nachvollziehbar. Sie stellen nur eine tendenziöse Auswahl zur Verfügung. Und sie schließen seriöse, urheberrechtsgeschützte Seiten aus.
Dritte Sitzung: Fachdatenbankrecherche
Damit ist einigermaßen klar, was man nicht tun sollte in der Recherche: Man soll nicht googeln. Man soll auch nicht den Katalog einer Bibliothek mit einer Fachdatenbankrecherche verwechseln. Richtig ist dagegen, Fachdatenbanken für die Recherche zu nutzen. Denn Fachdatenbanken nennen alle zu den Suchbegriffen aufgeführte Studien. Und man kann zumindest die meisten Datenbanken so einstellen, dass keine Algorithmen aktiv werden. Und es gibt die Möglichkeit Suchbegriffe und Trefferzahlen zu speichern. Wichtig: Content Select ist keine Fachdatenbank, sondern nur das Online-Angebot, das einige Verlage den Bibliotheken gemacht haben. Und auch dies ist sicher weder vollständig noch repräsentativ für den Stand der Forschung.
Fachdatenbanken funktionieren immer auf die gleiche Art und Weise. Sie haben normalerweise mehrere Suchfelder oder Sie können zumindest auf mehrere Suchfelder umstellen. In Pubmed müssten Sie z. B. auf Advanced umstellen und können dann viele Suchbegriffe kombinieren. Normalerweise haben Sie die Option, einen Publikationszeitraum auszuwählen. Wenn es z. B. zu viele Veröffentlichungen gibt, wenn Sie im Zeitraum der letzten 20 Jahre suchen, kann eine Einschränkung auf die letzten drei Jahre wirklich nützlich sein. Einige Fachdatenbanken haben weitergehende Filter. Pubmed bietet z. B. an, ausschließlich Reviews, also Übersichtsarbeiten anzuzeigen. Es gibt eher deutschsprachige Datenbanken (z. B. FIS-Bildung). Und es gibt auch die Option, nur kostenfrei online verfügbare Arbeiten anzuzeigen. Diese Option führt allerdings ziemlich häufig zu Firmen oder Institutionen, die sie von einer besonderen Sicht der Dinge überzeugen wollen, Pharmafirmen, die mit gekauften Studien ihre Produkte vermarkten z. B. oder Ministerien, denen es vor allem darauf ankommt, ihre Politik in einem positiven Licht dastehen zu lassen.
Ihre Aufgabe besteht nun darin, Fachdatenbanken dafür zu nutzen, Literatur zu Ihrem Thema zu beschaffen. Nach Möglichkeit sollten dies frei verfügbare empirische Studien zu Ihrem Thema sein. Und Sie sind dann gebeten, einzuschätzen, was diese Studie taugt. Frei verfügbar sollte diese Studie sein, damit auch die anderen Teilnehmer*innen die Studie ansehen können.
Vierte Sitzung
In der vierten Sitzung geht es darum, wie man die für die Hausarbeit vorgesehene Literatur aus den Datenbanktreffern auswählt. Es ist sehr wichtig, nicht einfach nur ein paar Treffer zu verwenden, die einfach zu beschaffen sind und Ihnen vielleicht inhaltlich gefallen. Sondern die Auswahl sollte so erfolgen, dass sie nachvollziehbar ist. Es gibt dabei gute und schlechte Auswahlkriterien.
Hinzu kommt die inzwischen anspruchsvolle Aufgabe, Fakestudien auszusortieren. Denn ein wachsender Anteil der Literatur ist nicht seriös – teilweise, weil die Autoren dieser Studien gezielt und bezahlt Studienergebnisse fälschen, die ihre Auftraggeber wünschen (dies ist das Geschäftsmodell von Papermills). Oder die Autoren möchten Außenseitermeinungen mit gefälschten Studien den Anschein wissenschaftlicher Befunde geben. Auch der Wunsch nach Anerkennung im Wissenschaftsbetrieb kann Anlass für Fälschungen sein.
Auswahl und Dokumentation der Recherche
| Tab 5: Wunschzettel | ||||
| Autor | Titel | Jahr | Quelle | Bibliotheken |
| | | | ISBN, Herausgeberwerke oder Zeitschriftenname mit ISSN notieren | |
| Tab 2: Vorgehen bei der Literaturrecherche |
| 1. Schritt: Frage entwickeln 2. Schritt: Geeignete Datenbank auswählen (z. B.: FIS-Bildung für Pädagogik/Heilpädagogik, Pubpsych für Psychologie, Pubmed für Medizin, Juris für Recht, Eric für Recherchen im Bereich Pädagogik und Psychologie in den US) 3. Schritt: Mit geeigneten Suchbegriffen suchen 4. Treffer dokumentieren (mit Suchbegriffen & Trefferzahl speichern) 5. geeignete Veröffentlichungen auswählen (gut geeignet für einen ersten Überblick: Handbuchaufsätze, Dissertationen, Überblicksbeiträge=Reviews in Zeitschriften, Metaanalysen / selten geeignet: Kongressberichte, Festschriften) 6. Recherchieren, in welchen Bibliotheken Zeitschriften kopiert werden können oder Bücher entliehen/kopiert werden können 7. Bücher / Aufsätze beschaffen 8. Quellen bewerten (Hinweise auf Eignung bei Büchern: Publikation in seriösen/bekannten Verlag, erfolgreiches Durchlaufen eines Promotionsverfahrens, umfangreiche Verwendung von aktueller Literatur, faire und sachliche Auseinandersetzung mit anderen Meinungen, Zitation durch andere Autoren / Hinweise auf Bedeutung von Zeitschriftenaufsätze: Publikation in Zeitschriften mit Gutachtersystem, Zitation durch andere Autoren) 9. Lesen – Zusammenfassen – in Beziehung setzen: Was sind wichtige Themen im Publikationsgebiet? Was ist strittig? Worüber besteht Konsens? Was ist gut erforscht? Wo bestehen Forschungslücken? 10. Ggf. im Internet ergänzend nach Online-Publikationen mit öffentlichem Auftraggeber, Zahlen von öffentlichen Institituonen (z. B. Statistisches Bundesamt/Landesamt, Ministerien o.ä.) oder in seriösen Online-Datenbanken suchen (z. B.: bidok). Informationen von privaten Homepages, Homepages von Vereinen sind nur selten brauchbar. Lexika sind nur dann geeignet, wenn sie sich explizit an ein wissenschaftliches Publikum wenden. |
Publikationen in Bibliotheken lokalisieren
Viele Datenbanktreffer sind nicht frei verfügbar. Das gilt unerfreulicherweise u. a. auch für die aktuellen Publikationen in wichtigen Zeitschriften. Und deshalb führt Sie Ihre Hausarbeit zwingend in die Bibliotheken der Region – es sei denn Sie wollen einige Zig Dollar pro Aufsatz an Fachverlage bezahlen. Dabei gibt es einige hilfreiche Werkzeuge, mit denen man arbeiten kann: Die zdb (Zeitschriftendatenbank) zeigt bundesweit an, welche Bibliothek welche Zeitschrift abonniert hat. Hier sollte man sich die issn notieren. Der HBZ Katalog zeigt in NRW an, welche Bibliothek welches Buch hat. Im Podcast ist noch die Rede davon, dass Sie den HBZ Katalog bzw. zdb gut über die Seite der UB Dortmund finden können. Die haben ihre Homepage allerdings inzwischen etwas komplizierter umgestaltet. Ich schlage deshalb vor, Sie gehen direkt auf die Seiten : https://nrw.digibib.net/search/hbzvk (HBZ Verbundkatalog) bzw. https://zdb-katalog.de/index.xhtml (Zeitschriftendatenbank)-
Bücher und Zeitschriften lokalisieren
Zweiter Schwerpunkt der Sitzung war die Bewertung von empirischen Studien.
Aufbau wissenschaftlicher Arbeiten und Stichprobenbewertung
Wir haben uns den quantitativen Teil der KviAPol Studie angeschaut (Abdul-Rahma, Grau, Klaus & Singelnstein (2020): Zweiter Zwischenbericht zum Forschungsprojekt „Körperverletzung im Amt durch Polizeibeamt*innen“ (KviAPol). Rassismus und Diskriminierungserfahrungen im Kontext polizeilicher Gewaltausübung. Ergebnis: Die Studie hat ein massives Stichprobenproblem. Offenbar wurden alle möglichen Wege beschritten, Menschen zur Teilnahme zu bewegen: Genannt werden die Verteilung über Gatekeeper und Öffentlichkeitsarbeit. Wer von der Studie gehört hat und irgendwie interessiert war, konnte teilnehmen. Das ist sicher kein Weg zu repräsentativen Zahlen, wie auch die Autor*innen zugestehen. Der Zwischenbericht unterscheidet zwischen Persons of Colour und Weißen. Aber nicht Persons of Colour, sondern vor allem Weiße nehmen an der Studie teil – in erheblichem Umfang wohl Ultras und Punks.
Das zweite Problem teilt die KviAPol-Studie mit vielen Online-Studien. Die Aussagekraft einer Studie bemisst sich u. a. am Rücklauf, also dem Anteil der Menschen, die um eine Teilnahme an der Studie gebeten wurden und auch tatsächlich teilnehmen. In dieser Studie ist vollkommen unklar, wie viele Menschen die Option wahrgenommen haben, an der Studie teilzunehmen und welcher Anteil dieser Menschen sich gegen eine Teilnahme an der Studie entschieden hat. Verlässliche Angaben zum Rücklauf fehlen also. Ich würde tippen: Die Zahlen bewegen sich im Promille-Bereich.
Man kann also bestenfalls festhalten: Es gibt in Deutschland wohl einige Menschen, die sich von der Polizei diskriminiert fühlen, offenbar auch Ultras und Punks. Ob sie tatsächlich diskriminiert wurden, ist unklar. Manche dieser Menschen haben an der Studie teilgenommen. Wie viele das sind und welche Anteile auf eine Anzeige verzichtet haben, weiß niemand, auch nicht die Autor*innen. Und da hilft der Stichprobenumfang, auf den bei der Vermarktung der Studie offenbar mit großer Freude hingewiesen wurde, leider überhaupt nicht weiter.
Hätte man die Studie auch anders durchführen können? Ein Weg zu aussagefähigen Befunden hätte über eine Klumpenstichprobe an Berufsschulen und Schulen mit Oberstufen führen können. Man hätte hierfür lediglich ein Verzeichnis aller betreffenden Schulen erstellen müssen und dann mit Zufallszahlen die Schulen auswählen müssen, die um eine Mitwirkung gebeten wurden. Na klar, das ist eine bestimmte Altersgruppe, die befragt werden würde. Aber es handelt sich ganz klar um eine für die Fragestellung relevante Altersgruppe. Wer so vorgeht, bekommt das, was eigentlich interessant ist: Repräsentative Zahlen zum Thema Diskriminierung und Rassismus in der Polizeiarbeit.
Fünfte Sitzung: Studien bewerten und Standardabweichung
In der fünften Sitzung geht es in einer praktischen Übung zunächst noch einmal darum, empirische Studien zu bewerten. Die Aufgaben: Finden Sie eine gute empirische Studie und finden Sie eine schlechte empirische Studie. Sie werden merken: Das ist gar nicht einfach. Aber keine Angst: Empirische Studien bewerten ist vor allem Übungssache. Das was Sie heute lang beschäftigt, kostet sie bald nur noch wenige Minuten pro Studie.
Je nachdem, wie schnell wir voranschreiten, habe ich auch noch einen zweiten Schwerpunkt. erkläre ich einen wichtigen statistischen Kennwert: die Standardabweichung. Die Standardabweichung muss man verstehen, wenn man sich mit Korrelationskoeffizienten befasst. Und dies steht für die sechste Sitzung auf dem Programm.
Standardabweichung
In der fünften Sitzung habe ich Ihmen auch noch eine Studie von Hans Wocken vorgestellt.
Die Studie Andere Länder – andere Schulen
Die Studie zeigt ziemlich deutlich, dass es einen Zusammenhang zwischen Armut und Förderschulbesuch gibt (Förderschule Lernen). Aber die Studie hat auch Schwächen. Eigentlich handelt es sich um drei Studien (nur eine ist repräsentativ). Und sie ist eine Querschnittsstudie. Und dies hat erhebliche Auswirkungen auf die Interpretation der Zahlen zur IQ Entwicklung.
Sechste Sitzung (Online-Sitzung, 27.5.)
Korrelationen sind ein wichtiger Kennwert für das Verständnis von empirischen Studien. Es geht darum herauszufinden, ob zwei Variablen zusammenhängen – sagen wir z. B. die soziale Herkunft (gemessen durch die Zahl der Bücher im elterlichen Haushalt) und Abiturwahrscheinlichkeit. Aber Vorsicht: Korrelationen verweisen zunächst einmal nur auf statistische Zusammenhänge. Und man kann nicht einfach von statistischen Zusammenhängen auf kausale Zusammenhänge schließen.
Korrelationen
Wie Korrelationskoeffizienten funktionieren
Ein erstes Beispiel für Korrelationsstudien finden Sie auf dieser Homepage. Unter Online-Publikationen habe ich eine kleine Studie veröffentlicht, die ich mit Studierenden dieser Hochschule angefertigt habe, um festzustellen, ob Kinder mit nicht deutscher Staatsbürgerschaft häufiger in Förderschulen NRWs anzufinden sind (Je mehr ausländische Schüler desto mehr Förderschüler).
Das ist nicht das erste Mal, das ich der Frage nachgegangen bin, ob kommunale Daten wie Arbeitslosenquote oder Anteil von Bürgern nicht deutscher Staatsbürgerschaft Auswirkungen auf Förderschulquoten haben. Den Anfang macht eine Studie, die ich 2006 in der Zeitschrift für Heilpädagogik veröffentlich habe (Mand, J.: Integration für die Kinder der Mittelschicht – Förderschulen für die Kinder der Arbeitslosen und Ausländer). Und Anfang des Jahres 2023 lassen sich noch immer solche Zusammenhänge finden.
Bevor Sie aber auf die Idee kommen, dass es hier wirklich allein um Staatsbürgerschaft geht, habe ich hier für Sie noch eine Tabelle, die ich für eine Fortbildung in Gelsenkirchen im Mai 2024 berechnet habe. Kinder mit nicht deutscher Staatsbürgerschaft schneiden sehr unterschiedlich in Schulen NRWs ab. Am schlechtesten der hier untersuchten Nationen schneiden Kinder mit serbischer Staatsbürgerschaft ab. Besser als die Kinder mit deutscher Staatsbürgerschaft sind die Schüler mit vietnamesischer Staatsbürgerschaft. Staatsbürgerschaft steht also für irgend etwas anderes.
Was ist Ihre Aufgabe? Bitte versuchen Sie, Erklärungsmodelle für den oben beschriebenen Befund zu finden. Es gibt offenbar einen Zusammenhang zwischen Anteil von Menschen mit nicht deutscher Staatsbürgerschaft, Arbeitslosenquote und Anteile von Förderschülern an allen Schülern. Aber gleichzeitig gibt es Hinweise darauf, dass einige Migrantengruppen besser abschneiden als Kinder mit deutscher Staatsbürgerschaft. Bitte lassen Sie mir Ihre Erklärung per E-Mail zukommen.
Achte Sitzung
Ein gewichtiges Problem bei den Korrelationen besteht ja darin, dass man nicht wissen kann, ob ein kausaler Zusammenhang besteht oder nur eine indirekte Korrelation bzw. Scheinkorrelation. Man weiß also nicht, ob die gefundenen Zusammenhänge kausal sind oder (was ziemlich häufig vorkommt) irgendwie anders zustande kommen. Der Nachweis von Kausalbeziehungen ist aufwendig. Aber ich will doch zeigen, wie das geht – einfach deshalb, damit Sie nicht auf Studien hereinfallen, die aus korrelativen Beziehungen direkt auf kausale Beziehungen schließen. Hierzu benötigen wir mindestens einen weiteren Kennwert: die Effektstärke (oder auch Effektgröße bzw. Cohen´s d). Ist nicht kompliziert zu berechnen. Man subtrahiert den Mittelwert der Kontrollgruppe von dem Mittelwert der Versuchsgruppe und dividiert durch die Standardabweichung der Kontrollgruppe. Werte ab 0.3 bzw. ab -0,3 verweisen auf einen schwachen Effekt. Werte ab 0.5 bzw. – 0.5 verweisen auf einen moderaten Effekt. Werte ab 0.8 bzw. – 0.8 verweisen auf einen starken Effekt.
Cohen´s d
Interessant wird Cohen´s d deshalb, weil man ihn einfach auch dann berechnen kann, wenn die Autor*innen einer Studie dies nicht tun. Cohen´s d wird so zu einem wichtigen Werkzeug von Metanalysen, also Zusammenfassungs des Forschungsstands unter Berücksichtigung aller Studien, die bestimmten Auswahlkriterien genügen.
Neunte Sitzung (Online-Sitzung 10.6.)
Die 9. Sitzung befasst sich mit dem Nachweis von kausalen Beziehungen. In den vorangehenden Sitzungen haben wir ja festgestellt, dass Korrelationen nur manchmal auf kausale Beziehungen hinweisen. Das ist ein Problem, das bereits zu einigen Fehlschlüssen in der Geschichte der Sozialen Arbeit und einigen Nachbardisziplinen geführt hat. Dass die soziale Herkunft oder besser noch die Klassenzugehörigkeit eine zentrale Ursache für Probleme in der Schule sind, gilt vielen Zeitgenossen als ausgemachte Sache. Das Problem bei der Angelegenheit: Nicht alle Unterschichtskinder haben Probleme in der Schule. Sondern Unterschichtskinder findet man lediglich etwas häufiger in den Förderschulen. Sie haben etwas häufiger keinen Schulabschluss. Sie haben etwas weniger häufig Abitur und sie studieren weniger häufig als – sagen wir – Kinder der Mittelschicht. Sieht also zumindest nicht nach einer monokausalen Beziehung aus.
Grundsätzlich braucht man nämlich mehr als korrelative Beziehungen. Man muss in der Lage sein, eine Vorhersage zu machen, also z. B. vor der Schule angeben können, welche Kinder ein Abitur machen und welche nicht. Und diese Vorhersage muss man quantifizieren können, also angeben, wie gut die die Vorhersage ist. Und man muss einen Effekt beschreiben können, also nachweisen können, was passiert, wenn sich die Schichtzugehörigkeit ändert (gesellschaftlicher Aufstieg oder Abstieg).
Nachweis von kausalen Beziehungen
Das Seminar hat sich ja schon einige Male mit den Auswirkungen von Armut befasst. Es ist deshalb sinnvoll, auch die Aufgabe aus diesem Bereich zu wählen.
Ihre Aufgabe ist, in den Datenbanken FIS-Bildung oder Pubpsych de nach Studien zu suchen, die versuchen, eine Vorhersage von Schulerfolg auf Basis der Schichtzugehörigkeit von Vorschulkindern zu machen. Interessant sind auch Studien, die der Frage nachgehen, welche Kinder aus der Unterschicht in Sachen Schulabschluss besser abschneiden als ihre Eltern (bzw. normalerweise nimmt man die Mütter).
Wenn Sie mögen, können Sie mir die Ergebnisse Ihrer Bemühungen per Mail zukommen lassen. Nennen Sie einen Nickname, besteht auf Wunsch die Option, Ihre Ergebnisse auch an dieser Stelle hochzuladen.
Zehnte Sitzung
In der zehnten Sitzung möchte ich noch einmal auf die Beziehungen zwischen Schulleistungen und Bildungserfolg zurückkommen. Es ist nicht besonders schwierig, Studien zu finden, die feststellen, dass Kinder mit Migrationsgeschichte häufig schlechte Schulleistungen zeigen. Die Probleme: Die meisten Studien sind Querschnittstudien. Das Merkmal Migrationsgeschichte ist ziemlich diffus und inzwischen weit verbreitet. Und viele Zeitgenossen verwechseln korrelative mit kausalen Zusammenhängen.
Heraus kommt meisten so ein Bild:
aus Mand 2012
Ein kurzer Blick auf die Schulstatistik zeigt aber, dass keineswegs alle Kinder mit Migrationsgeschichte schlecht abschneiden. Kinder mit vietnamesischer Staatsbürgerschaft sind sogar erfolgreicher im deutschen Schulssystem als Schüler mit deutscher Staatsbürgerschaft (s.o.).
Eine der wenigen Studien, die die Auswirkungen von Migration differenziert betrachten findet sich bei Nauck, Bernhard; Diefenbach, Heike; Petri, Kornelia (1998). Intergenerationale Transmission von kulturellem Kapital unter Migrationsbedingungen. Zum Bildungserfolg von Kindern und Jugendlichen aus Migrantenfamilien in Deutschland. Sie können diese Studie bei Pedocs kostenfrei herunterladen.
Zeitschrift für Pädagogik 44 (1998) 5, S. 701-722
Nauck et al
Was also führt zum schlechten Abschneiden von Kindern mit Migrationsgeschichte in deutschen Schulen?
11., 12. und 13. Sitzung
In den letzten Sitzungen des Seminars stelle ich einige Studien vor und spreche mit Ihnen bei Bedarf über die Hausarbeit.