Richtig recherchieren

Ist nicht kompliziert: Google & co meiden, Fachdatenbanken nutzen, Standort der Bücher & Zeitschriften lokalisieren, ausleihen & lesen. Man sollte wissen, wie man herausfindet, ob es sich um wichtige Zeitschriften bzw. Verlage handelt. Man braucht einige Methodenkenntnisse, um die Aussagekraft wissenschaftlicher Studien bewerten zu können. Hilfreich sind vielleicht auch Kenntnisse darüber, was in Veröffentlichungen wo steht, damit man nicht alles von vorn bis hinten lesen muss. Aber das war´s dann auch. Die Veranstaltung führt ein in die Datenbankrecherche. 

Diese Veranstaltung richtet sich an Studierende der Sozialen Arbeit im Modul 1.1 des ersten Semesters.

Erste Sitzung

In den ersten beiden Sitzungen stelle ich mich und die Veranstaltungsplanung vor. Sie erfahren von mir, welche Standards gelten, wenn Sie sich für eine modulabschließende Prüfung bei mir entscheiden wollen. Und dann geht es gleich zur Sache: Ich erkläre, wie man eine Fragestellung entwickelt. Und dann unternehmen Sie erste Schritte in diese Richtung, wenn Sie wollen könnten Sie sogar versuchen eine Fragestellung zu entwickeln, die Sie im Rahmen einer späteren Hausarbeit untersuchen wollen.

Es gibt verschiedene Wege eine Hausarbeit zu schreiben. Sie können z. B. eine Hausarbeit schreiben, die herausfinden will, welche Angebote eine/r Ihrer Adressat*innen braucht, um erste Schritte zu tun, ein wichtiges Problem anzugehen (diagnostische Hausarbeit). Sie können auch eine klassische Hausarbeit schreiben. Wichtig ist hier erstens, dass Sie auf irgendeine Art und Weise nicht nur zusammentragen, was andere geschrieben haben, sondern auch analysieren und interpretieren. Dies kann man normalerweise tun, indem man in irgendeiner Weise einen Vergleich einbaut (z. B. Vergleich von Methoden, Vergleich von Ländern, Vergleich von Epochen).

Zweite Sitzung

Die zweite Sitzung befasst sich damit, welche Probleme entstehen, wenn man versucht Hausarbeiten mit KI zu schreiben, wenn man googelt oder wenn man eine Katalogrecherche mit einer Fachdatenbankrecherche verwechselt. Damit dies anschaulich wird, werden die Teilnehmer*innen gebeten, auf eigenen Geräten eine schlechte Recherche durchzuführen. Sie sollen z. B. die KI verwenden, die sie immer verwenden. Man kann sich KI als Maschine vorstellen, die ohne Sinnentnahme auf Basis statistischer Zusammenhänge frei zugängliche Internetquellen Texte zusammenstellt – und zwar ohne Trainings-Quellen anzugeben. Der Einsatz von KI führt also zu massiven Problemen. Denn der Bullshitanteil von frei verfügbaren Texten im Internet ist beträchtlich. Zweiter Schwerpunkt: Sie sollen sich die Befunde zusammengoogeln. Wie Sie vermutlich alle wissen, zeigt Google ja nicht an, was zu Ihrem Thema veröffentlicht ist. Sondern Google entwirft auf Basis Ihrer Suchgeschichte und Ihrer Käufe im Internet Hypothesen darüber, was Sie interessieren könnte und zeigt Ihnen dann nur noch passende Treffer an. Diese Personalisierung führt zu vielfältigen Problemen, u.a. auch dazu, dass Sie ggf. nicht erkennen, dass Fragen kontrovers diskutiert werden oder dass Sie sich nur einseitig informieren.

Hier ein Podcast aus einer Veranstaltung der letzten Semester zum Thema „Falsch Recherchieren“:

Die Aufgabe zu Beginn der zweiten Sitzung des Seminars lautete: Bitte versuchen mit den von ihnen genutzten Werkzeugen herauszufinden, ob Kinder mit Lernbehinderungen eher von den Angeboten von Inklusionsschulen oder von Förderschulen profitieren.

Die vorgetragenen KI Antworten enthielten derart schwerwiegende Fehler, dass die jeweiligen Empfehlungen nicht verwendet werden dürfen. 

1. Erstes Problem: Die vorgetragenen KI Antworten argumentierten damit, dass in Förderschulklassen mehr Personal zur Verfügung stehe, weil die Klassen deutlich kleiner sind. Die personelle Ausstattung in den tatsächlich größeren inklusiven Klassen muss aber in der Inklusion keineswegs schlechter ausfallen. Denn für Kinder mit Behinderung in der inklusiven Förderung wird zusätzliches Personal eingesetzt – übrigens auch Förderschullehrer*innen. Entscheidend ist also nicht, ob die Klassen in Förderschulen kleiner sind, sondern entscheidend ist, wie viele Lehrerstunden bzw. auch Inklusionsassistent*innenstunden pro Schüler mit Behinderung zur Verfügung stehen. Dies wurde von der KI nicht untersucht.
2. Zweites Problem: Als Argument gegen Förderschulen wurde in den vorgestellten KI Antworten u.a. auch auf Stigmatisierungseffekte von Förderschulen verwiesen. Stigmatisierungen sind aber auch Inklusionsschüler in Inklusionsschulen ausgesetzt. Es gibt sogar Stimmen unter Förderschulbefürworter*innen, die darauf hinweisen, dass ein Wechsel zur Förderschule i.d.R. dazu führt, dass Stigmatisierungs- und Mobbingerfahrungen nach dem Wechsel deutlich abnehmen. Also z. B. so: In der Regelschüler sind Kinder mit Lernbehinderungen oft die Dummen, die Gestörten, die Außenseiter. Und in der Förderschule fallen sie kaum noch auf. 
3. Drittes Problem: Die vorgetragenen KI Antworten berücksichtigen nicht angemessen, dass Lernbehinderung (mit wenigen Ausnahmen) eine eher deutsche Behinderung ist. Das Label „Lernbehinderung“ ist z. B. in englischsprachigen Ländern weitgehend unbekannt. Vermeintliche Synoyme wie Learning Disability meinen andere Störungsbilder (hier: Schulleistungsprobleme bei normaler Intelligenz). Allgemeine Leistungsminderung trifft es auch nicht ganz. Denn hier werden Schüler einbezogen, die Schulleistungsprobleme entwickeln, aber eben nicht zwingend eine unterdurchschnittliche Intelligenz haben. Eigentlich stammt dieses Konzept aus der Legastheniedebatte (allgemeine Leistungsminderung als Ausschlusskriterium für spezifische Leistungsminderung, also z. B. Legasthenie). Das Label Lernbehinderung bezieht sich dagegen traditionell auf Kinder mit schwerwiegenden, umfänglichen und lang andauernden Schulleistungsproblemen in einem IQ Spektrum von 85 bis 70, also keineswegs auf alle Kinder mit allgemeinen Leistungsminderungen. Studien, die sich auf diese anderen, nur vermeintlich identischen Schülergruppen beziehen, erlauben also keine Aussagen für die hier untersuchte Frage und müssen entsprechend in der geforderten Forschungsübersicht aussortiert werden. 
4. Viertes Problem: Die Antworten der KI berücksichtigen nicht, dass sich Förderschüler*innen mit  Lernbehinderung nachweislich hoch signifikant von Inklusionsschüler*innen mit Lernbehinderungen unterscheiden (z. B. Kuhl & Kocaj, 2015). Leistungsfähige Schüler*innen mit Lernbehinderungen sind eher in Inklusionsschulen zu finden – leistungsschwache Schüler*innen dagegen eher in Förderschulen. Wer diesen Punkt übersieht, überschätzt also die (ohnehin nur schwach positiven) Effekte inklusiver Schulen deutlich. Dieser Befund heißt letztlich, dass in Forschungsübersichten zu den Effekten inklusiver Förderung von Schüler*innen mit Lernbehinderungen nur Studien eingehen dürfen, die diesen systematischen Unterschied kontrollieren. Solche Studien wurden bislang aber kaum vorgelegt.  

Die korrekte Antwort auf die aufgeworfene Frage lautet also, dass die vorgelegte Forschung bei weitem nicht ausreicht, um eine auch nur vage Empfehlung für inklusive Schulen oder Förderschulen für Kinder und Jugendliche mit Lernbehinderungen auszusprechen. Würden mich betroffene Eltern fragen, was ich persönlich empfehle, würde ich antworten: Schauen Sie sich die Schulen vor Ort an, und entscheiden dann, wo ihr Kind besser aufgehoben ist.

Wie kann man die beschriebenen KI Fehler interpretieren? Viele Studierende interpretieren KI Antworten so, als würde eine genaue, möglicherweise sogar wertfreie Analyse des Forschungsstand vorgelegt. Tatsächlich greifen die Sprachmodelle aber nur Positionen auf, die sie im Internet finden und formulieren auf Basis von Wahrscheinlichkeitsberechnungen eine Antwort auf aufgeworfene Fragen – und zwar ohne tieferes Verständnis der Probleme.

Wenn die KI z. B. auf unterschiedliche Klassenfrequenzen in Regel- und Förderschulen verweist, dann passiert dies, weil dieses Argument in der Inklusionsdebatte eine Rolle spielt und die tatsächlich entscheidenden Schüler-Lehrer-Relationen offenbar von den weniger informierten Diskussionsteilnehmer*innen häufig übersehen werden. 

Wenn die KI auf Stigmatisierungseffekte von Förderschulen verweist und Stigmatisierung und Mobbing in Inklusionsschulen übersieht, dann tut sie dies, weil Inklusionsbefürworter gerne auf die stigmatisierenden Auswirkungen von Förderschulen verweisen und Stigmatisierung und Mobbing in Inklusionsschulen übersehen.

Wenn Lernbehinderungen mit vermeintlichen Synonymen verwechselt werden, dann passiert dies, weil menschlichen und nicht menschlichen Internetnutzer*innen (also auch Bots und Agenten) offenbar häufig diese Fehler unterlaufen. 

Und wenn die KI die beträchtlichen Unterschiede zwischen lernbehinderten Kindern und Jugendlichen in der Inklusion und in Förderschulen nicht erkennt, dann passiert dies, weil viele der publizierte Studien eben diese Unterschiede entweder naiv oder sogar gezielt übersehen.

Fazit: Die derzeitigen Sprachmodelle sind ganz offensichtlich nicht in der Lage, den Stand der wissenschaftlicher Diskussion zu verstehen oder angemessen zu bewerten – insbesondere dann, wenn sich die Verhältnisse als keineswegs eindeutig erweisen. Sie erstellen auch keine objektive oder neutrale Forschungsübersicht, sondern wiederholen das, was sie so finden, also auch Fehlinterpretationen und Positionen aus Fakestudien – und zwar auf Basis von Wahrscheinlichkeiten. Das Problem: Die meisten KI Nutzenden kennen den Stand der Forschung nicht und wissen auch nicht, welche Argumente bei der Bewertung empirischer Studien wirklich zählen. Man sollte also zum gegenwärtigen Zeitpunkt KI auf keinen Fall einsetzen, um den Stand der Forschung zu ermitteln. 

Dritte Sitzung: Fachdatenbanken

Ein guter Weg, einen nicht personalisierten, Bibliothek- und Verlagsübergreifenden Überblick über die Theorieproduktion und Forschung zu erhalten, ist die Fachdatenbankrecherche. Fachdatenbanken sind Organisationen, die einen erheblichen Anteil der wissenschaftlichen Veröffentlichungen auswerten. Dabei nutzen sie häufig die Abstracts (kurze Zusammenfassungen), die Autor*innen schreiben, um auf ihren Beitrag hinzuweisen. Manche Datenbanken bieten viele Volltexte an, manche nur wenig (z.B. viele deutschsprachige Datenbanken). In letzteren muss man manchmal nachdenken, warum einige Veröffentlichungen frei verfügbar sind. Ein Grund hierfür kann sein, dass die Auftraggeber (z. B. Ministerien, Vereine usw.) eine bestimmte Perspektive auf das Thema stärken möchten. Ein Verzicht auf nicht frei verfügbare Beiträge ist nur ausnahmsweise ok (z. B. wenn ein sehr hoher Anteil der Beiträge frei verfügbar ist). Denn die wichtigsten Fachzeitschriften können sich es erlauben, (aktuelle) Beiträge gegen Bezahlung anzubieten. In diesem Fall muss man den Bibliotheken der Region suchen, die die gesuchten Beiträge ohne Bezahlung für Leser*innen zur Verfügung stellen.

Grundsätzlich ist die Bedeutung einer Fachdatenbank davon abhängig, wie leicht es für Autor*innen ist, ihre Beiträge dort unterzubringen. Je schwerer der Zugang, desto besser sind normalerweise die Datenbanken.

In der sozialen Arbeit und in behindertenpädagogischen Disziplinen sind normalerweise drei Datenbanken besonders wichtig: Pubmed.ncbi, Psyndex de und FIS-Bildung de. In FIS Bildung können Autor*innen ihre Beiträge selbst hochladen. Dies bedeutet: Hier sind vergleichsweise viele Fakestudien und eher minderwertige Veröffentlichungen zu finden. Es gibt auch parteiische Fachdatenbanken. In der Volltextdatenbank bidok finden Sie z. B. vor allem Beiträge von Inklusionsbefürworter*innen. Das kann interessant sein, aber Sie sollten auch danach schauen, welche Befunde in Studien von Inklusionsskeptiker*innen zu finden sind.

Fachdatenbanken

Vierte Sitzung

In der vierten Sitzung steht die Bewertung der Treffer aus der Datenbankrecherche auf dem Programm. Denn man muss sich gut überlegen, welche Treffer man beschaffen will, und welche eher nicht. Dabei gibt es zulässige und nicht zulässige Strategien. Und es bestehen nicht ganz unerhebliche Gefahren, auf Veröffentlichungen aus Predatory Journals hereinzufallen oder Kongressberichte in die Literaturliste aufzunehmen, die aus Kongressen stammen, die problematische Veranstalter haben. Bei Zeitschriften und Büchern ist es sinnvoll, auch die Verlage zu prüfen. Haben die Verlage ein einschlägiges Programm? Handelt es sich um Verlage, die gegen Geld alles drucken? Natürlich muss man dabei damit rechnen, dass derlei Verlage ihre Homepage so gestalten, als sei alles normal. Die Behauptung, man praktiziere ein Peer-Review-Verfahren, lässt sich ziemlich einfach publizieren. Überprüfen kann man das aber nicht so ohne weiteres.

Hier nun ein passender Podcast aus dem letzten Semester:

Fünfte Sitzung

Viele Datenbanktreffer sind nicht frei verfügbar. Also ist es sinnvoll, Zeitschriftenbeiträge oder Bücher in den Bibliotheken der Region auszuleihen. Auch hier ist ein bibliotheksübergreifendes Vorgehen sinnvoll. Denn , dass eine Bibliothek wirklich alle benötigten Zeitschriften oder Bücher hat, ist doch ziemlich unwahrscheinlich.

Hier der passende Podcast aus dem letzten Semester. Bitte beachten Sie, dass Sie hier beim Nachvollziehen der Recherche zu anderen Ergebnissen kommen können. Denn in den letzten sechs Monaten hat sich durchaus einiges getan. Die Werkzeuge sind aber immer noch dieselben: Bücher findet man mit überregionalen Bibliothekskatalogen. In NRW empfehle ich den HBZ Verbundkatalog. Und Zeitschriften findet man mit der (deutschlandweit arbeitenden) Zeitschriftendatenbank. Und auch das Vorgehen bei der Suche hat sich nicht geändert. Einige Bibliotheken haben sich aber neue Bücher gekauft oder Zeitschriften abbestellt.

Bücher und Zeitschriften in Bibliotheken der Region finden

Sechste Sitzung (16.11., Onlinesitzung)

Die sechste Sitzung findet ausschließlich als asynchrone Online-Sitzung statt. Dies bedeutet: Ich bin während der ursprünglich avisierten Zeiten (Mo 12.30 – 14.00) per Mail zu erreichen. Sie können aber die Aufgabe bearbeiten, wann immer Sie wollen.

Die sechste Sitzung erklärt an einem Beispiel, wie man empirische Studien bewertet. Wichtig ist zunächst die Stichprobe.

Hier ein passender Podcast aus dem vergangenen Semester.

Ihre Aufgabe:

Bitte finden Sie eine frei verfügbare Studie in Fachdatenbanken zu Ihrem Rechercheschwerpunkt, die Sie als Studie mit einer guten Stichprobe einschätzen würden.