Researcher Bias
Als Antwort auf diesen Artikel und der hier formulierten Frage.

Ich würde dieser Vermutung grosso modo zustimmen (aber selbstverständlich sind die Naturwissenschaften davon nicht ausgenommen, das Problem ist überall zu finden). Allerdings ist das ein weites Feld, sehr komplex und viel ist davon abhängig, was da Soziologen oder Psychologen zu untersuchen vorgeben.

Voreingenommenheit besteht immer, keiner kann aus seiner Haut. Sich der Tatsache bewusst zu werden, dass eine völlig vorurteilsfreie Forschung bestenfalls ein ideales Ziel darstellen kann, in realiter aber nicht erreicht werden kann (wie etwa Gewissheit), scheint Grundvoraussetzung für ein gediegenes Arbeiten zu sein. Für die Sozialwissenschaften (als exakte Wissenschaften) ist die Lage einfach ungleich komplizierter: Das Datenmaterial ist mit sehr viel mehr Unwägbarkeiten behaftet als in den Naturwissenschaften und häufig spielen Werte (nicht nur die des Forschers selbst, sondern auch im Sinne des Forschungsgegenstandes) eine wesentliche Rolle, Werte, die allerdings selbst nicht Ergebnis empirischer Forschung sind, auch nicht sein können. Die Empirie ist in den SoWi Mittel zum Zweck: Das Ziel selbst aber ist dezisionistisch - wie auch schon die Wahl des Forschungsgegenstandes eine subjektive Angelegenheit ist (auch das ähnlich wie in den NaWi, obschon dem hier wiederum eine geringere Rolle zukommen dürfte).

D. h., dass die SoWi sowohl mit größeren methodologischen Schwierigkeiten konfrontiert sind (der Versuch, diese Methodologie 1 : 1 von den NaWi zu übernehmen, unterliegt größeren Einschränkungen) als auch mit einem ungleich stärkeren Einfluss der Werteproblematik. Das Beispiel des Genderns (oder der in Frage stehenden Studie "Reduziert Zuwanderung die öffentliche Unterstützung für Sozialstaatsprogramme?" zeigt das sehr deutlich: Während zu diesen Fragen zumeist jeder eine bestimmte, mehr-weniger gut begründete Einstellung vorweist, sind Prioritäten in der Physik zwar auch spürbar, aber sehr viel leichter von der Person des Forschenden zu trennen (siehe gestriges past-puzzle: Das Higgs-Teilchen zu finden (oder nicht zu finden) ist von der Forschungsseite her wahrscheinlich eher mit Einsteins Ausspruch bezüglich der Relativitätstheorie zu vergleichen, der meinte, dass diese Theorie so hübsch und einleuchtend sei, dass es einfach bedauerlich wäre, würde sie sich als falsch herausstellen).

Hingegen impliziert die erwähnte Studie gänzlich andere Überlegungen: Wenn die Zuwanderung eine öffentliche Unterstützung der Sozialprogramme untergraben würde - sollte man dann versuchen

- diesen Effekt zu verhindern,
- die Zuwanderung einzuschränken
- den Grund für diese Meinung (ob ja oder nein) auszuloten, ihn zu evaluieren und gegebenfalls eine Änderung herbeiführen

usf. ad infinitum.

An dem beschriebenen Studienergebnis sieht man, dass sich Zwecke und Ziele nicht wirklich gut von der empirischen Datenlage bzw. besser: Von deren Interpretation trennen lassen. Theoretisch sollte das so sein, man sollte versuchen ein rein datenbasiertes Ergebnis zu präsentieren. Tatsächlich aber werden mit solchen Studien Zwecke verfolgt und daher meist schon Maßnahmen empfohlen, diese Zwecke zu erreichen (dies sollte man vermeiden, wenn den Forschern an Objektivität gelegen ist).

Und ich sehe (sah) oft eine grundsätzliche Schwierigkeit, die im Bereich der verwendeten stochastischen Methoden liegt: Auch wenn es etwa im Bereich der Psychologie großartige Wissenschaftler wie Volker Gadenne gab, die sich sehr viele Gedanken über die Validität von Ergebnissen, Auswertungen, Datensätzen machten, haben nicht wenige Sozialwissenschaftler eine etwas gespannte Beziehung zur Mathematik im allgemeinen. Das bewegt sich von einer blinden Zahlengläubigkeit (es gibt da Korrelationskoeffizientenhörige) bis zu selbstgefälliger Ignoranz (ich bin Geisteswissenschaftler und habe die Wahrscheinlichkeitstheorie schon in der Unterstufe gehasst, damit will ich mich nicht mehr auseinandersetzen).

Das prinzipielle Problem der "Researcher Bias" lässt sich wahrscheinlich am besten mit so etwas wie "moralischer Integrität" lösen: Sich des eigenen Wertkanons bewusst sein und aufgrund dessen alles Menschenmögliche versuchen, sich so vorurteilsfrei wie irgend möglich mit dem Zahlenmaterial auseinanderzusetzen. Das kann zu Resultaten führen, die dem/der Betreffenden unangenehm sind: Weshalb es umso wichtiger ist, sich an Max Webers Trennung von Zielen und den Mitteln zur Zweckerreichung zu erinnern. Wenn man bei der vorliegenden Studie zum Ergebnis käme, dass die Zuwanderung auf die Unterstützung der Sozialstaatprogramme einen enorm negativen Effekt habe, so ist dies als Ergebnis schlicht zur Kenntnis zu nehmen. Ob ich dem dann entgegenwirke - und auf welche Weise (Zuwanderungsstop, Integrationsprogramme, mehr Unterstützung) ist keine sozialwissenschaftliche Frage, sondern eine politische Entscheidung. Erst der Weg zu diesem dann erkorenen Ziel unterliegt wieder einer wissenschaftlich-rationalen Herangehensweise (wie erreiche ich das vorgegebene Ziel mit den bestmöglichen Mitteln), selbst wenn ich mit dem ins Auge gefassten Ziel nicht einverstanden bin (wahrscheinlich würde man sich dann einer solchen Aufgabe ohnehin zu entziehen versuchen).

Leider werden aber diese Dinge heute (wie früher auch) auf unzulässige Weise vermischt, weshalb es dann noch leichter zu solch kuriosen Ergebnissen kommt wie im Artikel beschrieben. Die Analyse der Daten sollte möglichst wertfrei sein, was dann mit dem Ergebnis geschieht, ist im Grunde nicht Sache der Wissenschaft.

Das heißt natürlich nicht, dass sich der/die Wissenschaftler/in nicht einem Auftrag entziehen sollte, der mit seiner/ihrer ethisch-moralischen Haltung im Widerspruch steht. Aber Daten aus persönlichen Gründen auf eine Weise auszulegen, die dem Material nicht entsprechen, ist trotzdem kontraproduktiv: Man sollte sie zur Kenntnis nehmen und darauf dringen, ein Ziel zu formulieren, mit dem man menschlich im Einklang steht. Dabei hilft nur ein Bemühen um Objektivität, nicht aber eine Manipulation der Daten (auch wenn deren Auswertung zu noch so unangenehmen Schlüssen führen sollte). Sonst wird man irgendwann von der eigenen Lüge eingeholt (so ähnlich wie der Marlboro-Man, der dann irgendwann an Lungenkrebs gestorben ist).