Eine Kernthese der Open Data – Bewegung klingt einleuchtend: Forscher müssten nur all ihre Daten offenlegen, dann könne jeder Leser ihrer Arbeiten die Experimente in allen Details nachvollziehen. Klingt logisch, aber in die Auswertung mancher biologischer Experimente fließen nicht nur quantitative Beobachtungen ein. Erfahrung und Urteilsvermögen, bis hin zum „Bauchgefühl“, spielen in der Biologie vielleicht eine größere Rolle, als man gemeinhin denkt und für wünschenswert hält.
Ein aktuelles Beispiel: Oldenburger Ornithologen berichteten in Nature erstaunliche Resultate über den Einfluss elektromagnetischer Felder auf die Orientierungsfähigkeit von Zugvögeln. Elektromagnetische Strahlung stört dieser Studie zufolge die Orientierung von Rotkehlchen. Ein Ergebnis, das die Fachwelt verblüfft.
Orientierungslose Rotkehlchen
Um die Himmelsrichtung zu bestimmen, in der ein Vogel wegziehen will, wird der zugbereite Vogel in einen sogenannten Emlen-Trichter gesetzt. Dieser spezielle Käfig ist rundherum mit einem beschichteten Papier ausgekleidet. Jedes Mal, wenn der Vogel (vergeblich) versucht davonzufliegen, hinterlassen seine Krallen Kratzspuren auf dem Papier. An der Lage und Anzahl der Kratzer auf dem Registrierpapier erkennt der Vogelforscher, in welche Himmelsrichtung das Rotkehlchen davongeflattert wäre, wenn es denn freie Bahn gehabt hätte.
Die Daten von Engels et al. zeigen, dass die Oldenburger Versuchs-Rotkehlchen in einem mit Aluminiumplatten abgeschirmten und geerdeten Käfig eine bevorzugte Zugrichtung haben. In einem normalen Käfig, oder wenn der Experimentator die Erdung der Abschirmung enfternt, zeigen die Kratzer auf dem Registrierpapier dagegen keine Häufung in einer bestimmten Richtung. Schlussfolgerung: Das elektromagnetische Feld an der Uni Oldenburg stört die Orientierungsfähigkeit der Rotkehlchen.
Das ist sicher noch nicht das letzte Wort in Sachen Menschen-verursachte elektromagnetische Strahlung und Vogelzug, aber das steht auf einem anderen Blatt. Heute will ich nur auf den methodischen Aspekt eingehen, das Auswerten der Daten aus dem Emlen-Trichter also – als exemplarischen Fall für die Rolle des menschlichen Urteilsvermögens in biologischen Experimenten.
Denn ein anonymer Kommentator bei PubPeer wollte, ganz im Geiste der Open Data-Bewegung, die Originaldaten und Auswertungen sehen. Klar: Es sollte doch auch statistisch versierten Nicht-Ornithologen möglich sein, den Prozess der Transformation von Rohdaten in Himmelsrichtungen zu überprüfen, möchte man meinen. Schön wär's, aber die Realität in der Biologie sieht eben anders aus.
Das Auswerten dieser speziellen Daten geschieht nämlich nicht streng quantitativ, sondern „frei Auge“. Vereinfacht gesagt, schaut sich der auswertende Forscher das Papier systematisch an und bestimmt so den Mittelpunkt des Areals mit den meisten Kratzspuren, als Maß für die bevorzugte Zugrichtung. Ornithologen lernen dieses Verfahren während ihrer Ausbildung von erfahrenen Kollegen. Wohlgemerkt: Die Methode scheint recht reproduzierbar zu sein. Wenn mehrere geübte Forscher unabhängig voneinander dasselbe Papier bewerten, kommt meist ein sehr ähnliches Ergebnis heraus. Aber so richtig quantitativ nachvollziehbar ist es eben nicht.
Interessanterweise ist das Problem (falls es denn eines ist) dem Letztautor der Rotkehlchen-Studie, Henrik Mouritsen, durchaus bewusst. Er beschreibt in einer ausführlichen Antwort, wie er zwei Jahre seiner Doktorarbeit mit dem Versuch verbracht hatte, ein automatisiertes Auswerteverfahren zu etablieren, das beispielsweise die Position jedes einzelnen Rotkehlchen-Kratzers im Emlen-Trichter festhält.
Der Mensch, ein Meister der Mustererkennung
Aber so einfach geht das eben nicht: Die Papiere kann man nicht gut einscannen, man erkennt feine Kratzer nach der Digitalisierung nicht mehr. Ausserdem überlappen die Spuren, die Software kommt damit nicht zurecht. Zudem machen die Vögel ihr Geschäft in den Käfigen und verschmutzen das Registrierpapier – „eine Herausforderung für jede Pixel-Analyse-Software“, kommentiert Mouritsen.
Menschliche Mustererkennung, beruhend auf individueller Erfahrung, scheint also überlegen zu sein, zumindest in Mouritsens Erfahrung – mit dem Nachteil, dass es schwer für Nicht-Insider ist, die Validität der Daten unabhängig zu überprüfen.
Trotz des subjektiven Elements können und sollen Forscher Vorsorge treffen, die Auswertung so objektiv wie möglich zu gestalten (was die Oldenburger Forscher auch getan haben). Vor allem das Prinzip der Verblindung ist dabei essentiell. So darf der Auswerter nicht wissen, ob ein Datensatz aus einer Kontroll- oder Versuchsgruppe stammt; sonstige Annahmen über den Datensatz sollen so weit wie möglich ausgeblendet werden, zum Beispiel indem die Positionierung des Papiers im Käfig nicht immer gleich ist. Auch das Vier-Augen-Prinzip sei erwähnt.
Aber das Grundproblem bei solchen Experimenten bleibt bestehen. Nur erfahrene „Insider“ aus der jeweiligen Forschungskultur können die Rohdaten professionell auswerten. Hier bahnt sich vielleicht noch so mancher Konflikt an, denn ein wesentlicher Aspekt der momentan so beliebten „Post Publication Review“-Plattformen ist ja, dass auch Wissenschaftler aus benachbarten Disziplinen mitreden und Publikationen kritisch kommentieren wollen.
"Typical results are shown"
Die Erforschung des Vogelzugs ist in dieser Hinsicht sicher kein Einzelfall. Auch wenn Entwicklungsbiologen dreidimensionale Gen-Expressionsmuster eines Embryos beurteilen oder wenn Primatenforscher das Paarungsritual eines Schimpansen analysieren, lässt sich das Ergebnis der Beobachtungen nicht immer an quantifizierten Fotos oder Videos festmachen. Vielmehr bildet sich der Forscher erst ein Urteil und dokumentiert seine Schlussfolgerung dann vielleicht anhand ausgewählter, repräsentativer Beispiele.
In der Publikation heißt es dann eben „typical results are shown“ – und der Leser denkt sich dazu, was das bedeutet: „Das schönste und eindeutigste Foto wird gezeigt“.
Hans Zauner
Foto: © julien tromeur - Fotolia.com