Information 4
Information 5

Negativ hilft

(24.1.17) Kürzlich plädierten vier Wissenschaftler in einem Paper leidenschaftlich für die Veröffentlichung negativer Ergebnisse. Wir sprachen mit Erstautor Silas Boye Nissen.
editorial_bild

Für die meisten Forscher sind Ergebnisse, die einen Effekt zeigen, ein Grund zum Feiern. Resultate, die dagegen keine Unterschiede feststellen, gelten als Fehlschläge – Fehlschläge, die Lösung eines Problems zu finden; Fehlschläge, eine neues Behandlungskonzept zu finden; Fehlschläge, um Dinge funktionieren zu lassen.

Das sollte eigentlich nicht sein. Eine aktuelle Studie in eLife (5:e21451) zeigt, dass negative Ergebnisse genauso wertvoll sind wie positive, um die Wissenschaft vorwärts zu bringen. Erstautor Silas Boye Nissen (Foto), vor kurzem noch am Niels-Bohr-Institut in Dänemark aktiv, demonstrierte in dieser Studie mit seinen drei US-Kollegen, welch wichtige Rolle negative Ergebnisse spielen, damit irrtümliche Behauptungen nicht den Status allgemein akzeptierter Tatsachen erlangen. Die Praxis ist jedoch eine andere: Allzu oft bleiben sie in Notebooks und Schreibtischschubladen versteckt – und erblicken niemals das Licht der Welt. Fragen dazu an Silas Boye Nissen…

LJ: In jeder Zeitschrift stellen positive Ergebnisse die überwältigende Mehrheit der veröffentlichten Artikel. Woher kommt Ihrer Meinung nach dieses Bedürfnis, weitgehend nur  positive Ergebnisse zu präsentieren?


Nissen
: Angesichts der starken Vorliebe, die Autoren, Zeitschriften und Leser offenbar für positive Ergebnisse haben, ist es schon überraschend, dass wir die Grundprinzipien für diese Präferenz nicht besser kennen. Ich denke, es gibt eine Reihe möglicher Gründe. Dazu gehört etwa:

  • Positive Ergebnisse zeigen oft, dass das betreffende Labor tatsächlich etwas zum Laufen gebracht hat – eine Behandlung, eine biochemische Reaktion, eine Veränderung, was auch immer… Negative Ergebnisse zeigen dagegen meistens, dass etwas nicht funktioniert. Wir neigen dazu zu meinen, dass nahezu jeder dabei scheitern kann, etwas im Labor zum Laufen zu bringen. Umgekehrt denken wir, dass man nur mit viel Know-how etwas tatsächlich zum Laufen bringt. Daher ist es für viele erstmal naheliegend, dass Sie das Experiment falsch oder unter falschen Bedingungen durchgeführt haben, wenn Sie keinen positiven Befund erhalten haben. Haben Sie dagegen ein positives Resultat, werden Ihre Ergebnisse nicht so leicht angezweifelt.
  • Die Leute spüren, dass die meisten möglichen Behauptungen über die Welt schlichtweg falsch sind: „Bananen sind blau. Blei schwimmt im Wasser. Enten verbrennen, wenn man sie Sauerstoff aussetzt." Auf diese Weise könnte jeder leicht mit einer endlosen Liste von Dingen kommen, die nicht wahr sind – und am Ende lernen Sie nicht viel, wenn Sie schließlich hören, dass einige dieser willkürlichen Behauptungen falsch sind. Mit einer langen Liste von Dingen anzukommen, die wahr sind, ist dagegen viel schwieriger – und man würde natürlich jedes Mal viel lernen, wenn sich eine solche Behauptung als wahr herausstellt. Das macht positive Ergebnisse zunächst Mal viel attraktiver.
  • Positive Ergebnisse entsprechen häufig praktischen oder kommerzialisierbaren Erkenntnissen. Wenn ich herausbekomme, dass eine Regenwaldpflanze einige Krebsarten heilen könnte, dann hätte ich eine Behandlungsoption, die ich in die Klinik bringen könnte. Wenn ich jedoch feststelle, dass diese Pflanze keine Wirkung auf Krebs hat, hätte ich nichts Nützliches. Wenn ich einen kalten Fusionsprozess der nächsten Generation finden würde, der tatsächlich funktioniert, säße ich damit auf dem nächsten Blockbuster-Unternehmen. Wenn ich aber feststelle, dass meine Idee für diesen Prozess nicht funktioniert, kann ich allenfalls im Sandkasten Unternehmer spielen.


Glauben Sie, dass diese Denkweise von den Journal-Editoren oder den Forschern motiviert wurde?

Nissen: Bis zu einem gewissen Grad müssen die Editoren die Interessen der Leser befriedigen – und entsprechend viele positive Ergebnisse veröffentlichen. Genauso müssen die Autoren auf die Interessen der Leser und Editoren eingehen – und ebenso bevorzugt positive Ergebnisse mitteilen. Es ist daher schwere, die Schuld entsprechend zu verteilen. Man bräuchte wohl eine komplexe und anspruchsvolle Studie, um letztlich festzustellen, ob der aktuelle Mangel an negativen Ergebnissen vor allem daher kommt, dass die Autoren nicht einmal versuchen, sie zu veröffentlichen – oder vor allem daher, dass die Editoren negative Ergebnisse nicht akzeptieren, obwohl sie diese reichlich eingereicht bekommen.

Trotz dieser Vorliebe für positive Ergebnisse zeigt Ihr Modell doch, wie wichtig negative Studien für die Wissenschaft sind. Warum genau ist es notwendig, diese negativen Ergebnisse zu veröffentlichen?

Nissen: Es ist essentiell, einen vernünftigen Anteil negativer Ergebnisse, so man sie erhält, auch zu veröffentlichen – denn sonst werden viele falsche Behauptungen am Ende als wahr angesehen. Wissenschaftler testen Behauptungen, indem sie Experimente durchführen und dann versuchen, ihre Ergebnisse in wissenschaftlichen Zeitschriften zu veröffentlichen. Die Forscher schauen sich dann die gesamte Reihe der veröffentlichten Ergebnisse an, um zu entscheiden, inwieweit man einer Behauptung glauben kann. Unveröffentlichte Ergebnisse können sie natürlich nicht beurteilen. Auf diese Weise kann eine Behauptung genug positiven Rückhalt akkumulieren, um schließlich in den Rang einer Tatsache erhoben zu werden – einfach weil keine negativen Befunde bekannt sind, um sie als falsch zurückzuweisen.

Für die Parameterwerte, die wir in unserem Modell verwendeten, liegt diese kritische Beurteilungsschwelle im Bereich von 20 bis 30 Prozent negativen Ergebnissen. Dies wird jedoch vor allem in den Feldern zur Farce, in denen negative Ergebnisse oft gar nicht veröffentlicht werden. Zum Beispiel schauten sich im Jahr 2008 amerikanische Autoren viele klinische Studien zu bestimmten Antidepressiva an und fanden, dass fast alle Studien veröffentlicht wurden, die eine signifikante Wirkung zeigten, dagegen aber nur sehr wenige von denjenigen, die keinen signifikanten Effekt lieferten.


"Allein die Veröffentlichung negativer Ergebnisse reicht nicht aus"


Wie können Editoren und Forscher Ihrer Meinung nach die Veröffentlichung von negativen Ergebnissen fördern?

Nissen: Wir – das heißt, die Mitglieder der wissenschaftlichen Gemeinschaft – müssen erkennen, wie wesentlich negative Ergebnisse für den Prozess wissenschaftlicher Untersuchungen sind. In der Tat können sie genauso wichtig, oder sogar noch wichtiger als positive Ergebnisse sein. Wir brauchen Orte, wo Autoren gezielt negative Ergebnisse veröffentlichen können. Fachzeitschriften, die speziell für diesen Zweck  gegründet wurden, wie zum Beispiel BioMed Central’s Journal of Negative Results in BioMedicine, können ein wichtiger Teil der Lösung sein. Preprint-Archive wie arXiv, die keinen Peer-Review erfordern, können eine andere Möglichkeit sein.

Nur reicht die Veröffentlichung negativer Ergebnisse allein nicht aus. Sie müssen auch geschätzt und gewürdigt werden – von den Kollegen, von Berufungskommissionen, in Evaluationsprozessen, und so weiter… Zumal es ja durchaus schon Konstellationen gibt, in denen negative Ergebnisse als wertvoll angesehen werden. Gerade wenn beispielsweise ein gewisser „Claim“ bereits sehr starke Bestätigung erfahren hat, kann ein negatives Ergebnis aus einer robusten und gut gestalteten Studie sehr viel Einfluss ausüben – und daher natürlich auch vergleichsweise leicht veröffentlicht werden. Unser Modell deutet darauf hin, dass auf diese Weise die Gefahr erheblich verringert werden kann, dass wir falsche Behauptungen in den Rang von „Wahrheiten“ erheben.

Denken Sie, die Ahnung, dass einige vermeintliche Tatsachen eventuell doch falsch sind, könnte die öffentliche Wahrnehmung von Forschungsergebnissen negativ beeinflussen? Und wenn ja, was könnten die Wissenschaftler tun, um dies zu vermeiden?

Genaugenommen demonstrieren unsere Ergebnisse doch geradezu ein klassisches Definitionsmerkmal der Wissenschaft: nämlich dass alles, wovon wir glauben oder behaupten, dass es Tatsache ist, immer wieder nachgeprüft und – sofern es die Hinweise nahelegen – sogar umgestoßen werden kann. Unser Modell handelt dabei indes nur den Anfangsprozess ab, durch den Tatsachen etabliert werden. Wenn in der wirklichen Welt eine falsche Behauptung irrtümlicherweise als Tatsache angenommen wird, werden genügend widersprechende Hinweise schließlich dazu führen, dass die Forscher zurückgehen und die Annahmen nochmals überprüfen, die sie zuvor für gegeben hielten.

Zudem glauben wir auch nicht, dass unsere Ergebnisse besonders schockierend sind. Wir vermuten eher, dass ein Großteil der Öffentlichkeit bereits versteht, dass nicht jede kleinere Gegebenheit, die die Wissenschaft entdeckt, tatsächlich den Test der Zeit besteht. Unsere Studie legt vielmehr nahe, dass man die Praktiken und Anreizstrukturen der Wissenschaft nur ein wenig verändern müsste, um sie für das Herausfiltern wahrer Behauptungen effizienter zu machen. Auf diese Weise würde die Wissenschaft auf lange Sicht zu einem noch mächtigeren Instrument, um die Welt um uns herum besser verstehen zu lernen – und damit würde nicht zuletzt auch das Vertrauen der Öffentlichkeit in wissenschaftliche Entdeckungen gestärkt.

Darüber hinaus beleuchtet das reine Verständnis, wie Behauptungen fälschlicherweise in den Rang von Tatsachen erhoben werden, auch einen wichtigen Unterschied im Maßstab. Auf der einen Seite haben wir hochspezielle wissenschaftliche Fakten von sehr enger Bedeutung, die von einer eher bescheidenen Handvoll Studien gestützt werden; hier ist gelegentlich Skepsis gerechtfertigt. Auf der anderen Seite haben wir Tatsachen, wie etwa den Zusammenhang von Rauchen und Krebs oder die Realität des anthropogenen Klimawandels. Diese werden durch Hunderte oder gar Tausende von Studien unterstützt, werden daher trotz vieler Versuche, sie aufgrund mächtiger monetärer Interessen zu untergraben, aufrechterhalten – und sind nun klar über jeglichen vernünftigen Zweifel erhaben.

Alex Reis


(Die englische Version dieses Interviews erschien bereits am 17. Januar auf Lab Times online)



Letzte Änderungen: 15.02.2017

Impressum | Datenschutz | Haftungsausschluß

© 1996-2017 LJ-Verlag GmbH & Co. KG, Freiburg, f+r internet agentur, Freiburg,
sowie - wenn nicht anders gekennzeichnet - bei den jeweiligen Autoren und Fotografen.