Illustration: Tim Teebken
(07.07.2015) Nur positive Ergebnisse gelten in der Forschung als gute Ergebnisse, nur mit positiven Resultaten hat man Erfolg. Dabei tragen negative Ergebnisse genauso zum Erkenntnisgewinn bei. Ein Aufruf daher an Forscher und Journale, mehr Mut zum Veröffentlichen negativer Resultate aufzubringen.
Der Duden schreibt: „negativ: Worttrennung ne|ga|tiv; Bedeutung: 1. a) Ablehnung ausdrückend, enthaltend; ablehnend, b) verneint; 2. a) ungünstig, nachteilig, nicht wünschenswert, b) im unteren Bereich einer Werteordnung angesiedelt, schlecht.“ [1]
In erster Instanz ist das Adjektiv negativ demnach lediglich als wertfreie, sachliche Ablehnung einer Hypothese zu verstehen – eine rein rationale Ja/Nein-Entscheidung. Erst in der zweiten Bedeutungserklärung ist eine emotionale Komponente und Wertung enthalten.
Wenn es allerdings um Forschung, und insbesondere um die Publikation wissenschaftlicher Ergebnisse geht, scheint die erste Zuordnung häufig direkt mit der zweiten verknüpft zu sein. Dabei sollten Wissenschaftler eigentlich den Anspruch haben, anhand von Fakten ihre Messergebnisse zu interpretieren und ihre Erkenntnisse ohne subjektive Einflüsse zu dokumentieren. Die Ablehnung einer Hypothese als Resultat einer Untersuchung sollte demnach nicht schlechter bewertet werden als die Bestätigung einer Annahme. Im Gegenteil gar: In einigen Fällen kann ein negatives Ergebnis sogar dazu führen, dass eine neue Hypothese aufgestellt wird, aus der wiederum neue Erkenntnisse folgen können. Negative Ergebnisse gehören also unweigerlich zum Fortschrittsprozess dazu. Warum sind sie unter Forschern trotzdem häufig unbeliebter als ihre positiven Pendants?
Für die Beantwortung dieser Frage lohnt sich ein Blick auf die Sequenz eines üblichen Forschungsprozesses: Zunächst wird eine möglichst kluge Frage so formuliert, dass sie mit den zugänglichen Methoden untersucht werden kann. Anschließend führt der Forscher das eigentliche Experiment durch, was er dann wiederum auswertet und interpretiert. Zum Abschluss teilt er seine Erkenntnisse den Kollegen und anderen mit, indem er seine Ergebnisse der interessierten Öffentlichkeit in einer Publikation zugänglich macht. Das neue Wissen kann nun genutzt werden und wirft gegebenenfalls weitere Fragen auf. Die Publikation wissenschaftlicher Ergebnisse, beispielsweise in einer Fachzeitschrift, ist also ein wichtiges Instrument zur Weitergabe der erhaltenen Befunde.
Stellt sich jedoch bei der Auswertung und Interpretation heraus, dass das Ergebnis negativ ausfällt und beispielsweise nicht dem vermuteten Trend folgt oder dem aktuellen Kenntnisstand (zu stark) widerspricht, so bleibt es häufig unveröffentlicht. Die Kommunikation von Forschern untereinander wird auf diese Weise gestört. Dies kann zu einem unnötig hohen Ressourcenverbrauch führen, da eine andere Forschergruppe, die an der gleichen oder einer ähnlichen Fragestellung arbeitet, ahnungslos das gleiche Experiment durchführt und ebenfalls ein negatives Ergebnis erhält.
Besonders absurd erscheint die Einstufung von negativen Ergebnissen als unerwünscht vor dem Hintergrund, dass viele bahnbrechende wissenschaftliche Erkenntnisse auf Zufallsbeobachtungen basieren. Bekannte Belege hierfür sind die Entdeckung von Penicillin und der Röntgenstrahlung. Deren Bedeutung ist offenbar so groß, dass für solche Entdeckungen ein eigener Begriff verwendet wird: Serendipität.
Hierbei handelt es sich nicht nur um ein generelles Problem, sondern auch um eines, dessen Ausmaß in den letzten Jahren zugenommen hat, wie Daniele Fannelli eigens in einer Untersuchung der Anzahl von Veröffentlichungen mit negativen Ergebnissen festgestellt hat [2]: Demnach ist die Anzahl solcher Publikationen in den letzten 15 Jahren stetig gesunken. Sicherlich liegt das nicht daran, dass auch die Anzahl der Experimente mit negativem Resultat in gleichem Maße zurückgegangen ist. Vielmehr werden noch häufiger als früher negative Ergebnisse als „fehlgeschlagen“ interpretiert und bleiben unpubliziert.
Die Gründe für Forscher, ihre negativen Ergebnisse nicht zu publizieren, können unterschiedlicher Natur sein: Die emotionale Interpretation des Negativ-Begriffs kann dazu führen, dass das „nicht erfolgreiche“ Experiment als nicht publikationswürdig angesehen wird. Das Ausbleiben des „Erfolgs“ zeigt, dass die Forscher das untersuchte System noch nicht vollständig verstanden haben und deshalb die zunächst aufgestellte Hypothese widerlegen mussten. Insbesondere in Zeiten von zunehmender Konkurrenz unter Forschern, beispielsweise in Bezug auf Forschungsgelder, möchte keiner hinter einem Konkurrenten zurückbleiben. Darüber hinaus kann die Erkenntnis, wie ein positives Ergebnis nicht erhalten werden kann, auch als Wissensvorsprung gegenüber anderen angesehen werden.
Der Konkurrenzgedanke kann also ein Hindernis darstellen, aber er kann natürlich auch als Ansporn verstanden werden. Dies legt einen Vergleich des Wissenschaftssystems mit dem Wirtschaftssystem nahe, wie er ausführlich von Young et al. [3] präsentiert wurde. Einen zentralen Punkt in ökonomischen Theorien bilden Märkte. In der Forschung nehmen diese Rolle wissenschaftliche Zeitschriften ein. Analog zu Warengütern auf Märkten werden in Fachpublikationen Informationen beziehungsweeise Wissen gehandelt, wobei Forscher die Produzenten und andere Wissenschaftler (...) die Konsumenten darstellen. Wichtige Unterschiede liegen jedoch im Bezahlsystem und darin, dass der größte Fortschritt in der Wissenschaft nicht immer durch die möglichst effiziente Beantwortung der Nachfrage der Konsumenten entsteht. Der Konsument kann schließlich noch gar nicht wissen, welche Informationen er „gekauft“ hat und ob sie ihm nützen können, bevor er den Artikel gelesen/konsumiert hat.
Den Märkten beziehungsweise Fachverlagen kommt eine entsprechende Verantwortung zu, denn sie sind letztlich für den Erfolg eines Produzenten/Forschers mitverantwortlich. Dies gilt zumindest solange der Erfolg eines Wissenschaftlers an seine Publikationstätigkeit geknüpft ist, was derzeit häufig über die Berechnung von Zitationsindices die gängige Praxis ist. Besonders anerkannte Zeitschriften erschaffen außerdem oftmals eine künstliche Knappheit für die Publikation von wissenschaftlichen Artikeln: Selektivität beziehungsweise hohe Ablehnungsraten von eingesandten Manuskripten sollen Qualität widerspiegeln. Ursprünglich lag diese Knappheit tatsächlich vor, da nur eine begrenzte Seiten- und Artikelanzahl für jede gedruckte Ausgabe vorgesehen war. Dies ist in Zeiten von digitalen Veröffentlichungsmöglichkeiten jedoch als überholt anzusehen. Doch wer entscheidet, welche Einsendungen in der entsprechenden Ausgabe publiziert werden?
Hier kommt bei den meisten namhaften Zeitschriften das Peer-Review-Verfahren zum Einsatz. Dabei legen die Editoren einen eingereichten Artikel zunächst einem oder mehreren anderen Spezialisten vor, der dann eine Bewertung und Empfehlung für oder gegen die Veröffentlichung aussprechen soll. Die Entscheidungsgrundlage kann sich zwischen den einzelnen Verlagen und Zeitschriften unterscheiden. Im Wesentlichen sollen die Reviewer jedoch überprüfen, ob der Artikel sorgfältig analysierte Ergebnisse präsentiert und den Anforderungen des Journals entspricht. Vermutlich werden bei dieser Bewertung Artikel, die eine Antwort auf die zu Beginn gestellte Frage geben können, besser abschneiden als ein Manuskript, das auf negativen Ergebnissen beruht. Genaue Zahlen über den Anteil der eingesandten aber abgelehnten Manuskripte mit negativen Ergebnissen sind dabei schwer zu ermitteln.
Zusätzlich kann es im Review-Prozess auch zu Interessenskonflikten kommen. Je spezieller ein Forschungsthema, desto größer ist auch die Wahrscheinlichkeit, dass ein direkter Konkurrent die eingereichte Publikation bewerten soll. Inwiefern dies tatsächlich unter vollkommen neutralen Gesichtspunkten geschieht, bleibt fraglich. Einen Hinweis darauf, dass dieses Review-Verfahren als problematisch angesehen werden kann, liefert ein Blick auf die aktuelle Kontroverse darum. Mittlerweile werden teilweise sogenannte Blind- und Double-Blind-Review-Verfahren vorgenommen, damit zumindest eine direkte Nachvollziehbarkeit nicht mehr gewährleistet ist. Als Gegenbewegung sind Plattformen wie arXiv entstanden, auf der Forscher ihre Ergebnisse direkt präsentieren können. Nach Veröffentlichung schließt sich beispielsweise ein Public Review an, bei dem alle Interessierten den Artikel kommentieren und kritisieren können. Hierbei können also sehr viele Interessierte ihre Kritik anbringen, allerdings muss es sich nicht bei allen Kommentatoren um Spezialisten handeln.
Auch das CHE-Ranking, das angehende Studenten nach dem Abitur zur Orientierung auf ihrem Weg in die Hochschulen verwenden, unterstützt in gewissem Sinne dieses System. So wird die Reputation der Hochschulen unter anderem über Publikationen „gemessen“. Schon vor dem eigentlichen Beginn des Studiums wird den Studenten also nahe gelegt, auf die Anzahl an Publikationen der Professoren zu schauen. Und diese sind nach wie vor zumeist auf „positive“ Ergebnisse beschränkt. Wie wenig Aussagekraft solche Zahlen haben, kann einem Abiturienten jedoch noch nicht klar sein.
Je mehr sich die Ansicht verfestigt, dass nur ein positives Ergebnis mit Erfolg gleich zu setzen ist, desto größer wird der Druck, positive Ergebnisse zu erzielen. Spätestens während der Promotion bekommen angehende Nachwuchswissenschaftler den Publikationsdruck zu spüren. Zumindest in den Naturwissenschaften ist häufig die Dauer der Doktorarbeit mit der Menge an (positiven) Ergebnissen verknüpft. Der Doktorand darf also erst zusammenschreiben und seine Doktorarbeit abschließen, sobald eine entsprechende Anzahl von erfolgreichen Experimenten gelungen ist und diese auch publiziert worden sind. Eine übliche Frage nach dem Verlauf der Doktorarbeit lautet beispielsweise „...Du bist doch auch bald fertig, oder reichen die Ergebnisse noch nicht?“.
Bei der Ausbildung des wissenschaftlichen Nachwuchses kann auf diese Weise letztlich sogar wissenschaftliches Fehlverhalten gefördert werden. Statt wissenschaftlicher Integrität entspricht hier das Gegenteil der Realität. Schließlich ist die Grenze zu wissenschaftlichem Fehlverhalten dünn, wobei folgende Stufen unterschieden werden können:
Beispielsweise kann eine Veröffentlichung insgesamt zurückgehalten werden, weil die Forscher glauben, ihre Erkenntnisse zunächst noch selber verbessern zu können. In diesem Fall ist der Forschungsprozess zumindest aus Sicht der Forscher noch nicht abgeschlossen, und das Verhalten entspricht noch den Ansprüchen einer guten wissenschaftlichen Praxis.
Die nächste Stufe wäre folgende Situation: Ein Projekt wird nicht mehr weiter verfolgt, weil es als nicht mehr aussichtsreich beziehungsweise erfolgversprechend angesehen wird. Wenn die Publikation der Ergebnisse hier nicht erfolgt, so wird die gewonnene Erkenntnis – gewollt oder ungewollt – anderen Forschern und potenziellen Konkurrenten vorenthalten. Ein solches Vorgehen ist nur noch wenig von wissenschaftlichem Fehlverhalten entfernt.
Die Deutsche Forschungsgemeinschaft hat zu diesem Thema eine Denkschrift „Sicherung guter wissenschaftlicher Praxis“ herausgegeben, in der sie unter anderem fordert, dass „Ergebnisse vollständig und nachvollziehbar“ publiziert werden sollten [4]. In Europa wurde 1992 erstmals von einer Arbeitsgruppe in Dänemark gefordert, dass eine förmliche Untersuchung von Fehlverhalten angebracht ist, wenn beispielsweise bewusst Daten verschwiegen werden, die der Aussage einer Veröffentlichung widersprechen.
Allerdings werden nicht nur negative oder Null-Ergebnisse verschwiegen. Vielmehr neigen (vermutlich) viele Forscher auch dazu, ihre Artikel möglichst gut aussehen zu lassen. Schwierigkeiten und unklare Beobachtungen werden möglichst nicht erwähnt, schließlich könnten sie dem Konkurrenten ungewollt weiterhelfen.
Das Publikationswesen ist in den vergangenen Jahren immer wieder von einzelnen Wissenschaftlern und Wissenschaftskommunikatoren kritisiert worden. Aktuell haben auch Institutionen wie der Wissenschaftsrat zu Veränderungen aufgerufen. Dieser hat hierzu im April 2015 ein Positionspapier mit dem Titel „Empfehlungen zu wissenschaftlicher Integrität“ herausgegeben. Ein Ausschnitt hieraus lautet:
„Dafür muss sich auch die Publizierbarkeit von Replikationsstudien und negativen Forschungsergebnissen verbessern. Die Verlagspolitik darf nicht zu einer selektiven Auswahl von aufsehenerregenden Forschungsthemen führen und damit unintendierte Anreize für wissenschaftliches Fehlverhalten setzen. Die Falsifizierung von Hypothesen und die unabhängige Überprüfung von Forschungsergebnissen dienen nicht nur der Förderung wissenschaftlicher Integrität, sondern auch dem Fortschritt des jeweiligen Forschungsfeldes, da Redundanzen vermieden und aufbauende Untersuchungen vereinfacht werden.“ [5]
Genau hier setzt auch das Journal of Unsolved Questions (JUnQ) an, das im gleichen Positionspapier bereits als Publikationsorgan für negative Forschungsergebnisse genannt wird. JUnQ wurde 2010 von Doktoranden der Universität Mainz gegründet und erscheint zweimal im Jahr. Neben Artikeln mit Null- oder Negativ-Ergebnissen gibt es in jedem Heft einen Magazinteil mit wechselndem thematischem Schwerpunkt, beispielsweise die Vereinbarkeit von Familie und Karriere in der Wissenschaft oder Wissenschaft in Zeiten der Krise. Neben der gedruckten Variante können alle Artikel unter www.junq.info online abgerufen werden. Das Editorial Board der Zeitschrift setzt sich aus derzeit elf Doktoranden zusammen, die sich der Herausforderung stellen, Autoren für eine Publikation in JUnQ zu gewinnen.
Auch unsere Erfahrungen bestätigen bisher: Viele Professoren scheuen die Veröffentlichung von negativen Resultaten.
Nicola Reusch ist Chemie-Doktorandin an der Universität Marburg und sitzt im Editorial Board des Journal of Unsolved Questions (JunQ), das 2012 den Deutschen Ideenpreis erhielt.
Referenzen
[1] http://www.duden.de/node/644350/revisions/1382337/view, 13.06.2015.
[2] Fanelli, D. (2010). Do pressures to publish increase scientists’ bias? An empirical support from US States Data. PLoS ONE 5, e10271.
[3] Young, N. S., Ioannidis, J. P. A., & Al-Ubaydi, O. (2008). Why current publication practices may distort science. PLoS Medicine, 5(10), 1418–1422. doi:10.1371/journal.pmed.0050201.
[4] DFG-Komission, Sicherung guter wissenschaftlicher Praxis, WILEY-VCH Verlag GmbH & Co. KGaA, Weinheim, ergänzte Auflage, 2013.
[5] Wissenschaftsrat, Empfehlungen zu wissenschaftlicher Integrität, 2015.