zurück
Open Access
Photo by Mel Elías on Unsplash

Photo by Mel Elías on Unsplash

Open-Media-Studies-Blog

Open Peer Review

Adelheid Heftberger zu einem möglichen Experiment

23.8.2018

«And therein lies the paradox of OPR: We won’t know if it works until more of us try. So for the good of the future of science, perhaps we need to be willing to participate in an experiment of our own collective making».1

Der Peer-Review-Prozess als wissenschaftliche Errungenschaft

Vorweg: Wir alle haben Erfahrungen mit der Tatsache gemacht, dass unsere Texte, unsere Forschung, unsere recherchierten Fakten von Kollegen_innen kommentiert und kritisiert, oft auch korrigiert werden. Im besten Fall wird unsere Arbeit dadurch besser und wir entwickeln uns als Wissenschaftler_innen weiter. Im schlechtesten Fall wird unser Text abgelehnt und wir erhalten noch nicht einmal die Chance, ihn zu überarbeiten.

Peer Review kann bekanntlich auf mehrere Arten durchgeführt werden. Traditionellerweise ist Anonymität ein Grundpfeiler des Verfahrens, wobei (1) entweder der/die Gutachter_in nicht namentlich bekannt ist, der/die Autor_in allerdings schon (single-blind peer review); (2)  das Verfahren komplett anonym funktioniert (double-blind peer review). Gutachter_innen werden in beiden Fällen üblicherweise von den Herausgeber_innen ausgewählt und sowohl die Gutachten als auch Reaktionen darauf werden vertraulich behandelt, d.h. nicht publiziert.

Ich möchte zunächst also festhalten, dass die Grundidee eines Begutachtungsverfahrens, das von qualifizierten und wohlwollenden Kolleg_innen (peers) durchgeführt wird, sinnvoll und hilfreich ist. Vor allem double-blind peer review kann als ein sinnvolles Werkzeug angesehen werden, mit dem sowohl eine vorurteilsfreie Begutachtung als auch vernünftiges Feedback unterstützt werden kann. Timothy Gowers zählt (durchaus mit Augenzwinkern) auf, dass mit einem Begutachtungsverfahren üblicherweise folgendes sichergestellt werden soll:

Defenses of formal peer review tend to focus on three functions it serves. The first is that it is supposed to ensure reliability: if you read something in the peer-reviewed literature, you can have some confidence that it is correct. [...] The second is a bit like the function of film reviews. We do not want to endure a large number of bad films in order to catch the occasional good one, so we leave that to film critics, who save us time by identifying the good ones for us. [...] The third function is providing feedback. If you submit a serious paper to a serious journal, then whether or not it is accepted, it has at least been read, and if you are lucky you receive valuable advice about how to improve it.2

Die Vorteile zeigen sich in den unterschiedlichen Funktionen, die ich im Prozess einnehmen kann: Als Leserin spare ich Zeit und kann darauf vertrauen, dass wissenschaftlich gearbeitet wurde. Als Autorin habe ich den Vorteil, dass ein Fachmensch meinen Text liest und einerseits Fehler entdeckt, andererseits auch wertvolle Anregungen gibt und z.B. auf Quellen hinweist, die ich eventuell noch nicht kenne. Als Herausgeberin stelle ich sicher, dass ich selbst so vorurteilsfrei wie möglich arbeite und mir Argumente als Entscheidungsgrundlage holen kann, vor allem, wenn ein Artikel tatsächlich abgelehnt werden soll. Als Gutachterin habe ich vermutlich die wenigsten direkten Vorteile, weil meine Arbeit nicht öffentlich präsent ist und auf keiner Publikationsliste auftaucht.

Die Probleme mit dem traditionellen Begutachtungsverfahren

Und doch gibt es in der Wissenschaftsgemeinschaft den Ruf nach Alternativen und es werden EU-finanzierte Projekte ins Leben gerufen, die sich mit einer wissenschaftlichen Erforschung der praktizierten Begutachtungsverfahren befassen, wie z.B. das PEERE Project oder die Studie «Survey on open peer review», die von Tony Ross-Hellauer, Arvid Deppe und Birgit Schmidt im Rahmen des OpenAIRE Projektes 2016 durchgeführt wurde.

Was sind nun die größten Bedenken gegenüber den herkömmlichen Begutachtungsverfahren? Ross-Hellauer, Deppe und Schmidt haben die häufigsten Kritikpunkte erhoben und folgendermaßen zusammengefasst (Hervorhebungen von mir):

This model has long been recognized to have significant flaws, accused of being unreliable (by, e.g., failing to detect errors or demonstrating inconsistency between reviewer reports), taking too long (i.e., delaying times between submission and publication), being unaccountable and enabling social and publication biases, lacking in incentive for reviewers, and being wasteful of effort (as the same manuscript may be reviewed many times as it goes through cycles of submission and rejection).3

Damit werden im Grunde die zuvor erwähnten Vorteile konterkariert. Hinzuzufügen ist, dass aufgrund von vor allem single-blind peer review weniger Nachwuchswissenschaftler_innen publizieren können:

SBR [single blind review, A.H.] indeed relates to a lower ration of contributions from newcomers to the venue and particularly newcomers that are otherwise experienced of publishing in other computer science conferences, suggesting the possible existence of ingroup–outgroup behaviors that may harm knowledge advancement in the long run.4

Zusammengefasst möchte ich festhalten, dass das Begutachtungsverfahren in der Praxis das Versprechen nicht halten kann, durch einen anonymisierten und moderierten Prozess bessere Qualität garantieren zu können. Gibt es also Alternativen, die Probleme wie die oben genannten mildern oder vermeiden? Was passiert, wenn wir Gutachten nicht mehr blind und verdeckt, sondern offen und transparent denken? Wie Maximilian Heimstädt und Leonhard Dobusch auf diesem Blog ausführen, wäre dies z.B. eine gute Strategie gegen Predatory Open Access Journals.5

Um solche Fragen beantworten zu können, ist es notwendig zunächst zu klären, was unter open peer review überhaupt zu verstehen ist. Was ist Open Peer Review? Wie Ross-Hellauer herausgearbeitet hat, gibt es für open peer review weder eine allgemein verwendete Definition noch ein akzeptiertes Schema für spezifische Parameter und deren Implementierung. Er stellt folgende Arbeitsdefinition vor: Open peer review is an umbrella term for a number of overlapping ways that peer review models can be adapted in line with the ethos of Open Science, including making reviewer and author identities open, publishing review reports and enabling greater participation in the peer review process.6 

 

Ross-Hellauer definiert somit drei sogenannte primary aspects von OPR:

  1. Autor_in und Gutachter_in sind namentlich bekannt (open identities);
  2. die Gutachten werden gemeinsam mit dem betreffenden Artikel zugänglich gemacht (open reports);
  3. die gesamte Wissenschaftsgemeinschaft kann zum Begutachtungsverfahren beitragen (open participation).

Open Identities

Die Vorteile von open identities liegen laut Ross-Hellauer darin, dass (1) ein höheres Gefühl der Verantwortlichkeit und bessere Qualität erzeugt werden kann, indem sich die Wissenschaftler_innen namentlich kennen; (2) durch Transparenz Interessenkonflikte vermieden werden können; und (3) insgesamt ein höflicherer Umgang miteinander gepflegt wird. Nachteilig könnte hingegen sein, dass vielleicht aus (berechtigter?) Angst vor «Vergeltungsschlägen» Kritik nicht mehr so deutlich geäußert wird, wie es beabsichtigt war, und Autor_innen Vorurteilen ausgesetzt sein könnten, zudem manchmal sogar Porträtfotos im Beitrag enthalten sind.

Open Reports

Die Entscheidung, das Gutachten gemeinsam mit dem Beitrag zu publizieren (open reports), bietet für Gutachter_innen z.B. die Chance, Anerkennung für die geleistete Arbeit zu erhalten, wertvolle Anregungen ohne redaktionelle Auswahl der Herausgeber_innen an alle weitergeben zu können und außerdem als Beispiel für Nachwuchswissenschaftler_innen zu dienen. Die Autor_innen der Studie nehmen auch an, dass sich die Qualität der Gutachten insgesamt verbessern würde. Andererseits steht zu befürchten, dass potentielle Gutachter_innen Anfragen in Zukunft eher ablehnen, wenn sie wissen, dass das Gutachten vollständig publiziert wird und sich womöglich selbst der Kritik stellen muss.

Open Participation

Die gesamte Wissenschaftsgemeinschaft einzuladen, am Prozess teilzunehmen (open participation) öffnet das Begutachtungsverfahren radikal allen Interessierten und ermöglicht im besten Fall wertvolle Hinweise auch von Menschen außerhalb des eigenen (oft kleinen) Fachbereichs zu bekommen. Auf diese Weise wird interdisziplinärer Austausch befördert und wäre vor allem in Disziplinen hilfreich, die sich erst etablieren und wenig potentiellen Gutachter_innen bekannt sind, z.B. das interdisziplinäre Feld «Digital Humanities & Filmwissenschaft». Meine eigene Erfahrung ist, dass sich ein Begutachtungsverfahren sehr lange hinziehen kann, weil die Herausgeber_innen einfach keine geeigneten Gutachter_innen finden konnten. Hier wäre open participation spannend gewesen. Ob tatsächlich die Kommentare dann weniger profund wären oder sogar ablenken, wäre erst zu eruieren. Plattformen wie hypothesis.is könnten den geeigneten Dienst bereitstellen7, aber im Grunde sollte sich eine Kommentarfunktion technisch auch relativ einfach in bestehende Journals integrieren lassen.

Daneben lassen sich vier weitere Aspekte (secondary aspects) von OPR feststellen: (1) direkte Kommunikation zwischen Autor_innen und Gutachter_innen ist möglich und gefördert (open interaction); (2) Manuskripte werden unmittelbar und vor dem formalen Begutachtungsverfahren zugänglich gemacht, z.B. auf Pre-Print-Servern wie arXiv oder Zenodo (open pre-review manuscripts); (3) auch finale bereits offiziell publizierte Fassungen können nach der Publikation noch begutachtet oder kommentiert werden (open final-version commenting); und (4) das Gutachten ist von der Publikation entkoppelt, indem es auf der Plattform einer anderen Organisationseinheit (z.B. eines anderen Journals) erscheint (open platforms).

Wie Ross-Hellauer auf der folgenden Folie zeigt, sind bisher vor allem open identities und open reports verbreitet.

Was sagen Wissenschaftler_innen zu Open Peer Review?

Die Studie «Survey on open peer review» zu open peer review wertet die Daten von mehr als 3000 Antworten aus, die in einer Online-Umfrage erhoben wurden. Insgesamt war das Echo überwiegend positiv, allerdings mit teils sehr unterschiedlichen Meinungen zu den einzelnen Kategorien. Mehrheitlich (60,3%) war der Meinung, dass OPR zu einer gängigen wissenschaftlichen Praxis werden könnte und es stellte sich sogar heraus, dass 76,2% bereits in der einen oder anderen Form an OPR teilgenommen hatten.

Am stärksten war die Ablehnung allerdings darin, open identities zu praktizieren (47,7% der Befragten). Dazu schreiben Ross-Hellauer, Deppe und Schmidt:

Respondents see value in open identities but believe it could potentially open particularly younger researchers to consequences from aggrieved authors or lead to the dilution of criticism. Empirical research is needed to establish whether these concerns are legitimate - what is the prevalence of such reprisals from aggrieved authors? Are the criticisms in peer reviews conducted under open identities actually any more or less strong? In the meantime, one recommendation may be for those publishing outlets interested in implementing open identities to make it optional so that reviewers are able to choose whether or not to make their identities open.8

Viel Zuspruch gab es vor allem für open interaction, open reports und final version-commenting.

Ausblick

Zusammengefasst: Was brauchen wir in der Medienwissenschaft, damit OPR attraktiver werden kann?9

  • Mehr Transparenz und klare Vorgaben, was OPR für alle Beteiligten bedeutet.

  • Mehr Wissen um OPR und wie Gutachten idealerweise geschrieben werden sollten.10
  • Mehr Anerkennung für Gutachten als Forschungsleistung, die zitiert, kreditiert und auffindbar ist.11

In den Worten von Ross-Hellauer, Deppe und Schmidt: «OPR is an evolving phenomenon and hence future studies are to be encouraged, especially to further explore differences between disciplines and monitor the evolution of attitudes».12

Ich denke auch, dass der erste Schritt nicht die Offenlegung aller Beteiligten schon während des Prozesses sein müsste (bei gegenseitigem Einverständnis natürlich gern), da mir die geäußerten Bedenken durchaus einleuchten. Es gäbe sinnvolle Zwischenschritte, wie z.B. die Veröffentlichung aller Gutachten in der Ausgabe der Zeitschrift, aber ohne Zuordnung zu den einzelnen Beiträgen. Und wenn single-blind peer review verwendet wird, dann fände ich es immer noch fairer, wenn im Verlauf des Begutachtungsverfahrens nicht der Name des/der Autor_in, sondern der Gutachter_in bekannt ist.

Ich fände es auch sinnvoll, als Herausgeber_in in Zukunft Gutachter_innen zu bitten, die Gutachten so zu verfassen, dass sie jederzeit zugänglich gemacht werden könnten. Auf diese Weise scheint mir, wird das Risiko unbrauchbarer Gutachten (da zu kurz, zu unhöflich usw.) minimiert. Eventuell könnte die Publikation auf positive Gutachten beschränkt werden, um niemanden unnötig zu exponieren bzw. noch Gelegenheit zur Überarbeitung zu geben. Auch die Möglichkeit zur (moderierten) Kommentierung fände ich eine Option, die erprobt werden sollte.

Eine wichtige Frage berührt die zukünftige Rolle von Herausgeber_innen: Wie sehr werden sich diese in Zukunft in OPR aktiv einbringen? Wie viel möchten diese vom Gesamtprozess offenlegen und redaktionelle Entscheidungen öffentlich reflektieren und argumentieren? In diesem Zusammenhang fände ich es auch überlegenswert, Gutachter_innen künftig nicht mehr nur vorzuselektieren, sondern erst nach Publikation des Beitrags auf Pre-Print-Servern zu rekrutieren oder freiwillige Meldungen abzuwarten.

Nichtsdestotrotz denke ich, dass den Herausgeber_innen (zumindest in den Geisteswissenschaften) auf alle Fälle auch in Zukunft eine wichtige moderierende Rolle zukommen wird, vor allem, um sicherzustellen, dass ein wertschätzender Austausch zwischen peers (denn darum geht es ja schließlich!) stattfindet. Es wäre ein spannendes Experiment, traditionelle Modelle schrittweise zu ändern, nötige Infrastrukturen dafür zu schaffen (z.B. Einrichtung von Pre-Print-Servern für Film- und Medienwissenschaften) und den Prozess zu beobachten - denn, um zum Anfang des Textes zurückzukehren: «we won’t know if it works until more of us try».13

Bevorzugte Zitationsweise

Heftberger, Adelheid: Open Peer Review. Adelheid Heftberger zu einem möglichen Experiment. In: Zeitschrift für Medienwissenschaft, ZfM Online, Open-Media-Studies-Blog, , https://zfmedienwissenschaft.de/online/open-peer-review.

Die Open-Access-Veröffentlichung erfolgt unter der Creative Commons-Lizenz CC BY-SA 4.0 DE.