In der Lostrommel sind alle gleich
Fördermittel per Los? Das klingt unseriös. Ist es aber nicht, wie ein wissenschaftlich begleiteter Versuch der VolkswagenStiftung zeigt: Durch eine Teilauswahl per Los nach der letzten Begutachtungsrunde kommt mehr Diversität in den Gefördertenpool. Die Begleitforscherinnen und die Stiftung zeigen in ihrem Resümee interessante Ergebnisse auf.
Mit der Förderinitiative "Experiment!" hat die VolkswagenStiftung wichtige Impulse für die Erprobung ungewöhnlicher und innovativer Forschungsideen gegeben. Zwischen 2013 und 2021 förderte die Stiftung insgesamt 183 "riskante" Vorhaben mit unsicherem Ausgang. Über 5.000 Forscherinnen und Forscher aus den Natur-, Technik- und Lebenswissenschaften – von der schon etablierten Professorin bis zum Postdoktoranden ganz am Anfang der Wissenschaftskarriere – bewarben sich mit lediglich kurzen Antragsskizzen um Fördermittel in Höhe von bis zu 120.000 Euro. Die Skizzen wurden anonymisiert begutachtet. Bis zu 40 Vorhaben wurden in jeder der acht Bewilligungsrunden für eine Förderung ausgewählt.
Die Stiftung nutzte die unkonventionelle Initiative, um zugleich ein in der deutschen Förderlandschaft bis heute außerordentliches Auswahlverfahren zu erproben: Die Ermittlung einer bestimmten Anzahl von Bewilligungen per Losverfahren. Vorgeschaltet war immer eine wissenschaftliche Begutachtung, weshalb die Stiftung das Verfahren als Teilrandomisierung bezeichnet. Und sie ließ diese teilrandomisierte Auswahl wissenschaftlich begleiten: Dagmar Simon und Martina Röbbecke von Evaconsult befragten "Experiment!"-Geförderte und schauten auf die Bewilligungen vor und nach Einführung des Losverfahrens.
Die Ergebnisse der Forscherinnen liegen jetzt in einer abschließenden Publikation vor und belegen positive Effekte: Das Losverfahren eignet sich demnach sehr gut für Förderinitiativen von Forschungsideen, die wissenschaftliches Neuland betreten. Es kann die Diversität unter den Geförderten erhöhen und das Bias-Risiko reduzieren.
Wie genau läuft die teilrandomisierte Auswahl ab?
Die VolkswagenStiftung setzte das Losverfahren ab 2017 ausschließlich in der Förderinitiative "Experiment!" ein. Im ersten Schritt wählte das Förderteam der Stiftung aus allen eingegangenen Anträgen diejenigen aus, die die Programmkriterien erfüllten und bildete dadurch in jeder Runde eine Shortlist von 80 bis 120 Anträgen. Jeweils zwei fachlich zuständige Mitglieder aus einer externen, multidisziplinär besetzten Jury bewerteten dann aus ihrer Sicht die Förderwürdigkeit. Im nächsten Schritt ermittelten die Jurorinnen und Juroren in einer gemeinsamen Sitzung die besten 15 bis 20 Anträge für eine Förderung. Anschließend kamen alle förderwürdigen Anträge in eine Lostrommel (auch die bereits ausgewählten), aus der unter Aufsicht der Justiziarin der Stiftung nochmals die gleiche Anzahl an Anträgen gezogen wurden.
Warum dieses Verfahren?
Zum einen war (und ist) es der Stiftung wichtig, mehr Diversität unter den Geförderten zu erreichen. Auf "Experiment!" bezogen heißt das: Mehr Frauen und mehr Nachwuchswissenschaftler:innen als bislang sollten mit ihren Ideen zum Zuge kommen können.
Zum anderen sollte die letzte Entscheidung per Los das Risiko eines Bias reduzieren – einer nicht völlig auszuschließenden Verzerrung des Votums durch Befangenheit, Vorurteil oder Voreingenommenheit. "Die Losentscheidungen werden beispielsweise nicht durch bestimmte unterschwellig wirkende Dynamiken in der letzten Auswahlrunde das Ergebnis beeinflusst", erläutert Ulrike Bischler, die bei der Stiftung gemeinsam mit ihrem Kollegen Pavel Dutow die Förderinitiative betreut hat. "Eine solche Dynamik zeigt sich etwa, wenn die Unerfahreneren unter den Juror:innen sich am Ende in der Diskussion um Bewilligung oder Ablehnung lieber dem Votum der erfahrenen Gutachterkolleg:innen anschließen als weiter für ihre Favorit:innen zu argumentieren."
Zudem entscheiden Gutachter:innen im herkömmlichen Peer-Review-Verfahren eher selten "out of the box", sondern sind gerne konsensorientiert oder betrachten Förderanträge durch die Brille des eigenen Faches. "Auch aus diesem Grund kann es sinnvoll sein, in letzter Instanz das Los entscheiden zu lassen", sagt Bischler.
Am Beispiel der Wissenschaftlerinnen zeigten sich die positiven Effekte der Teilrandomisierung auf Diversität deutlich: War vor 2017 jeder sechste bewilligte Antrag von einer Frau, war es mit dem Losverfahren jeder vierte. Das entsprach der Beteiligung von Frauen an den Ausschreibungsrunden insgesamt. Ebenfalls eine erfreuliche Beobachtung: In den letzten "Experiment!"-Runden stieg die Beteiligung von Frauen. Die Steigerung des Frauenanteils erklärt sich aus einem demographischen – und damit keinem wahrscheinlichkeitstheoretischen – Effekt. Kurz gesagt: Unter Professor:innen ist der prozentuale Anteil der Frauen geringer, unter den Early Career Researchers ist er demographiebedingt deutlich höher. Da vom Losverfahren eher Early Career Researchers profitieren, steigt der Frauenanteil unter bei den Bewilligungen.
Was sagen die Geförderten selbst zum Losverfahren?
Die Mehrzahl der Befragten bewertet die Auswahl per Los grundsätzlich positiv, schreiben Röbbecke und Simon in ihrer Abschlusspublikation. So schätzen die Forscher:innen an Losverfahren, dass sie die individuelle Chancengleichheit fördern (92 Prozent), zu Anträgen mit riskanter Forschung ermutigen (84 Prozent) und bessere Chancen für riskante Forschung bieten (80 Prozent).
Für die meisten der Befragten ist es jedoch im Sinn der wissenschaftlichen Qualitätssicherung von entscheidender Bedeutung, dass eine Begutachtung durch eine Jury stattgefunden hat, bevor ihr Antrag in die Lostrommel gelangt.
Mithilfe einer echten Lostrommel wurden neben den durch die Gutachter:innen ausgewählten Projekten zusätzlich die gleiche Anzahl ausgelost.
Hier wirkt die lange Tradition des Peer-Review-Verfahrens. "Peer Review ist unverzichtbar, um beispielsweise Manuskripte für eine Veröffentlichung in Zeitschriften oder Sammelwerken auszuwählen, für Berufungsverfahren, für Förderentscheidungen über Projekte mit hohen Fördersummen sowie für die Vergabe von Stipendien oder wissenschaftlichen Preisen", sagt Martina Röbbecke. Es stoße jedoch an seine Grenzen, beispielsweise wenn es um Projekte gehe, die zwischen verschiedenen Disziplinen angesiedelt seien.
Das sehen laut den Befragungen auch viele Geförderte so, obwohl sie großen Wert auf eine wissenschaftliche Begutachtung legen. Die Studie zeigt, "dass eine große Zahl der Befragten verschiedenen Aussagen zustimmt, die indirekt eine Kritik an Peer-review-Verfahren darstellen", schreiben die Autorinnen. Zwar liege es auf der Hand, dass eine Auswahl durch Losverfahren Interessenskonflikte und unbewussten Bias vermeide, wie 88 Prozent der Befragten meinen. "Aber darüber hinaus stimmen sie zu, dass Losverfahren auch Chancen für in der Jury schwach vertretene Fächer und für mehr thematische und methodische Vielfalt bieten."
Und: Die Vorstellung, am Ende womöglich "nur" dank einer Auslosung zum Zuge gekommen zu sein, hat für die Mehrheit der Geförderten – und für ihre Institutionen – offenbar keinen negativen Beiklang.
Ein Forscher aus der letzten Bewilligungsrunde, Prof. Dr. Gerhard Fischerauer von der Universität Bayreuth, sagte im Rahmen einer Tagung, die die VolkswagenStiftung im Dezember 2022 veranstaltete, er habe den Eindruck, dass es an seiner Hochschule keine große Rolle spiele, ob es sich bei den Drittmitteln um einen Grant handele, den man per Losverfahren zugesprochen bekommen habe: "Ich habe noch nie das Argument gehört, 'Kollege A bekommt Geld von BMW, Kollege B nur von Dacia' oder 'Kollegin C hatte ja nur Losglück bei der VolkswagenStiftung'."
Dass kein Unterschied gemacht werde, hänge aber sicherlich vor allem mit dem hohen Renommee der VolkswagenStiftung zusammen, gibt Dagmar Simon zu bedenken. "Hätte eine kleinere oder weniger bekannte Förderinstitution die Ausschreibung gestartet und das Losverfahren angewendet, wäre der Blick auf die Förderung vermutlich ein anderer gewesen", betont sie.
Ein nachahmenswertes Modell
Vor dem Hintergrund der positiven Rückmeldungen und Erfahrungen aus "Experiment!" wäre es aus Sicht von Röbbecke und Simon wünschenswert, dass ähnliche Antragsverfahren mit teilrandomisierter Auswahl auch von anderen renommierten Förder:innen erprobt werden.
Das ist auch im Sinne des Wissenschaftsrates, der 2017 in einem Positionspapier zu Begutachtungen im Wissenschaftssystem die Auswahl per Zufall befürwortete, wenn sich bei stark überzeichneten Förderangeboten eine Entscheidungsfindung nur schwer begründen lässt. Darüber hinaus plädiert das Gremium dafür, innovative Auswahlverfahren zu erproben und deren Einführung systematisch auszuwerten, wie es die VolkswagenStiftung getan hat.
Dr. Ulrike Bischler ist verantwortlich für die Förderinitiative "Experiment!".
Die kürzlich neu vom Bundesforschungsministerium eingerichtete Deutsche Agentur für Transfer und Innovationen (DATI) hat für die Förderlinie "Innovationssprints" ein Losverfahren zur Anwendung gebracht. Auch hier ist das Ziel, innovative Ideen schnell an den Start zu bringen.
Ansonsten jedoch bleibt die Einführung von Losverfahren in Deutschland eine seltene Ausnahme. Ein Blick über die Grenzen nach Österreich und in die Schweiz zeigt aber, dass sich in anderen Ländern durchaus auch bedeutende staatliche Förderinstitutionen an das Vorgehen heranwagen: Der Schweizerische Nationalfonds hat bereits für einige Förderlinien ein Losverfahren eingeführt, ebenso der österreichische Fonds zur Förderung der wissenschaftlichen Forschung (FWF).
Einige Wissenschaftler:innen, die seit längerem über Peer Review forschen, bleiben aber nach wie vor skeptisch gegenüber einer Entscheidung per Los. Auf der Stiftungstagung zum Thema im Dezember 2022 äußerten sie deutliche Kritik: Das wichtigste Kriterium für die Gewährung von Drittmitteln müsse die wissenschaftliche Qualität bleiben, eine Begutachtung und Entscheidung im Peer-review-Verfahren sei alternativlos, andernfalls drohe sie, beliebig zu werden.
Ulrike Bischler von der VolkswagenStiftung kann diese Kritik entkräften. Die Abschlussberichte zeigen, dass es bei der Zahl der Patentanmeldungen und der wissenschaftlichen Artikel am Ende keinen Unterschied zwischen direkter Auswahl durch die Jury und einer Auswahl per Los gebe, betont Bischler: "In beiden Fällen lag die Quote derjenigen, die etwas publiziert haben, bei 60 Prozent. Das zeigt: Wir habe mehr Diversität und Fairness nicht um den Preis einer Verminderung der Qualität bekommen."