Direkt zum Inhalt

Die wunderbare Welt der Forschungs(d)evaluation

Je mehr Artikel ein Wissenschaftler in hoch gerankten Journals veröffentlicht, desto besser ist die wissenschaftliche Qualität seiner Arbeit? Ein empirischer Blick auf ein folgenreiches Paradigma im Gastbeitrag von Asvin Goel.

Bild
Artikelbild: Die wunderbare Welt der Forschungs(d)evaluation

Asvin Goel ist Professor für Logistik an der Kühne Logistics University (KLU) in Hamburg. Foto: privat.

IN ZEITEN, in denen sich das Wissen der Welt rasant vermehrt, wird es immer schwerer, Forschungsergebnisse aus anderen Fachgebieten zu verstehen, geschweige denn zu bewerten. Gleichzeitig müssen viele wissenschaftliche Institutionen zunehmend Rechenschaft über die Mittelverwendung geben. Wie also sollen Institutionen darlegen, dass sie die zur Verfügung gestellten Gelder sinnvoll einsetzen?

Naheliegend ist der Einsatz von Kennzahlen. Kennzahlen bieten eine verlockende Einfachheit in einer ansonsten komplexen und oft undurchsichtigen wissenschaftlichen Landschaft. Sie reduzieren die Vielfalt und Tiefe wissenschaftlicher Arbeit auf eine handhabbare Größe, die sich leicht vergleichen und in Berichten präsentieren lässt. Ob es die Anzahl der Zitationen einer Arbeit ist, das Ranking der Zeitschriften, in denen publiziert wurde, oder die Höhe der eingeworbenen Drittmittel, jede dieser Zahlen scheint eine klare, objektive Aussage über die Qualität der Forschung zu treffen.

Doch Zitationen kommen oft erst spät und sind daher für eine zeitnahe Evaluation ungeeignet. Sie spiegeln den langfristigen Einfluss ...

Sie sehen die gekürzte Fassung dieses Artikels

Der volle Zugang zu Artikeln, die älter sind als vier Wochen, ist nur für registrierte Unterstützer des Wiarda-Blogs vorgesehen.

Sind Sie bereits ein registrierter Benutzer / Unterstützer?
Hier können Sie sich einloggen.

Nein, ich habe noch kein Benutzer / Unterstützer-Konto:
zur Anmeldung

Kommentare

#1 -

DD | Mi., 04.09.2024 - 12:58
Gut, dass dieses Thema hier im Blog mal wieder zur Sprache kommt! Allerdings gibt es schon seit etlichen Jahren Ideen für "bessere Systeme" - siehe z.B. https://sfdora.org/read/read-the-declaration-deutsch/. Und hier und da ist auch die Politik und sind die universitären Systeme bereit, die Bewertungmaßstäbe für die Qualität von Forschung zu ändern, z.B. in UK, wo die impact factors der Zeitschriften in Einstellungs- und Berufungsverfahren bei Weitem nicht die Rolle spielen, die sie in Deutschland haben.

#2 -

Hansenpansen | Mi., 04.09.2024 - 13:37
Sind die Ergebnisse hinsichtlich der Risikobereitschaft bei Projekten eigentlich longitudinal über das Wirken eines Wissenschaftlers konstant? Ein Doktorand, ein tenure track professor und ein full Professor haben ganz anderen Druck, Risikobereitschaft und Innovationsdrang. Haben wir an einer Stelle eventuell sichere und schnelle Publikationen und an einer anderen Stelle etwas risikoaffinere Vorhaben mit langer Vorlaufzeit?

#3 -

René Krempkow | Mi., 04.09.2024 - 13:57
Danke für diesen Beitrag!

Dessen Ergebnisse decken sich mit denen einer ähnlichen Studie, die vor etwa einer Dekade ein Team von Forschenden am damaligen iFQ (jetzt eine Abteilung des DZHW) für die Medizin erstellte. Sie zeigte ebenfalls auf, in welchem Ausmaß je nach unterschiedlichen Maßzahlen unterschiedliche Ergebnisse der Forschungsbewertung resultieren. Zwar geschah dies am Beispiel der fakultätsinternen Leistungsorientierten Mittelverteilung (LoM), aber das Ergebnis war sehr ähnlich:



Inter- und transdisziplinäre Forschung wie in den psychomedizinischen Fächern war bei der an den meisten Standorten angewandten Bewertungsmethodik besonders im Nachteil (siehe S. 93ff. in: https://www.researchgate.net/publication/271131149).



Seit Dezember 2023 gibt es mit den fortgeschriebenen ...

#4 -

Wolfgang Kühnel | Mi., 04.09.2024 - 15:21
"Das Ergebnis ist ein wissenschaftliches Ökosystem, das sich zunehmend nach den Regeln der Evaluationsmechanismen richtet anstatt nach den Bedürfnissen der Forschung selbst."



Das haben doch wohl diejenigen zu verantworten, die diese "Evaluationsmechanismen" geschaffen haben, und das sind in erster Linie die staatlichen Technokraten, die die Drittmittel zum primären Ziel der universitären Forschung erklärt haben.

Aber leider hat sich das ganze Publikationssystem auch selbst pervertiert: In meinem Fach sind die meisten "guten" Zeitschriften in der Hand einiger weniger Verlage, die damit ein Geschäft machen. Und dann werden ständig neue Zeitschriften gegründet, fast jede Woche kommt eine Aufforderung per E-mail, in denen ...

#6 -

Fumarius | Do., 05.09.2024 - 10:21
Ein kleiner Einwand: "Drittmittel wiederum werden bereits vor der eigentlichen Forschungsleistung eingeworben, basierend auf dem Potenzial eines Projekts und dem Vertrauen in die Fähigkeiten der Forschenden. Über die tatsächliche Qualität und die Ergebnisse der später durchgeführten Forschung sagen sie wenig aus." Das mag im Grundsatz stimmen, wenn es aber - wie im Folgenden Ihres Beitrags - nicht um die Qualität eines einzelnen Forschungsbeitrags, sondern die Qualität wissenschaftlicher Leistungen eine*s Forschenden über längere Zeitraum geht, kann die Einwerbung von Drittmitteln, insbesondere von hochkompetitiven wie zB des ERC, durchaus _eine_ geeignete Indikatorik sein. Jedenfalls wäre es mE falsch, pauschal Drittmittel "aus dem ...

#7 -

Django | Do., 05.09.2024 - 10:59
"Das Ergebnis ist ein wissenschaftliches Ökosystem, das sich zunehmend nach den Regeln der Evaluationsmechanismen richtet anstatt nach den Bedürfnissen der Forschung selbst."

Das ist ja wenig überraschend. Das Phänomen nennt sich "Anreizsteuerung" und gilt in vielen Lebensbereichen. Und mit der zunehmenden Ökonomisierung der Gesellschaft breitet es sich natürlich aus. Dass die Anreize u.U. falsch gesetzt werden, sieht man nicht nur in der Wissenschaft - im Sport wird "nach Paris" auch heftig diskutiert, ob das Geld sinnvoll verteilt wird.

Über Zitationskartelle wurde schon vor dreißig Jahren diskutiert bzw. gelästert.

#8 -

Hugo | Fr., 20.09.2024 - 14:23
Na ja, vielleicht sollte man mal versuchen, neben dem Ranking und nach Verifikation der wissenschaflich-technischen Validät auch mal das sicherlich vermessbare (interdisziplinäre) Risiko zu beziffern und mit zu ranken. Wäre doch mal was neues, um dem offenbar systematischen monodisziplineären, versäulten Bias entgegenzuwirken.

Hier hilft auch ein Blick auf Experiment! der VW-Stiftung.

Neuen Kommentar hinzufügen

Ihr E-Mail Adresse (wird nicht veröffentlicht, aber für Rückfragen erforderlich)
Ich bin kein Roboter
Geben Sie die Zeichen ein, die im Bild gezeigt werden.
Diese Sicherheitsfrage überprüft, ob Sie ein menschlicher Besucher sind und verhindert automatisches Spamming.