Ein Experiment mit jungen Forschern an der Universität Mannheim zeigt, wie tiefgreifend ChatGPT & Co das wissenschaftliche Schreiben verändern – und dass das noch längst nicht alles ist.  

Gemeinsamer Auftakt zum "Hackathon" an der Universität Mannheim. Foto: Springer Nature.

DIE 22 JUNGEN WISSENSCHAFTLER, die vergangenen September aus aller Welt nach Mannheim reisten, wussten nicht genau, was sie erwartete. "Hackathon" hieß die Veranstaltung, die Mannheimer Professoren zusammen mit dem Wissenschaftsverlag Springer Nature organisiert hatten. Doch streng genommen handelte es sich um ein Experiment mit Test- und Kontrollgruppe zur Wirkung von KI im akademischen Schreibprozess speziell in den Sozialwissenschaften, begleitet von menschlichen und maschinellen Reviewern. Drei Tage in Seminarräumen, der ständige Wechsel zwischen Schreibphasen und Pausen, am Abend zur Belohnung Spaghetti-Eis oder Döner, – und die ganze Zeit mittendrin: Chat GPT-4.

Mitorganisator Marc Ratkovic war kurz vorher aus Harvard an die Universität Mannheim gewechselt, auf einen Lehrstuhl für "Social Data Science". Für ihn und seinen Kollegen Thomas Gschwend war das Experiment mehr als eine methodische Übung. Es war ein Realitätscheck. "Ich wollte wissen, was passiert, wenn man GPT nicht auf standardisierte Werbetexte oder Programmieraufgaben loslässt, sondern auf die Verarbeitung echter Forschung."

Die meisten der 22 Teilnehmer waren Politikwissenschaftler, dazu ein paar Soziologen, Wirtschaftswissenschaftler oder Psychologen, entweder Doktoranden oder Postdocs, aus Harvard, Zürich, Mailand, Berlin oder Mannheim. Das Ziel: auf der Grundlage eigener Forschungsergebnisse die erste Fassung eines Journal-Artikels schreiben zur späteren Einreichung für eine Spezialausgabe von "Humanities and Social Science Communications" – ein Journal aus der Nature-Familie. Die einen mit, die anderen ohne GPT-Unterstützung. Normalerweise arbeite er mit größeren Stichproben, sagt Ratkovic, "das hieß: Bei einer so kleinen Zahl von Teilnehmern zählte jede Beobachtung."

Klarer, aber nicht origineller

Zufällig zusammengesetzte Gruppen, ein Vorher-Nachher-Vergleich, eine Parallel-Bewertung durch menschliche Gutachter und "SakanaAI", eine GPT-basierte Begutachtungssoftware, all das ergänzt durch psycholinguistische Analysen: Die Ergebnisse haben Ratkovic und seine Mitstreiter jetzt veröffentlicht. Und auch wenn die Ergebnisse kaum überraschen, sind sie doch aufschlussreich. Die Texte, die mit Hilfe der KI entstanden, wurden von Gutachtern und Software gleichermaßen als deutlich klarer und kohärenter eingeschätzt. Was ihre Originalität, ihre analytische Tiefe oder methodische Strenge anging, gab es dagegen keine statistisch messbare Verbesserung gegenüber der Kontrollgruppe, die ohne KI auskommen musste. Dafür berichteten die GPT-Nutzer von insgesamt weniger Zeitdruck. GPT-4, so Ratkovic, sei "kein Ideengeber, aber ein hervorragender Ordnungshelfer".

Mit seinem Setting hob sich der Mannheimer Hackathon von vielen bisherigen Studien zur KI-Nutzung ab. Das Massachusetts Institute of Technology (MIT) etwa hatte schon 2023 untersucht, wie ChatGPT die Produktivität bei beruflichen Schreibaufgaben steigert. Die Harvard-Universität machte ähnliche Experimente mit Unternehmensberatern. Die Schlussfolgerung war jedes Mal dieselbe: KI macht schneller – und manchmal sogar besser.

Der Unterschied: Fast alle bisherigen Untersuchungen basierten auf künstlich erzeugten Aufgaben unter Laborbedingungen. Während der Hackathon auf der intrinsischen Motivation der Wissenschaftler aufbaute, ihre echten Forschungsergebnisse aufzuschreiben und zu veröffentlichen.

Eine entscheidende Schwäche freilich konnte auch das Mannheimer Projekt nicht vermeiden. Doris Weßels, KI-Forscherin am FuE-Zentrum der FH Kiel und Mitbegründerin des Virtuellen Kompetenzzentrums "Künstliche Intelligenz und wissenschaftliches Arbeiten", beschreibt sie als Kernproblem der wissenschaftlichen Auseinandersetzung mit sich rapide entwickelnden Technologien wie den KI-Sprachmodellen. "Die Studienergebnisse sind nachvollziehbar", sagt sie. "Und gleichzeitig schon überholt." Im Herbst 2024, als der Hackathon GPT-4 einsetzte, sei das System noch State of the Art gewesen, bei der Veröffentlichung im Frühjahr 2025 jedoch bereits durch noch leistungsstärkere Modelle abgelöst.

Forschungsergebnisse, die gleich wieder überholt sind

Inzwischen seien sogenannte Reasoning-Modelle, o3 von OpenAI zum Beispiel oder Gemini 2.5 Pro, verfügbar, die im Modus "Deep Research" speziell für Forschende nicht nur mehr Klarheit und Kohärenz, sondern auch explorative Tiefe und Argumentationsstärke versprächen – "bzw. deren Simulation", sagt Weßels, weil derartige KI-Systeme immer nur das menschliche Denken und Schlussfolgern nachbilden."

Würde der Hackathon heute wiederholt, könnte er also schon wieder ganz andere Ergebnisse produzieren, die aber, sagt Weßels, bei ihrer Veröffentlichung vermutlich wiederum überholt sein werden. Ihre Folgerung: "Wir müssen bei der Erforschung von und durch KI nicht nur den Forschungsprozess, sondern auch die Veröffentlichungspraxis neu denken – hin zu einer Begleitforschung, die nicht nur hinterherdokumentiert, sondern antizipiert.  Der klassische Ablauf – erst das Manuskript, dann monatelange Reviewprozesse, dann erst die Publikation – das passt nicht mehr in die Zeit.“

Die Grundfragen allerdings, die das Mannheimer Experiment aufwerfe, blieben trotzdem aktuell, sagt der ebenfalls nicht an dem Projekt beteiligte Organisationssoziologe Marcel Schütz, Mitglied einer neuen, BMFTR-geförderten Forschungsgruppe zu Funktionen und Folgen Künstlicher Intelligenz in der Wissenschafts- und Hochschulorganisation. KI-Sprachmodelle diente nicht nur als Werkzeuge zur Beschleunigung von Forschung, sondern auch als Stresstest für die Idee akademischer Autorschaft. "Künftig wird es nicht mehr das klassische Plagiat geben", sagt er. "Aber Forschende kommen immer schneller in den Genuss ziemlich guter Textvorschläge – und müssen sich dann fragen: Was ist eigentlich noch mein eigener Beitrag?"

Schütz ist Professor an der Northern Business School Hamburg. Er sagt, besonders in textlastigen Fächern wie BWL, Soziologie oder Germanistik sei der Einsatz von KI-Sprachmodellen einerseits naheliegend, andererseits verzwickt. "Es geht nicht mehr darum, ob ein Fach zu KI passt – sondern ob ein Thema praktisch anschlussfähig ist." Und: "Wir müssen herausfinden, woran sich wissenschaftliche Expertise künftig eigentlich noch erkennen lässt – wenn Texte glatt und strukturiert klingen, aber nicht mehr klar ist, woher die Gedanken kommen."

Publizieren als Prozess, nicht als Pflicht

Für Springer Nature war der speziell auf die Sozialwissenschaften fokussierte Hackathon daher ein Testfall: Was passiert, wenn man Publizieren als Teil des wissenschaftlichen Prozesses versteht – nicht mehr als nachgelagerte Pflichtübung? "Wir wollen Forschung und Publikation zukünftig bewusst als Einheit denken – und lernen, welche maßgeschneiderten KI-Services Wissenschaftler dafür brauchen", erklärt Henning Schönenberger, Vice President Content Innovation bei Springer Nature. Gleichzeitig habe man als Verlag früh entschieden, KI-Nutzung zu erlauben, aber die Autorenschaft von Modellen abzulehnen.

"Wir waren die ersten, die KI nicht als Autor zuließen – aber ihre Nutzung erlauben und fördern, solange sie transparent gemacht wird", sagt Harsh Jegadeesan, Chief Publishing Officer bei Springer Nature.

Das Problem: Viele, die mit KI-Unterstützung schreiben, ob in der Wissenschaft oder außerhalb, tun genau das nicht. Aus Angst, dass ihre Texte dann als weniger wertvoll gelten könnten.

Noch könne er bei der Lektüre eines Manuskripts ziemlich gut erkennen, welche Idee darin von einem Menschen stammen – und welche von einer KI, sagt Marc Ratkovic – und wünscht sich eine Neuauflage des Hackathons. Dank KI hätten er und seine Studienteilnehmer nämlich nebenher viel Zeit für Anderes gehabt: zum Netzwerken, zum Döneressen, zum gemeinsamen Sport. "All das war möglich, weil uns die KI Zeit verschafft hat." Sagt er mit einem Lächeln und wird schnell wieder ernst: "KI verändert schon jetzt, wie wir denken, das ließ sich psycholinguistisch nachweisen."

Seine Aufgabe als Lehrender sieht er darin, seinen Studierenden, Doktoranden und Postdocs klarzumachen, wofür KI gut ist – und wofür nicht. Man müsse die Werkzeuge erst verstehen, bevor man sie einsetze. Daher lasse er seine Studierenden auch erst einen einfachen Chatbot selbst bauen, bevor sie ChatGPT nutzen dürfen. "Mein Rat an sie lautet: Versucht zuerst, selbst zu schreiben. Nutzt anschließend die KI zur Textbearbeitung. Und immer weiter hin und her. Nutzt die KI iterativ und lasst eure Kreativität nicht von dem Tool verschlucken."

Dieser Artikel erschien zuerst im Tagesspiegel.