Wie kann künstliche Intelligenz helfen, auf Hassrede und Desinformation in sozialen Medien zu reagieren und einen konstruktiven Dialog zu fördern? Diese Frage bewegt Redaktionen und Community Manager:innen gleichermaßen, denn toxische, polarisierende Inhalte stellen Medienhäuser vor große Herausforderungen. Mit ihrem Projekt „narraltiv“ entwickelten Dr. Linda Walter und Simon Liedtke in der MIZ-Innovationsförderung ein KI-Tool, das genau hier ansetzt: Es analysiert problematische Diskurse in Echtzeit und generiert auf dieser Grundlage verbindende Geschichten, die als Antwortvorschläge direkt in Diskussionen eingesetzt werden können.

Im Interview zum Projektabschluss erklären Dr. Linda Walter und Simon Liedtke, wie das Tool funktioniert, was „narraltiv“ von anderen Community-Management-Tools unterscheidet und welche nächsten Schritte das Team plant.

Das Gründerduo beim Media Innovation Breakfast 2025 | © MIZ Babelsberg / William Veder

„Unser Ansatz ist es, gezielt narrative Antworten zu ermöglichen, die auf Augenhöhe, emotional anschlussfähig und kontextsensibel sind."

Liebe Linda, lieber Simon, gesellschaftliche Debatten in den sozialen Medien sind inzwischen oft sehr polarisiert. Mit narraltiv wollt ihr dem entgegenwirken. Was ist euer Ansatz?

Dr. Linda Walter: Wir glauben, dass sich Polarisierung nicht allein durch das Löschen von Kommentaren oder das Blockieren von Nutzer:innen aufhalten lässt. Unser Ansatz ist es, gezielt narrative Antworten zu ermöglichen, die auf Augenhöhe, emotional anschlussfähig und kontextsensibel sind. Das heißt: Wir setzen auf Geschichten, die Verbindung schaffen, verstehen helfen und Vertrauen wiederherstellen – eingebettet in die Realität der jeweiligen Community.

Welche Funktionen bietet narraltiv und wer ist eure Zielgruppe?

Simon Liedtke: Aktuell ist narraltiv ein Browser-Plugin, das sich in bestehende Community-Management-Systeme wie SWAT.io integrieren lässt. Es erkennt toxische Kommentare – insbesondere solche, die juristisch zulässig, aber kommunikativ destruktiv sind („lawful but awful“) – und schlägt passende Reaktionen vor. Diese werden aus einer Narrativ-Datenbank mit eigenen redaktionellen Inhalten generiert.

Unsere Zielgruppe sind Redaktionen und Community Manager:innen in Medienhäusern, Firmen und Organisationen, die sich eine verantwortungsvolle und wirksame Diskurskultur wünschen.

Screenshot von „narraltiv“. Das KI-Tool erzeugt in Sekundenbruchteilen konkrete kurze Geschichten als Antwortvorschläge, die Community Manager:innen direkt übernehmen, anpassen oder weiterspielen können.

Welche KI-Modelle nutzt ihr und wofür kommen sie in eurem Tool zum Einsatz?

Simon: Für die Erkennung toxischer Kommentare setzen wir auf spezialisierte Klassifikationsmodelle (z. B. BERT- und RoBERTa-Derivate, optional auch die Google Perspective API), die wir domänenspezifisch feinjustiert haben.

Für Kontextverständnis und Narrativ-Generierung nutzen wir ein Retrieval-Augmented-Generation-System (RAG). Das bedeutet, dass Antworten nicht frei aus dem Sprachmodell generiert werden, sondern gezielt auf Basis verifizierter Inhalte entstehen. Hierfür kombinieren wir Large Language Models (z. B. Gemini Flash) mit eigenen Vektor-Datenbanken sowie wissenschaftlich fundiertem Prompt-Engineering.

Unsere Nutzer:innen können entscheiden, welche Modelle zum Einsatz kommen sollen. Auch eigene oder lokale Modelle lassen sich nahtlos in unsere Pipeline integrieren und bei Bedarf weiter anpassen.

„Die meisten Tools helfen beim Reporting oder automatisierten Verbergen von Kommentaren, aber sie geben keine inhaltliche Antworthilfe. Genau hier setzen wir an."

Was unterscheidet narraltiv von anderen Community-Management-Tools und wie macht euer Tool die Arbeit von Community Manager:innen besser?

Linda: Die meisten Tools helfen beim Reporting oder automatisierten Verbergen von Kommentaren, aber sie geben keine inhaltliche Antworthilfe. Genau hier setzen wir an: narraltiv gibt kurze verbindende Geschichten als Antwortvorschläge direkt im Workflow aus – zugeschnitten auf Tonfall, Zielgruppe und redaktionellen Kontext. Damit können sich Community Manager:innen auf das konzentrieren, was zählt: Verbindung statt Eskalation.

Mit welchen Praxispartnern habt ihr das Tool getestet und welche Ergebnisse habt ihr erzielt?

Linda: Wir haben narraltiv in einer Testphase mit dem rbb erprobt, insbesondere im Community Management. Dabei haben wir Interviews, Feedbackschleifen und UX-Tests durchgeführt. Die Rückmeldungen waren insgesamt sehr positiv. Besonders der Ansatz, mit narrativen Antworten, statt reinen Standardfloskeln auf toxische Kommentare zu reagieren, stieß auf großes Interesse.

Dr. Linda Walter und Simon Liedtke präsentieren ihr KI-Tool „narraltiv“. | © MIZ Babelsberg / William Veder

Welches Feedback habt ihr in die Produktentwicklung einfließen lassen?

Simon: Besonders wichtig war das Feedback zur Authentizität. Die Redaktion wollte keine „KI-Texte“, sondern Reaktionen, die auf existierende journalistische Inhalte verweisen. Wir haben deshalb eine Import-Funktion für redaktionelle Inhalte gebaut, die es ermöglicht, kurze Narrative aus Artikeln und Formaten generieren zu lassen. Außerdem haben wir ein Stilprofil-Modul integriert, um Sprache, Tonalität und No-Gos redaktionsspezifisch anzupassen.

Wie geht es jetzt nach der MIZ-Förderung für euch weiter und was sind eure nächsten Schritte?

Simon: Wir wurden in den MediaTech Hub Accelerator aufgenommen und sind dort im Dezember 2025 in die nächste Entwicklungsphase gestartet.

Unser Schwerpunkt liegt nun auf dem Ausbau zu einem dialogischen KI-Agenten, der auf Feedback reagiert und kontinuierlich dazulernt, sowie auf der Entwicklung eines Analytics-Moduls, das toxische Dynamiken frühzeitig erkennt und deren Wirkungen sichtbar macht.

Parallel dazu bereiten wir ein Software-as-a-Service-Lizenzmodell vor und planen ab 2026 weitere Partner aus Medien, Zivilgesellschaft und Bildungsbereich zu gewinnen.

„Die MIZ-Förderung hat uns den nötigen Spielraum gegeben, um unser Konzept nicht nur technisch umzusetzen, sondern es auch in der Praxis zu testen und weiterzuentwickeln."

Wie habt ihr von der MIZ-Förderung profitiert und welche Vorteile haben euch besonders bei der Projektentwicklung geholfen?

Linda: Die MIZ-Förderung hat uns den nötigen Spielraum gegeben, um unser Konzept nicht nur technisch umzusetzen, sondern es auch in der Praxis zu testen und weiterzuentwickeln.

Besonders hilfreich war dabei der strukturierte Förderrahmen: feste Meilensteine, regelmäßige Reflexionsanlässe und die enge Anbindung an das MIZ-Team. So konnten wir unsere Ideen fokussieren, Rückmeldungen einarbeiten und das Projekt schrittweise in Richtung Einsatzfähigkeit bringen.

Auch die Vernetzung mit anderen Teams und die öffentliche Sichtbarkeit, etwa durch Pitch-Formate und Veranstaltungen wie das Media Innovation Breakfast, haben narraltiv enorm weitergebracht.

>>> zur Website von „narraltiv“
>>> Projektseite von „narraltiv“ auf der MIZ-Website
>>> Präsentation von „narraltiv“ beim Media Innovation Breakfast (startet ab 36:24)