Warum braucht es neue Lösungen?

Digitale Bildungsangebote und nutzergenerierte Inhalte gehören längst zum Alltag. Gleichzeitig steigen die Anforderungen: Inhalte müssen rechtlich unbedenklich sein – etwa im Hinblick auf Strafrecht, Jugendschutz, Persönlichkeitsrechte und Datenschutz.

Bisherige technische Lösungen stoßen hier schnell an ihre Grenzen. Klassische Filter arbeiten meist auf URL- oder Wortebene. Sie können weder den Kontext eines Inhalts erfassen noch zwischen problematischen und didaktisch eingebetteten Inhalten unterscheiden. Das führt häufig zu:

• Overblocking: Unproblematische Inhalte werden fälschlich gesperrt
• Underblocking: Problematische Inhalte bleiben unerkannt

Genau hier setzt unsere Arbeit an.

Unser Ansatz: Kontext statt nur Keywords

Im Projekt wurde ein KI-gestütztes Prüf-Framework entwickelt, das Inhalte auf Bedeutungsebene analysiert. Grundlage ist eine vierstufige Prüfstruktur („Gates“), die sich an zentralen Rechtsbereichen orientiert:

1. Strafrecht (z. B. Beleidigung, Bedrohung)
2. Jugendschutz
3. Persönlichkeitsrechte
4. Datenschutz und Transparenz

Das System ist dabei bewusst als Assistenzlösung konzipiert: Die KI übernimmt eine Vorprüfung, die finale Bewertung bleibt beim Menschen („Human-in-the-Loop“).

Zwei technische Wege im Vergleich

Im Arbeitspapier wurden zwei zentrale Ansätze untersucht:

• Semantische Ähnlichkeitssuche
  Inhalte werden mit bekannten problematischen Textmustern verglichen
• LLM-as-a-Judge
  Ein Sprachmodell bewertet Inhalte direkt im Kontext und trifft eine Einschätzung

Das Ergebnis:
Der LLM-basierte Ansatz arbeitet insgesamt konsistenter und genauer, insbesondere bei klaren Verstößen.

Was zeigen die Ergebnisse?

Die Evaluation liefert ein differenziertes Bild:

• Sehr gute Erkennung klarer Verstöße
  Bedrohungen wurden mit sehr hoher Genauigkeit erkannt (F1 bis zu 0,97)
• Herausforderungen bei kontextabhängigen Fällen
  Beleidigungen bleiben schwieriger zu bewerten, insbesondere in didaktischen Kontexten
• Großer Einfluss der Datenbasis
  Synthetisch erzeugte Trainingsdaten erwiesen sich als deutlich besser geeignet als reale Gerichtsurteile für den Bildungskontext

Ein wichtiger Befund: Für schulische Nutzung sind viele reale juristische Daten schlicht nicht passend – hier braucht es gezielt erzeugte, kontextnahe Beispiele.

Was bedeutet das für WLO?

Für Plattformen wie WLO ist das Thema zentral:
Wenn Inhalte offen geteilt, kuratiert und weiterentwickelt werden, braucht es gleichzeitig verlässliche Mechanismen zur Qualitätssicherung – auch rechtlich.

Das entwickelte Framework zeigt, dass:

• eine automatisierte, inhaltsbezogene Rechtsprüfung technisch möglich ist
• sie deutlich präziser arbeiten kann als bisherige Filtersysteme
• sie aber immer in Kombination mit menschlicher Prüfung gedacht werden muss

Wie geht es weiter?

Das Arbeitspapier markiert einen wichtigen Zwischenschritt. Für die Weiterentwicklung stehen unter anderem folgende Themen im Fokus:

• Validierung der juristischen Kriterien durch Expert
• Ausbau und Qualitätssicherung der Trainingsdaten
• Verbesserung bei kontextsensiblen Fällen
• Erweiterung auf weitere Inhaltsformen (z. B. Bilder, Videos)

Langfristig kann so ein System dazu beitragen, digitale Bildungsräume sicherer, fairer und verlässlicher zu gestalten – ohne dabei wertvolle Inhalte unnötig einzuschränken.

Das vollständige Arbeitspapier ist im Kontext des Projekts IT’s JOINTLY entstanden. 
Autor: Jan Schachtschabel, mit Beiträgen aus dem Projektteam.

Euer WLO-Team