Der Einsatz von Künstlicher Intelligenz hält zunehmend Einzug in Verwaltungen – etwa bei Assistenzsystemen, der internen Prozessoptimierung oder der Bearbeitung von Bürgeranfragen. Mit den neuen technischen Möglichkeiten stellt sich für öffentliche Stellen jedoch regelmäßig eine zentrale Frage: Welche Daten dürfen überhaupt in KI-Systemen verarbeitet werden – und was ist dabei zu beachten?[1]
Da der Einsatz von KI häufig mit der Verarbeitung personenbezogener Daten einhergeht, ist die Datenschutzgrundverordnung (DSGVO) frühzeitig in den Blick zu nehmen.
KI und DSGVO: Wann wird es datenschutzrechtlich relevant?
Die DSGVO greift immer dann ein, wenn personenbezogene Daten im Sinne von Art. 4 Nr. 1 DSGVO verarbeitet werden. Das sind gemäß der gesetzlichen Definition alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person („Betroffener“) beziehen. Eine natürliche Person ist identifizierbar, wenn sie direkt oder indirekt, insbesondere mittels Zuordnung zu einer Kennung wie einem Namen, zu einer Kennnummer, zu Standortdaten, zu einer Online-Kennung identifiziert werden kann. Dies kann beim Einsatz von KI-Systemen in unterschiedlichen Phasen der Fall sein – etwa bei der Eingabe von Daten (z.B. Prompts mit Personenbezug), bei der Nutzung von KI-Ergebnissen (z.B. generierte Texte oder Bewertungen über identifizierbare Personen) oder bei KI-Anwendungen im Personal-, Überwachungs- oder Bürgerkontaktbereich.
Soweit ein KI-System also Daten verarbeitet, die einer natürlichen Person zugeordnet werden können, gelten die Vorgaben der DSGVO. In diesen Fällen ist für die Verarbeitung insbesondere eine Rechtsgrundlage erforderlich. Die Verarbeitung kann außerdem Informationspflichten auslösen. Keine Anwendung findet die DSGVO hingegen, wenn ausschließlich anonyme Daten verarbeitet werden; eine (wirksame) Anonymisierung kann die DSGVO-Anwendbarkeit daher entfallen lassen. Daneben kann eine Pseudonymisierung die Risiken zumindest reduzieren, auch wenn pseudonymisierte Daten weiterhin personenbezogene Daten bleiben.
In der Praxis sollte daher stets vorab geprüft werden, ob die Verwendung personenbezogener Daten tatsächlich erforderlich ist oder ob sich der Anwendungsfall auch ohne Personenbezug realisieren lässt.
Large Language Models: Das Tool ist nicht das Problem
Besondere Aufmerksamkeit verdienen Large Language Models (LLM) wie ChatGPT. Gerade bei ihrem Einsatz bestehen in der Praxis Unsicherheiten. Ihre Nutzung begründet für sich genommen noch keine datenschutzrechtliche Verantwortlichkeit. Datenschutzrechtlich relevant wird es jedoch, wenn personenbezogene Daten in Prompts eingegeben oder Systeme mit solchen Daten sogar weitertrainiert werden. In diesen Fällen trägt die nutzende Behörde die volle datenschutzrechtliche Verantwortung, d.h. insbesondere die Verantwortung dafür, die entsprechende Verarbeitung DSGVO-konform auszugestalten.
Datenschutzkonformität setzt dabei insbesondere voraus, dass für jede Verarbeitung eine tragfähige Rechtsgrundlage nach Art. 6 DSGVO besteht. Für öffentliche Stellen kommt in einigen Fällen zwar regelmäßig die Verarbeitung zur Wahrnehmung einer Aufgabe im öffentlichen Interesse oder in Ausübung öffentlicher Gewalt (Art. 6 Abs. 1 lit. e DSGVO) in Betracht. Voraussetzung dafür ist jedoch, dass die konkrete KI-gestützte Verarbeitung vom gesetzlichen Aufgabenrahmen gedeckt und für die Aufgabenerfüllung erforderlich ist. Die bloße Arbeitserleichterung oder allgemeine Modernisierung der Verwaltung reicht hierfür grundsätzlich nicht aus. Soweit personenbezogene Daten in allgemein zugängliche, nicht spezifisch auftragsgebundene LLM-Dienste eingegeben werden sollen, wird es daher regelmäßig an der erforderlichen gesetzlichen Grundlage oder jedenfalls an der Erforderlichkeit der konkreten Übermittlung fehlen.
Für die öffentliche Hand bedeutet das: Nicht das Tool als solches ist das Risiko – sondern welche Daten in das Tool „eingespeist“ werden. Praktisch lassen sich datenschutzrechtliche Risiken dadurch vermeiden, dass in frei zugängliche oder nicht eigens vertraglich abgesicherte LLM-Dienste schlicht keinerlei personenbezogene Daten eingegeben werden. Entsprechende Vorgaben können und sollten über interne KI-Nutzungsrichtlinien verbindlich festgelegt und gegebenenfalls durch Schulungen ergänzt werden.
Besondere Vorsicht bei sensiblen Daten
Erhöhte Anforderungen gelten bei der Verarbeitung besonderer Kategorien personenbezogener Daten (Art. 9 DSGVO), etwa Gesundheitsdaten, biometrischen Daten oder Angaben zu politischen oder religiösen Überzeugungen. Eine KI-basierte Verarbeitung solcher Daten ist grundsätzlich verboten und nur unter engen gesetzlichen Ausnahmen zulässig.
Eine relevante Ausnahme kann nach Art. 9 Abs. 2 lit. e DSGVO zwar vorliegen, wenn die betroffene Person die sensiblen Daten „offensichtlich öffentlich gemacht“ hat. Dies kann etwa bei öffentlich zugänglichen Internetquellen eine Rolle spielen. Die Hürde liegt jedoch hoch: Nicht jede faktische Zugänglichkeit im Internet bedeutet automatisch, dass Daten „offensichtlich öffentlich gemacht“ wurden. Auch hier ist eine sorgfältige Prüfung im Einzelfall erforderlich. Für viele KI-Anwendungsfälle in der Verwaltung scheidet eine Verarbeitung dieser Daten daher faktisch aus.
Rollen, Verantwortlichkeiten und Verträge
Setzt eine Behörde KI-Systeme externer Anbieter ein (z.B. cloudbasierte KI-Dienste), ist zwingend zu klären, wer datenschutzrechtlich verantwortlich ist und in welchem Verhältnis die Beteiligten stehen (Auftragsverarbeitung nach Art. 28 DSGVO, gemeinsame Verantwortung nach Art. 26 DSGVO oder getrennte Verantwortlichkeit).
Häufig ist die Auftragsverarbeitung die vorzugswürdige Konstellation, da sie klare Verantwortlichkeiten schafft und Haftungsrisiken reduziert. Praktisch wichtig ist dabei, dass bei einer Auftragsverarbeitung der KI-Anbieter die im Auftrag verarbeiteten Daten nicht zu eigenen Zwecken (z.B. zum Training) nutzen sollte – was vertraglich abgesichert werden muss. Entscheiden Behörde und Anbieter hingegen gemeinsam über Zwecke und Mittel der Verarbeitung, kann eine gemeinsame Verantwortlichkeit nach Art. 26 DSGVO vorliegen.
Diese Konstellation ist rechtlich oftmals komplex und mit erhöhtem Abstimmungs- und Haftungsaufwand verbunden. Sie sollte daher – soweit möglich – vermieden oder zumindest bewusst gestaltet werden. Bei externen KI-Diensten lohnt zudem ein Blick auf das konkrete Produkt-/Lizenzmodell: Bei manchen Anbietern sind Eingaben in kostenlosen Varianten eher für eigene Zwecke des Anbieters nutzbar, während kostenpflichtige Angebote eher (auch) Auftragsverarbeitungsmodelle und Zusicherungen zum „Nicht-Training“ vorsehen.
Praxistipps für öffentliche Stellen
- Personenbezug prüfen: Vor jedem KI-Einsatz klären, ob und welche personenbezogenen Daten verarbeitet werden (müssen).
- Datenminimierung ernst nehmen: Wo möglich, auf anonyme oder zumindest pseudonymisierte Daten setzen.
- Rechtsgrundlage sicherstellen: Jede Verarbeitung benötigt einen Erlaubnistatbestand (z.B. Art. 6 DSGVO).
- Rollen definieren: Verantwortlichkeiten mit KI-Anbietern eindeutig festlegen und vertraglich absichern.
- KI-Richtlinien einführen: Klare interne Vorgaben zur zulässigen Nutzung von KI-Tools (z.B. keine Eingabe personenbezogener oder sensibler Daten, Prüfung der Ergebnisse, Beachtung von Nutzungsbedingungen). Begleitende Schulungen können zudem die notwendige „KI-Kompetenz“ der Mitarbeitenden fördern und Risiken reduzieren.
- Transparenz sicherstellen: Datenschutzhinweise prüfen und ggf. anpassen; bei KI-gestützten Verfahren auch Angaben zu automatisierten Entscheidungsprozessen vorsehen.
- Dokumentation nicht vergessen: Auch Verarbeitungsvorgänge mittels KI-Anwendungen sollten im Verzeichnis der Verarbeitungstätigkeiten erfasst werden; ggf. ist eine Datenschutzfolgenabschätzung erforderlich.
Fazit: KI nutzen – aber datenschutzbewusst
Der datenschutzkonforme Einsatz von KI ist für die öffentliche Hand kein Hindernis, sondern eine Gestaltungsaufgabe. Der Einsatz von KI scheitert regelmäßig nicht am Datenschutz, sondern an Unsicherheit im Umgang mit Daten. Entscheidend ist nicht der Verzicht auf KI, sondern ein bewusster und rechtlich sauberer Umgang mit personenbezogenen Daten im konkreten Anwendungsfall.
Werden Datenflüsse und Verantwortlichkeiten frühzeitig geklärt, lassen sich viele KI-Anwendungsfälle ohne größere Hürden umsetzen. So wird KI zu einem praktikablen Werkzeug für moderne Verwaltungsarbeit und nicht zu einem rechtlichen Risikofaktor.
Entnommen aus der Fundstelle Hessen 07/2026, Rn. 44.
[1] Beide Autoren sind in der Kanzlei MenoldBezler (Stuttgart) tätig. Siehe https://www.menoldbezler.de/.
