- KI-Verordnung regelt keine deterministischen und nicht-deterministischen KI-Systeme explizit
- Vollautomatisierte Verwaltungsakte bei Ermessen und Beurteilungsspielraum unzulässig
- Transparenz- und Begründungspflichten setzen nicht-deterministischer KI klare Grenzen
KI in der Verwaltung: Was gilt für nicht-deterministische Systeme?
Der Wissenschaftliche Dienst des Deutschen Bundestages hat in einer gemeinsamen Analyse der Fachbereiche EU 6 und WD 3 untersucht, welche rechtlichen Vorgaben und Grenzen für den Einsatz sogenannter nicht-deterministischer KI-Verfahren in Verwaltungsverfahren gelten. Das Dokument wurde am 1. September 2026 abgeschlossen und behandelt sowohl das EU-Recht als auch das nationale Verfassungs- und Verwaltungsrecht.
Was sind nicht-deterministische KI-Systeme?
Als nicht-deterministisch gelten KI-Systeme, die bei identischem Input unterschiedliche Ergebnisse liefern können. Dies betrifft insbesondere große generative Sprachmodelle, die in Chatbots integriert sind. Technisch arbeiten solche Modelle häufig auf Wahrscheinlichkeitsbasis; durch eingebaute Zufallselemente verhalten sie sich aus Nutzersicht unvorhersehbar. Hinzu kommt das sogenannte Black-Box-Problem: Entscheidungsprozesse komplexer KI-Modelle sind selbst für Fachleute schwer nachzuvollziehen.
EU-Recht: KI-Verordnung und Datenschutz-Grundverordnung
Die KI-Verordnung der EU unterscheidet nicht ausdrücklich zwischen deterministischen und nicht-deterministischen Systemen. Sie folgt einem risikobasierten Ansatz: Für sogenannte Hochrisiko-KI-Systeme – darunter fallen etwa KI-Anwendungen zur Bewertung von Ansprüchen auf Sozialleistungen, zur Asylprüfung oder im Strafverfolgungsbereich – gelten strenge Anforderungen an Transparenz, Datenqualität, menschliche Aufsicht und Genauigkeit. Anbieter müssen sicherstellen, dass Betreiber die Ausgaben des Systems nachvollziehen und bei Bedarf eingreifen können. Für alle KI-Systeme gilt zudem eine Pflicht zur Förderung der KI-Kompetenz des eingesetzten Personals.
Die Datenschutz-Grundverordnung verbietet vollständig automatisierte Einzelentscheidungen mit rechtlicher Wirkung grundsätzlich, lässt jedoch Ausnahmen zu – etwa bei einer nationalen Rechtsgrundlage, die angemessene Schutzmaßnahmen vorsieht. Der Europäische Gerichtshof hat klargestellt, dass Betroffene Anspruch auf eine verständliche Erläuterung haben, welche ihrer Daten auf welche Weise in eine automatisierte Entscheidung eingeflossen sind. Dies setzt der Verwendung nicht-deterministischer KI, deren Entscheidungswege schwer erklärbar sind, praktische Grenzen.
Nationales Recht: Verwaltungsverfahren und Verfassung
Im deutschen Verwaltungsrecht regelt § 35a VwVfG, dass vollautomatisierte Verwaltungsakte nur zulässig sind, wenn eine gesetzliche Grundlage besteht und weder Ermessen noch ein Beurteilungsspielraum vorliegt. Der Einsatz nicht-deterministischer KI ist in solchen gebundenen Entscheidungen problematisch, wenn er absehbar zu häufigeren rechtswidrigen Ergebnissen führt.
Aus dem Rechtsstaatsprinzip folgen weitere Anforderungen: Verwaltungsentscheidungen müssen begründet und nachvollziehbar sein. Wenn Black-Box-Effekte eine inhaltliche Begründung verhindern, ist dies rechtlich bedenklich. Das Gleichbehandlungsgebot verlangt, dass gleichgelagerte Fälle nicht ohne sachlichen Grund unterschiedlich entschieden werden – ein Risiko, das bei nicht-deterministischer KI besonders ausgeprägt ist. Schließlich betont die Analyse Bedenken hinsichtlich der demokratischen Legitimation: Wenn vollautomatisierte Entscheidungen für den zuständigen Amtswalter nicht absehbar sind, ist die Legitimationskette geschwächt. Als weniger problematisch gilt der lediglich unterstützende KI-Einsatz, sofern die Letztentscheidung beim Menschen verbleibt und der sogenannte Automatisierungsbias durch geeignete organisatorische Maßnahmen begrenzt wird.
➜ Vollständiges Dokument (PDF)
Weitere Beiträge
