Prüfungsfälle mit Lösungshinweisen
Die folgenden Fälle sind auf die Kompetenzstufe (III) zugeschnitten. Bearbeiten Sie sie zunächst eigenständig, bevor Sie die Lösungshinweise lesen. Grundlage sind ist Workbook LF 8 – Künstliche Intelligenz.
Sachverhalt Die Stadt Biberg beschafft für ihr Personalamt einen KI-Agenten. Er soll eingehende Bewerbungen analysieren, auf Vollständigkeit prüfen, sie den Stellenausschreibungen zuordnen und Bearbeitungshinweise erzeugen. Die Amtsleitung schlägt vor, den Agenten künftig auch selbst entscheiden zu lassen, welche Bewerberinnen und Bewerber zum Vorstellungsgespräch eingeladen werden – „das spart die gesamte Vorauswahl“. In einem Testlauf gibt der Agent zu einer Bewerbung den Hinweis aus: „Einstellung ausgeschlossen, § 18 BayBG.“ Eine Freigabe durch Datenschutzbeauftragte und Informationssicherheitsbeauftragte liegt nicht vor.
Aufgabe
Lösungshinweise
Sachverhalt Die Gemeinde Y stellt auf ihrer Website einen generativen KI-Chatbot bereit, der allgemeine Fragen zu Verwaltungsleistungen, Zuständigkeiten und Fristen beantwortet. Ein Hinweis auf den KI-Einsatz fehlt; das Fenster ist mit „Ihr Bürgerservice“ überschrieben. Der Chatbot nennt einem Bürger eine falsche Widerspruchsfrist und beruft sich dabei auf eine nicht existierende Vorschrift. Der Bürger versäumt die Frist. Die Gemeinde erklärt, verantwortlich sei der Softwareanbieter, sie habe das Produkt nur eingekauft. Der Chat wird vollständig mit Namen, E-Mail-Adresse und IP-Adresse protokolliert und beim Anbieter gespeichert.
Aufgabe Beurteilen Sie den Sachverhalt und formulieren Sie Abhilfemaßnahmen.
Lösungshinweise
1. Risikoeinordnung: Nach dem Sachverhalt bestehen keine Anhaltspunkte für ein Hochrisiko-KI-System nach Anhang III KI-VO – der Bot gibt allgemeine Leistungsinformationen und entscheidet nicht über den Zugang zu Leistungen. Minimales KI-VO-Risiko bedeutet aber nicht risikofrei: DSGVO, Fachrecht und interne Regelungen gelten unverändert.
2. Transparenzpflicht: Nach Art. 50 Abs. 1 KI-VO müssen natürliche Personen erkennen können, dass sie mit einem KI-System interagieren, sofern dies nicht ohnehin offensichtlich ist. Die Bezeichnung „Ihr Bürgerservice“ legt eher menschliche Kommunikation nahe. Der Hinweis fehlt und ist nachzuholen – rechtzeitig, klar und barrierefrei.
3. Rollenverteilung: Die Gemeinde verwendet das System in eigener Verantwortung und ist Betreiberin (Art. 3 Nr. 4 KI-VO). Der Verweis auf den Anbieter geht fehl: Beschaffung entlastet die Behörde nicht von eigenen Pflichten. Datenschutzrechtlich ist die Gemeinde Verantwortliche; der Anbieter ist regelmäßig Auftragsverarbeiter, weshalb ein Vertrag nach Art. 28 DSGVO erforderlich ist.
4. Datenschutz: Die Verarbeitung personenbezogener Daten braucht eine Rechtsgrundlage, für Behörden regelmäßig Art. 6 Abs. 1 Buchst. e DSGVO. Die vollständige Protokollierung mit Name, E-Mail-Adresse und IP-Adresse verstößt gegen Datenminimierung und Zweckbindung (Art. 5 DSGVO), soweit sie für die Auskunft nicht erforderlich ist. Zu klären sind ferner Speicherort und -dauer, ein Löschkonzept, die Frage der Verarbeitung zu Trainingszwecken sowie eine mögliche Drittstaatenübermittlung. Die Verarbeitungstätigkeit ist in das Verzeichnis nach Art. 30 DSGVO aufzunehmen.
5. Fehlerhafte Auskunft: Die erfundene Vorschrift ist eine Halluzination generativer KI. Erforderlich sind eine geprüfte und aktuell gehaltene Wissensbasis (Dokumenten-Chat statt Trainingswissen), fachliche Stichproben, laufendes Monitoring und ein Eskalationsweg zu Beschäftigten bei rechtlich bedeutsamen Anfragen. Fristauskünfte gehören zu den besonders sensiblen Inhalten und sollten mit einem ausdrücklichen Vorbehalt versehen oder ganz ausgenommen werden.
6. Verantwortung: Die Verantwortung für die veröffentlichten Informationen verbleibt bei der Behörde. Der Einsatz eines KI-Systems entbindet sie weder fachlich noch rechtlich. Fehlerhafte Auskünfte können das Vertrauen in staatliche Kommunikation beschädigen und im Einzelfall Haftungs- und Wiedereinsetzungsfragen aufwerfen; deren Beurteilung richtet sich nach dem einschlägigen Fachrecht.
7. Abhilfemaßnahmen: (1) Deutlich sichtbarer KI-Hinweis und Datenschutzinformation; (2) Reduktion der protokollierten Daten auf das Erforderliche, Löschkonzept, AV-Vertrag, Ausschluss der Trainingsnutzung; (3) Beschränkung auf geprüfte Wissensbestände mit Quellenangabe, Ausschluss oder Kennzeichnung von Fristauskünften, regelmäßige fachliche Überprüfung und dokumentierte Freigabe durch DSB und ISB.
Sachverhalt Das Landratsamt Z setzt ein KI-System ein, das aus den Kontrolldaten der letzten zwölf Jahre eine Prioritätenliste für Betriebskontrollen erzeugt. Nach wenigen Monaten fällt auf, dass bestimmte Betriebsarten und ein bestimmter Ortsteil auffallend häufig vorgeschlagen werden, obwohl die Beanstandungsquote dort nicht höher ist. Die Sachbearbeitung übernimmt die Liste unverändert; auf Nachfrage kann niemand erklären, warum ein Betrieb gelistet ist – „das rechnet das System“.
Aufgabe Beurteilen Sie das Vorgehen und schlagen Sie Maßnahmen vor.
Lösungshinweise
1. Ursache – Bias aus den Trainingsdaten: Das System lernt aus historischen Kontrolldaten. Wurden bestimmte Betriebe in der Vergangenheit häufiger kontrolliert, bewertet das Modell sie weiterhin als risikoreicher, auch ohne aktuelle sachliche Grundlage. Es entsteht eine selbstverstärkende Rückkopplung: mehr Kontrollen erzeugen mehr Daten, die die Auswahl erneut bestätigen. Bias ist dabei nicht nur ein Datenproblem – auch eine ungeeignete Zielgröße (Anzahl Kontrollen statt Beanstandungen) kann Verzerrungen erzeugen. Eine statistische Auffälligkeit ist kein Nachweis eines Verstoßes.
2. Betreiberpflichten: Soweit das System als Hochrisiko-KI-System einzustufen ist, verlangt Art. 26 Abs. 4 KI-VO relevante und hinreichend repräsentative Eingabedaten, Abs. 5 die Überwachung des Betriebs. Unabhängig von der Einstufung gebietet Art. 26 Abs. 2 KI-VO bzw. die allgemeine Sorgfaltspflicht, die Ausgaben nicht ungeprüft zu übernehmen. Die unveränderte Übernahme der Liste ist nur scheinbare menschliche Aufsicht.
3. Verwaltungsrechtliche Bindungen: Die Auswahl der zu kontrollierenden Betriebe ist eine Ermessensentscheidung. Sie unterliegt dem Gleichbehandlungsgebot (Art. 3 Abs. 1 GG), dem Untersuchungsgrundsatz (§ 24 VwVfG) und – soweit ein Verwaltungsakt ergeht – der Begründungspflicht (§ 39 VwVfG). Wenn niemand erklären kann, warum ein Betrieb ausgewählt wurde, ist die Entscheidung nicht begründbar: Das Black-Box-Problem wird hier unmittelbar rechtlich relevant. Ermessen darf nicht an ein System delegiert werden.
4. Ethische Einordnung: Betroffen sind die Grundprinzipien Fairness (keine ungerechtfertigte Benachteiligung), Erklärbarkeit und Transparenz. Erklärbarkeit verlangt keine Offenlegung jedes Parameters, wohl aber eine für Zweck und Adressaten angemessene Nachvollziehbarkeit.
5. Maßnahmen: (1) Trainings- und Eingabedaten auf Verzerrungen prüfen, Zielgröße überdenken (Beanstandungen statt Kontrollhäufigkeit), Merkmale mit Diskriminierungspotenzial ausschließen; (2) Ergebnisse regelmäßig auf systematische Muster auswerten und mit der tatsächlichen Beanstandungsquote abgleichen; (3) begründungsfähige Ausgabe verlangen – wesentliche Auswahlgründe müssen benannt werden; (4) verbindliche fachliche Prüfung mit dokumentierter Abweichungsmöglichkeit, ergänzt um einen Anteil zufällig ausgewählter Kontrollen; (5) Zuständigkeiten, Protokollierung und Schulung festlegen; ggf. FRIA nach Art. 27 KI-VO und DSFA nach Art. 35 DSGVO durchführen.
Sachverhalt Die Pressestelle der Stadt W erstellt mit einem frei zugänglichen generativen KI-Dienst eine Broschüre. Verwendet werden ein fotorealistisches Bild einer scheinbar realen Bürgersprechstunde sowie ein kurzes Video, in dem eine Stimme wie die des Oberbürgermeisters spricht. Für die Bildbeschreibung wurden Auszüge aus einem noch nicht veröffentlichten Ratsvorlagenentwurf in den Dienst eingegeben. Auf der letzten Seite steht: „Diese Broschüre wurde mit KI erstellt – alle Inhalte sind daher urheberrechtsfrei nutzbar.“
Aufgabe Beurteilen Sie das Vorgehen in urheber-, persönlichkeits-, datenschutz- und transparenzrechtlicher Hinsicht.
Lösungshinweise
1. Urheberrecht: Urheberrechtsschutz setzt eine persönliche geistige Schöpfung eines Menschen voraus (§ 2 Abs. 2 UrhG). Rein KI-generierte Inhalte erfüllen diese Voraussetzung regelmäßig nicht. Daraus folgt aber nicht, dass sie frei verwendbar wären: Generative Modelle sind mit großen, teils geschützten Datenbeständen trainiert, sodass Ausgaben bestehenden Werken ähneln oder geschützte Elemente – etwa Logos oder Bildmotive – reproduzieren können. Der Satz auf der letzten Seite ist deshalb falsch und irreführend. Umgekehrt kann bei erheblicher menschlicher Gestaltung ausnahmsweise eigene Schutzfähigkeit entstehen; die Rechtslage ist insoweit nicht abschließend geklärt.
2. Persönlichkeitsrechte: Betroffen sind das allgemeine Persönlichkeitsrecht und das Recht am eigenen Bild. Die nachgebildete Stimme des Oberbürgermeisters ist ein Deepfake – besonders heikel, weil er Bürgerinnen und Bürger über die Echtheit behördlicher Kommunikation täuschen kann. Ohne Einwilligung ist die Verwendung unzulässig; auch mit Einwilligung bleibt sie kommunikativ riskant.
3. Kennzeichnung: KI-generierte oder manipulierte Bild-, Audio- und Videoinhalte, die realen Inhalten täuschend ähnlich sind, sind nach Art. 50 Abs. 4 KI-VO als künstlich erzeugt oder manipuliert kenntlich zu machen. Der pauschale Schlusssatz ersetzt keine Kennzeichnung am jeweiligen Inhalt. Wichtig: Kennzeichnung macht einen sonst unzulässigen Einsatz nicht zulässig, und sie ist keine Nutzungserlaubnis.
4. Datenschutz und Vertraulichkeit: Die Eingabe von Auszügen aus einem unveröffentlichten Vorlagenentwurf in einen frei zugänglichen Dienst ist regelmäßig unzulässig: Es fehlt an einer behördeninternen Freigabe, an einem Auftragsverarbeitungsvertrag und an der Kontrolle darüber, ob die Eingaben zu Trainingszwecken weiterverwendet werden. Vertrauliche und personenbezogene Inhalte gehören nicht in nicht freigegebene Systeme; einschlägig sind die Grundsätze der Datenminimierung und Zweckbindung sowie die Vorgaben zur digitalen Souveränität. In Bayern steht mit BayernKI eine im Behördennetz betriebene Alternative zur Verfügung.
5. Ergebnis: Die Broschüre darf so nicht veröffentlicht werden. Erforderlich sind: Verzicht auf den Stimm-Deepfake oder ausdrückliche Einwilligung und Kennzeichnung, Kennzeichnung des fotorealistischen Bildes, Streichung des Urheberrechtshinweises, Rechteprüfung der Motive, Nutzung eines freigegebenen KI-Dienstes sowie eine dokumentierte fachlich-rechtliche Freigabe vor Veröffentlichung.
Diese Aufgabe liegt auf der Kompetenzstufe (II): einordnen und begründen. Grundlage sind die Folien 20–23 des Skripts sowie das Kapitel „Rechtlicher Rahmen“ des Workbooks. Die Punkte trägt auch hier nicht die Zuordnung selbst, sondern die Begründung – formulieren Sie deshalb zu jeder Nummer einen vollständigen Satz mit Norm.
Aufgabe Ordnen Sie die folgenden Anwendungen der passenden Risikoklasse der KI-Verordnung zu (verbotene Praktik – Hochrisiko-KI-System – KI-System mit Transparenzpflichten – minimales Risiko) und begründen Sie Ihre Entscheidung.
Frageraster für die Zuordnung
1. Ist die Praktik als solche mit den Grundrechten unvereinbar (Art. 5 KI-VO)? → verboten
2. Wird das System in einem der Bereiche des Anhangs III eingesetzt und kann es dort erhebliche Auswirkungen auf Grundrechte oder Sicherheit entfalten (Art. 6, 7 KI-VO)? → Hochrisiko
3. Interagiert es mit Menschen oder erzeugt es Inhalte, deren künstlicher Ursprung nicht erkennbar ist (Art. 50 KI-VO)? → Transparenzpflichten
4. Trifft nichts davon zu? → minimales Risiko – ohne besondere Pflichten nach der KI-VO, aber nicht ohne Recht.
Merksatz Verboten = unvereinbar. Hochrisiko = folgenreich. Transparenz = erkennbar. Minimal = alltäglich.
Anschlussfrage für die Kompetenzstufe (III) „Ihre Gemeinde erweitert den Bürgerchatbot aus Nummer 3 um die Funktion, eingehende Anträge auf eine kommunale Sozialleistung vorzuprüfen und eine Bewilligungs- oder Ablehnungsempfehlung zu erzeugen. Beurteilen Sie die Folgen dieser Erweiterung.“
Erwartete Argumentation: Maßgeblich ist die Zweckbestimmung, nicht das Produkt: Mit der neuen Funktion wirkt das System auf den Zugang zu einer grundlegenden öffentlichen Leistung ein und ist regelmäßig als Hochrisiko-KI-System nach Anhang III Nr. 5 einzustufen. Daraus folgen die Betreiberpflichten nach Art. 26 KI-VO, die Grundrechte-Folgenabschätzung nach Art. 27 KI-VO, eine dokumentierte fachliche Prüfung jeder Empfehlung sowie die Beachtung des Art. 22 DSGVO. Die Transparenzpflicht nach Art. 50 KI-VO entfällt dadurch nicht, sondern tritt hinzu.
Abhilfe: Trennung der Funktionen (Auskunft und Antragsprüfung als getrennte Systeme mit eigener Einstufung), Einbindung von DSB und ISB, Festlegung der Human-Oversight-Punkte und Protokollierung; die Entscheidung über die Erweiterung ist eine Leitungsentscheidung und liegt bei der Behördenleitung.
Prüfungsfragen
Kurzfragen zum Selbsttest. Klappen Sie die Antwort erst auf, nachdem Sie eine eigene Antwort formuliert haben. Die Fragen decken die drei Lernfelder des Workbooks ab: Einsatz von KI in der öffentlichen Verwaltung, rechtlicher Rahmen und KI-gestützte Anwendungen im Behördenalltag.
Wie definiert die KI-Verordnung ein KI-System?
Welche fünf Merkmale kennzeichnen diese Legaldefinition?
Warum ist das Merkmal der Inferenz so wichtig?
Worin unterscheiden sich algorithmische und KI-gestützte Unterstützung?
Wie verhalten sich Digitalisierung und KI zueinander?
Was ist der Unterschied zwischen schwacher und starker KI?
Ist ein leistungsfähiges Sprachmodell wie ChatGPT starke KI?
Was versteht man unter maschinellem Lernen?
Nennen Sie die drei Arten des maschinellen Lernens mit je einem Verwaltungsbeispiel.
Was unterscheidet Training und Inferenz?
Was ist Deep Learning und wie verhält es sich zu KI und maschinellem Lernen?
Was ist ein Large Language Model (LLM) und wie erzeugt es Text?
Häufige Fehler