<aside> 📚
Fachliche Überprüfung und Aktualisierung – Stand: 11.10.2026
</aside>
<aside> 💡
Hinweis zu Inhalt, Rechtsstand und KI
Die nachfolgenden Inhalte dienen ausschließlich der allgemeinen Information sowie Aus- und Fortbildungszwecken. Sie stellen keine Rechtsberatung und keine verbindliche behördliche Auskunft dar. Trotz sorgfältiger redaktioneller Prüfung kann keine Gewähr für die jederzeitige Vollständigkeit, Richtigkeit und Aktualität übernommen werden. Maßgeblich sind die jeweils geltenden Rechtsvorschriften und amtlichen Veröffentlichungen. Bitte prüfen Sie die Informationen vor einer Verwendung im Einzelfall auf Basis der aktuellen Rechtslage.
Zudem wurden die nachfolgenden Inhalte – einschließlich Texte und Abbildungen – teilweise oder vollständig mithilfe generativer künstlicher Intelligenz erstellt oder bearbeitet. Sämtliche Inhalte wurden anschließend durch eine natürliche Person redaktionell geprüft. Die inhaltliche und redaktionelle Verantwortung für die Veröffentlichung liegt beim Herausgeber dieser Seite.
</aside>
Lokale Large Language Models (LLMs) sind generative KI-Modelle, die auf Infrastruktur betrieben werden, die die Kommune selbst kontrolliert: im eigenen Rechenzentrum, bei einem kommunalen IT-Dienstleister, auf einer behördenübergreifenden souveränen Plattform oder in einer dedizierten, logisch und organisatorisch abgegrenzten Umgebung. Die Verarbeitung kann vollständig ohne Übermittlung von Eingaben, Kontextdaten oder Protokollen an einen externen Modellanbieter erfolgen. „Lokal“ beschreibt damit vor allem Datenhoheit und Betriebsverantwortung, nicht zwingend den physischen Standort eines einzelnen Servers. [1]
Modell und System: Zu unterscheiden ist zwischen dem KI-Modell (den trainierten Modellgewichten) und dem KI-System, das aus Modell, Benutzeroberfläche, Wissensbasis, Werkzeugen, Regeln und Protokollierung besteht. Rechtlich bewertet und verantwortet wird stets das konkrete System in seinem Einsatzzweck. [2]
Open Weight ist nicht gleich Open Source: Lokal betreibbare Modelle werden meist als „Open-Weight“-Modelle bereitgestellt. Die Gewichte sind herunterladbar, Trainingsdaten und Trainingsverfahren aber oft nicht offengelegt. Die Lizenzen reichen von freien Lizenzen, wie zum Beispiel Apache 2.0, bis hin zu Lizenzen mit Nutzungsbeschränkungen. Lizenz, Herkunft, Trainingsdatenlage und Sicherheitsbewertung eines Modells sind deshalb vor dem Einsatz zu prüfen. [3]
Ein LLM erzeugt oder verdichtet Sprache, Code oder strukturierte Inhalte auf Basis von Wahrscheinlichkeiten. Es ist keine Rechtsquelle, kein Fachverfahren und keine Entscheidungsinstanz. Seine Ausgaben können sachlich falsch, unvollständig oder nicht nachvollziehbar sein. Für Verwaltungszwecke sind deshalb belastbare Quellen, eine fachliche Prüfung und eine dokumentierte menschliche Entscheidung erforderlich. [4]
Agentische KI erweitert ein LLM um Werkzeuge, Datenzugriffe und einen begrenzten Arbeitsauftrag. Ein Agent kann etwa ein Dokumentenmanagementsystem durchsuchen, einen Entwurf erzeugen, Daten aus einem Fachverfahren abrufen oder einen Vorgang zur Prüfung weiterleiten. Er handelt jedoch nur innerhalb ausdrücklich freigegebener Rechte und Regeln. Je stärker ein System Vorgänge selbstständig auslöst oder verändert, desto höher sind die Anforderungen an Rechtsgrundlage, Risikobewertung, Sicherheit, Protokollierung und menschliche Kontrolle. [5]
Lokale LLMs eignen sich besonders für Aufgaben, bei denen schutzbedürftige Informationen, Aktenbezug, Geheimhaltungsinteressen oder besondere Anforderungen an digitale Souveränität bestehen. Sie können innerhalb eines abgeschotteten Behördennetzes mit freigegebenen Wissensbeständen verbunden werden. Ein Retrieval-Augmented-Generation-Ansatz (RAG) liefert dem Modell nur einschlägige, versionierte Quellen; die Antwort sollte diese Quellen anzeigen und als Entwurf kenntlich machen. RAG verringert das Risiko von Halluzinationen, beseitigt es aber nicht. Die Datenschutzkonferenz bewertet RAG datenschutzrechtlich grundsätzlich positiv, sieht aber erhebliche Restrisiken; ein rechtswidrig trainiertes Modell bleibt auch in einem RAG-System rechtswidrig trainiert. [6]
Die Kommune bleibt für Zweck, Datenverarbeitung, Zugriffe, Qualität und rechtmäßige Verwendung verantwortlich. Ein lokaler Betrieb erfüllt nicht automatisch die Anforderungen des Datenschutz- und Verwaltungsverfahrensrechts. Er verschiebt Verantwortlichkeiten vom externen Dienstleister stärker in die eigene Betriebs-, Sicherheits- und Governance-Organisation. [7]
Vor dem Aufbau eines eigenen Betriebs ist zu prüfen, ob zentrale Angebote – etwa des kommunalen IT-Dienstleisters oder staatliche Angebote mit kommunalem Zugang – den Bedarf bereits abdecken und ob für die konkrete Aufgabe klassische Automatisierung nicht besser geeignet ist. Eigenbetrieb lohnt sich vor allem, wenn Schutzbedarf, Fachverfahrensanbindung oder besondere fachliche Anforderungen dies erfordern. Der KI-Leitfaden der Staatsregierung rät, Infrastrukturfragen nicht „auf eigene Faust“ anzugehen, die Fachseite als Datenverantwortliche früh einzubinden und von Beginn an den Produktivbetrieb mitzudenken, weil viele KI-Projekte über einen Proof of Concept nicht hinauskommen. [8]
Ob ein solches Angebot im Sinne dieser Seite „lokal“ betrieben wird, hängt von der jeweiligen Betriebsarchitektur (Rechenzentrum, Modellhosting, Protokollierung) ab und ist im Einzelfall zu prüfen.