KI-Einsatz in der Verwaltung: Verteiltes Wissen nutzbar machen

Die fortschreitende Digitalisierung der öffentlichen Verwaltung steht nach wie vor großen Herausforderungen gegenüber. Auch wenn Informationen inzwischen digitalisiert vorliegen, sind sie häufig in verschiedenen Systemen und unterschiedlichen Formaten abgelegt, was zu Zugriffsproblemen führt. Nicht selten bleibt die Verwertung der Informationen aufgrund mangelnder Kenntnisse über deren Speicherort sogar gänzlich aus.

Ein vielversprechender Lösungsansatz für dieses Problem ist die Anwendung von Künstlicher Intelligenz (KI), insbesondere von Large Language Models (LLMs). Diese Sprachmodelle bieten diverse Nutzungsmöglichkeiten für die Verarbeitung und Nutzbarmachung verteilter Informationen. Besonders bekannt ist die Chatfunktion basierend auf Modellen wie GPT-4, die zur Informationsabfrage eingesetzt werden kann. Auch das Zusammenfassen von Dokumenten ist mittlerweile problemlos möglich. Herausforderungen bestehen allerdings weiterhin beim Zugriff auf domänenspezifisches Wissen, welches den LLMs zunächst in geeigneter Form bereitgestellt werden muss. Beispiele hierfür sind die Abfrage von Informationen aus komplexen internen Richtlinien oder die Nutzung einer internen Recherchefunktion. Derartige Anfragen, die sonst zu einem erhöhten Aufwand bei Fachabteilungen führen, können durch den Einsatz von LLMs signifikant verringert werden.

Erfahrungsberichte zeigen, dass sowohl Mitarbeitende in der Verwaltung wie auch in der Privatwirtschaft entgegen bestehender oder mangels vorhandener Richtlinien Apps mit intelligenter Chatfunktion wie ChatGPT im Arbeitsalltag nutzen und diesen möglicherweise sogar interne Informationen zuführen. Dies birgt aus Datenschutz- und Sicherheitsperspektive erhebliche Risiken. Es ist daher mittelfristig unabdingbar, den Mitarbeitenden datenschutzkonforme und sichere Alternativen anzubieten.

Potenziale von Large Language Models

LLMs sind neuronale Netze, die ähnlich dem menschlichen Nervensystem aufgebaut sind und aus zahlreichen Berechnungseinheiten bestehen. Sie führen einfache mathematische Operationen aus, wobei ihre Komplexität aus der Vernetzung der Neuronen resultiert. Im Unterschied zu spezialisierten Netzwerken, wie sie etwa in der Bildverarbeitung genutzt werden, zeichnen sich LLMs durch eine hohe Flexibilität aus und lassen sich für diverse Anwendungen adaptieren. Es ist allerdings zu beachten, dass ein LLM technisch gesehen keine empathische Intelligenz darstellt, sondern lediglich die statistisch wahrscheinlichste Fortführung eines Textes generiert. Die intelligente Wirkung entsteht durch das umfangreiche Trainingsmaterial.

Zum gegenwärtigen Zeitpunkt sind verschiedene LLMs verfügbar, die auf umfangreichen und meist aus dem Internet stammenden Datenmengen trainiert wurden. So hat beispielsweise GPT-4 etwa 1 Petabyte an Trainingsdaten verarbeitet. Die daraus resultierenden Modelle eignen sich bereits für die Bearbeitung allgemeiner Aufgaben, insbesondere für die Abfrage von Wissen, das allgemein im Internet verfügbar ist. Spezifisches, beispielsweise behördeninternes Wissen, können diese vortrainierten Modelle indes nicht wiedergeben, da sie dieses im Rahmen ihres Trainings nicht erlernt haben. Ein weiteres Manko dieser Modelle ist ihre zum Teil veraltete Wissensbasis, die von ihrem jeweiligen Trainingszeitpunkt abhängt.

Um spezifisches oder aktuelles Wissen nutzbar zu machen, gibt es drei Hauptansätze: Das eigenständige Training eines LLMs ist aufgrund des hohen Aufwands meist nicht realisierbar. Eine Alternative bietet in einigen Fällen das Nachtrainieren eines bestehenden LLMs. Aktueller Stand der Technik und in den meisten Fällen der erfolgversprechendste Weg ist die sogenannte Retrieval Augmented Generation (RAG). Hierbei wird ein bestehendes LLM nicht mit neuem Wissen trainiert, sondern relevante Informationen – wie Textdokumente oder Websites – werden bei jeder Anfrage, dem sogenannten „Prompt“, hinzugefügt. Um dies zu ermöglichen, ist eine Aufbereitung der Informationen notwendig: Dokumente werden zunächst in definierte Textblöcke zerlegt, in ein von LLMs verarbeitbares Format transformiert („Embedding“) und für die spätere Nutzung gespeichert. Die Anfrage eines Nutzers im laufenden Betrieb wird ebenfalls eingebettet und auf Ähnlichkeit mit dem vorhandenen Wissen geprüft. Die relevantesten Treffer werden dann zusammen mit der Anfrage an das LLM übergeben (vgl. Abb. 1).

Angesichts der schnellen Weiterentwicklung im Bereich der Künstlichen Intelligenz wird an dieser Stelle auf eine Auflistung oder Empfehlung von einzelnen Sprachmodellen verzichtet. Entsprechende Angaben wären bereits nach wenigen Wochen veraltet. Die Modelle lassen sich jedoch grob in zwei Kategorien einteilen: Einerseits existieren kommerziell angebotene LLMs, die auf externen Servern betrieben werden und sich durch Nutzungsgebühren finanzieren. Andererseits stehen Open-Source-Modelle zur Verfügung, die auf eigener Hardware implementiert werden können. Diese sind hinsichtlich der Anschaffung und des Betriebs kostenfrei, wobei zu beachten ist, dass technische Ressourcen und Expertise erforderlich sind.

Die Integration von LLMs in der öffentlichen Verwaltung befindet sich noch in einem Anfangsstadium. Ein beispielhaftes Pionierprojekt ist „F13“ des Landes Baden-Württemberg. In einem Prototyp wurden dort innovative Funktionen wie die automatisierte Zusammenfassung von Texten, eine assistierende Recherche, die Generierung von Fließtexten sowie eine Applikation zur Transformation von Dokumenten in Kabinettsvorlagen erprobt.

Risikoanalyse für den behördlichen Einsatz

Beim Einsatz von LLMs bestehen Risiken, die bei der Implementierung berücksichtigt werden müssen und zumindest zum aktuellen Zeitpunkt bestimmte Anwendungsfälle – wie etwa die Erzeugung von gerichtlich verwertbaren Dokumenten – einschränken oder ausschließen.

Das primäre Risiko beim Gebrauch von LLMs besteht in der Generierung fehlerhafter oder irreführender Ergebnisse. LLMs können Inhalte produzieren, die fälschlicherweise als korrekt wahrgenommen werden, obwohl sie vom Modell konstruiert sind – ein Phänomen, das in Anlehnung an das menschliche Nervensystem als „Halluzinationen“ bezeichnet wird. Solche Halluzinationen sind vor allem dann gefährlich, wenn sich Mitarbeitende auf die Ergebnisse verlassen und die Fehler nicht offensichtlich sind. Besonders kritisch wird es, wenn sich die Ergebnisse unmittelbar auf weitere Personen oder Verfahren auswirken. Abhilfe kann zum Beispiel durch eine Zitierfunktion geschaffen werden, die es ermöglicht, die Quellen der generierten Informationen zu überprüfen und somit eine manuelle Kontrolle durch die Nutzenden erleichtert.

Des Weiteren stellt der Betrieb von cloudbasierten LLMs, die durch externe Dienstleister gehostet werden, eine Herausforderung dar. Während diese Services niedrige Einstiegsbarrieren bieten und komfortabel sind, besteht die Gefahr, dass sensible Daten die Organisation verlassen. Oftmals erfolgt die Verarbeitung der Daten in Rechenzentren außerhalb Deutschlands, etwa in den USA, was die Möglichkeit birgt, dass internes Wissen für das Training der Modelle genutzt wird und potenziell öffentlich zugänglich werden könnte. Daher erfordern die meisten Einsatzszenarien die lokale Implementierung der LLMs auf Servern der jeweiligen Behörde. Eine Alternative stellt der Betrieb der Modelle auf Servern innerhalb Deutschlands dar, um den rechtlichen Anforderungen gerecht zu werden.

Doch auch bei der Verwendung eines lokalen Systems muss auf die vorschriftsgemäße Anwendung geachtet werden. Die Verarbeitung personenbezogener Daten erfordert besondere Aufmerksamkeit und muss stets im Einklang mit der Datenschutz-Grundverordnung (DSGVO) und weiterer Regularien stehen, auch wenn die Anwendungsfälle ethisch und rechtlich unbedenklich erscheinen.

KI für innovative Verwaltung nutzen

Künstliche Intelligenz und insbesondere Large Language Models (LLMs) werden zukünftig in vielen Branchen und Behörden eine zentrale Rolle spielen. Sie bieten das Potenzial für erhebliche Effizienzsteigerungen in diversen Arbeitsbereichen. Obwohl ihre Implementierung in Behörden bereits möglich ist, wie das Beispiel „F13“ zeigt, stehen Verwaltungen vor Herausforderungen wie Investitionsbedarf und die Notwendigkeit zur Flexibilität und Experimentierfreude. Es ist wichtig, neben dem LLM auch unterstützende Systeme und Benutzeroberflächen zu entwickeln. Trotz der Herausforderungen ist es ratsam, sich bereits jetzt mit LLMs auseinanderzusetzen, etwa durch das Initiieren von Pilotprojekten.

Der Datenschutz und weitere Regularien spielen eine wesentliche Rolle bei der Nutzung von LLMs. Behörden sind verpflichtet, die Einhaltung der DSGVO und demnächst auch der EU-KI-Verordnung (EU AI Act) zu gewährleisten. Dies umfasst die Implementierung von Sicherheitsrichtlinien und Risikomanagementsystemen im Rahmen einer KI-Governance.

Da sich LLMs schnell weiterentwickeln, kann ein heute noch nicht realisierbarer Anwendungsfall bald umsetzbar sein. Eine modulare Implementierung, die das Austauschen des LLMs erleichtert, ist daher empfehlenswert. Behörden sollten ferner in den Aufbau von KI-Kompetenzen und Wissensmanagement investieren, um die Nutzung von LLMs optimal vorzubereiten. Pilotprojekte und Machbarkeitsstudien sind nützlich, um die Einführung von LLMs zu testen und deren Nutzen und Risiken zu bewerten.