Begeisternde Bauphase

Peter Ringeisen, Chief Digital Officer der Sozialversicherungsanstalt St. Gallen, ist dabei, zusammen mit Abraxas eine interne, KI-basierte Suche aufzubauen. Nach dem erfolgreichen Pilotprojekt «LLM Enterprise Search» wollte der Rechtsdienst das neue Recherche-Tool nicht mehr missen. Im Interview zeigt Ringeisen, wie künstliche Intelligenz den Arbeitsalltag auf Verwaltungen vereinfacht.

Von Gregor Patorski · 11. November 2024

Peter Ringeisen im Gespräch zum Pilotprojekt LLM Enterprise Search (Video: Samuel Näf)

Viele öffentliche Einrichtungen könnten von solchen Systemen profitieren, da die Tätigkeiten oft ähnlich sind – es geht darum, Daten zu verarbeiten und Entscheidungen zu treffen. Peter Ringeisen, Chief Digital Officer der Sozialversicherungsanstalt St. Gallen

Was war für die SVA St.Gallen der Auslöser, beim PoC (Proof of Concept) für LLM Enterprise Search mitzumachen? Warum haben Sie sich zu diesem frühen Zeitpunkt auf dieses Abenteuer eingelassen?

Peter Ringeisen: Das hängt mit der Grundhaltung der SVA St. Gallen zusammen: Digitalisierung ist in unserer Strategie verankert. Daher sind wir der Meinung, dass es sich lohnt, früh dabei zu sein und neue Wege auszuprobieren. So können wir Erfahrungen sammeln, das Kundenerlebnis verbessern und unsere Mitarbeitenden digital affin machen und damit auch arbeitsmarktfähig halten. Als Abraxas mit der der Idee auf uns zukam und uns das Vorhaben vorstellte, war es für es klar, dass wir gerne dabei sein wollten. Künstliche Intelligenz hat ein enormes Potenzial. Und wenn wir von Anfang an dabei sind, können wir davon profitieren und ein wenig mitgestalten.

In welchen Bereichen konkret haben Sie sich von LLM Search Unterstützung erhofft?

Wir gehen davon aus, dass die Fallbearbeitung dadurch schneller wird. Um einen Fall zu bearbeiten, brauchen unsere Experten verschiedene Grundlagen – das können Gesetze sein, Gerichtsurteile, weitergehende Weisungen oder interne Dokumente. Mit einem solchen KI-System sind sie viel schneller bei der Suche. Sie müssen nicht manuell nach Informationen suchen.

Neben der Schnelligkeit wird aber auch die Qualität des Suchresultats vereinheitlicht und verbessert. Wenn man mit einem solchen System sucht, haben wir immer die gleiche Grundgesamtheit, die abgefragt wird. Heute kann der Kenntnisstand unterschiedlich sein. Vielleicht weiss ein Mitarbeitender nicht, dass es ein passendes Gerichtsurteil gibt.

Wir gehen davon aus, dass die Einarbeitung neuer Leute schneller wird, weil sie sich komplexere Fragestellungen schneller erschliessen können. Sie können «blöde Fragen» stellen und erhalten dennoch die richtigen Antworten.

Das sind unsere Haupttreiber. Daneben gibt es noch den Vorteil, dass die Formulierungen des Systems bereits brauchbar sind und in einen Brief oder eine Verfügung übernommen werden können.

Das heisst, heute sind Sie bei der Fallbearbeitung darauf angewiesen, dass der Mitarbeitende über alles notwendige Know-how verfügt und alle Grundlagen kennt und berücksichtigt. Ist das der Punkt, an dem eine LLM Search helfen kann?

Ja. Im Sinne von Qualität und Geschwindigkeit. Im Bereich der Sozialversicherung oder allgemein im Behördenumfeld, ist es extrem wichtig, dass man dem System nicht blind vertrauen muss. Denn die Antworten, die es liefert, sind immer referenziert und geben an, welche Quellen verwendet wurden. So haben Fachleute immer die Möglichkeit, Antworten des Systems zu verifizieren, wenn ihnen etwas ungewöhnlich vorkommt.

LLM Enterprise Search von Abraxas

Mithilfe eines Large Language Models (LLM) können verwaltungsinterne Dokumente effizienter durchsucht werden. Konkret können für aktuelle Fälle auf der Verwaltung Quellen wie frühere Rechtsprechungen oder Rechtsdienst-Protokolle gesucht und für Vergleiche beigezogen werden. Verwaltungsmitarbeitende können in natürlicher Sprache mit dem System interagieren. Dabei wird das LLM lokal gehostet, so kann die Lösung von Abraxas vollständig datenschutzkonform angeboten werden. In zwei Pilotprojekten konnte Abraxas gemeinsam mit Kunden wertvolle Erfahrungen sammeln und LLM Enterprise Search in Richtung Produktreife bringen.

Heisst das, dass mit LLM Search das Halluzinieren und Erfinden von Fakten unterbunden wird?

Unterbunden wird es wahrscheinlich noch nicht ganz. Alle LLM-Systeme – auch dieses – haben die Tendenz zum Halluzinieren. Aber zumindest habe ich hier die Chance, das zu erkennen, weil ich mir die Quellen näher anschauen kann. Im Gegensatz zu klassischen KI-Systemen wie ChatGPT, bei denen eine Antwort geliefert wird, die ich dann einfach glauben muss.

Ich habe von Fällen gehört, in denen ChatGPT diese Quellen erfunden und angegeben hat. Dabei gab es diese gar nicht.

In diesem Umfeld ist es natürlich sehr wichtig, dass wir ein System haben, das das gerade nicht macht und dass sichergestellt ist, dass solche Fehler nicht passieren. Ein weiterer Vorteil der Lösung ist der Umgang mit sensiblen Daten. Deswegen kommt für uns die Anwendung von öffentlichen Systemen wie ChatGPT nicht in Frage, wo die Daten irgendwo in einer Cloud liegen. In der Lösung von Abraxas ist sichergestellt, dass die Daten bei uns bleiben und keine sensiblen Informationen in einem Kontext verwendet werden, der problematisch sein könnte. Das macht es für uns und andere öffentliche Unternehmen interessant.

Was waren generell Ihre Erfahrungen im Projekt?

Wir wussten von Beginn weg, dass auch ein weiterer Kunde am PoC teilnimmt, der sich auf klassische Sachbearbeitung fokussiert. Deshalb hat es für uns Sinn gemacht, nicht die gleiche Schiene zu fahren, sondern etwas anderes zu machen. Gemeinsam mit Abraxas haben wir beschlossen, unseren PoC in der Abteilung Recht zu machen, also mit Juristinnen und Juristen.

Zusammen mit ihnen haben wir die möglichen Anwendungsfälle diskutiert und definiert, die wir in einem solchen System abdecken möchten.

In einem nächsten Schritt haben wir geprüft, welche Datengrundlagen benötigt werden und wo überall das System suchen muss – sowohl intern als auch extern. Zum Beispiel müssen auch Bundesgerichtsurteile berücksichtigt werden, die auf der entsprechenden Webseite zu finden sind.

Nachdem Abraxas aufgrund dieser Definitionen das Pilotsystem aufgebaut hat, konnten wir einige Wochen lang testen und damit arbeiten.

Zu guter Letzt haben wir die Erfahrungen ausgewertet und nach Optimierungspotenzial gesucht, so dass das System in einen produktiven Einsatz überführt werden kann.

Was bringt KI für Verwaltungen? Peter Ringeisen von der SVA gibt Antworten. (Foto: Florian Brunner)
Ein Partner wie Abraxas, von dem wir wissen, dass er unser Geschäft versteht und unsere besonderen Anforderungen kennt, ist für uns sehr wertvoll. Peter Ringeisen, Chief Digital Officer der Sozialversicherungsanstalt St. Gallen

D. h. das System braucht eine Lernkurve und muss trainiert werden?

Ja, sowohl Nutzerinnen und Nutzer als auch das System. Nutzerseitig muss man lernen, wie Abfragen gemacht werden. Toolseitig gab es eine schrittweise Verbesserung bei den Antworten. Auch die Antwortzeiten könnten noch schneller werden.

Wie beurteilen Sie rückblickend das Resultat? Können Sie abschätzen, ob und wie sich die tägliche Arbeit durch KI-Systeme ändern wird?

Ich gehe davon aus, dass sich die Arbeit verändern wird. Die Erwartungen, die wir an dieses System hatten, konnten weitgehend erfüllt werden. Auch unsere Juristinnen und Juristen haben signalisiert, dass sie das System gerne weiterhin nutzen würden. Es gibt also eine hohe Akzeptanz und die Entwicklung ist positiv. KI wird die Arbeit sicherlich verändern. Ziel ist es, das Kundenerlebnis zu verbessern, Abläufe zu vereinfachen und den Kontakt mit unseren Kunden effizienter zu gestalten – idealerweise rund um die Uhr. Zudem möchten wir auch unsere internen Abläufe optimieren. Angesichts des Fachkräftemangels können KI-Lösungen helfen, durch Automatisierung einfache, aber routinemässige Aufgaben zu bewältigen und so steigenden Arbeitsbelastungen zu begegnen.

Wie beurteilen Sie den Nutzen von KI im Allgemeinen?

Die Effekte, die ich vorher beschrieben habe, treffen auch hier zu. Wir gehen nicht davon aus, dass der Einsatz von KI zu einem Abbau von Arbeitsplätzen führt. Im Gegenteil, KI kann als Unterstützung dienen, gerade angesichts des Fachkräftemangels. Wichtig ist, dass wir unsere Mitarbeiterinnen und Mitarbeiter schrittweise an diese Technologien heranführen, damit sie digital affin werden und ihre Arbeitsmarktfähigkeit erhalten.

Also ist die Akzeptanz höher als die Angst?

Ja, das würde ich so sagen. Umgekehrt ist jedoch auch klar, dass sich Mitarbeiterinnen und Mitarbeiter in administrativen Bereichen, insbesondere bei Behörden und Versicherungen, mit diesen Themen auseinandersetzen müssen. Wer insbesondere jünger ist und noch eine längere Arbeitskarriere vor sich hat, kann sich nicht um KI foutieren – ansonsten fällt er irgendwann aus dem Arbeitsmarkt.

Wie geht es jetzt weiter? Der POC ist abgeschlossen und das System wird derzeit nicht mehr eingesetzt. Was ist der nächste Schritt?  

Wir hoffen, dass der POC Zukunft hat. Wir sind jetzt in der Budgetierungsphase für 2025 und haben Mittel beantragt, um den POC in Produktion zu bringen – zunächst in der Rechtsabteilung und später auch in anderen Bereichen. Die Kosten-Nutzen-Analyse zeigt, dass es sich ab einer grösseren Anzahl von Nutzern lohnt. Unsere Rechtsabteilung mit 11-12 Personen würde jedoch noch nicht ausreichen, um das System allein wirtschaftlich zu betreiben. Aber gerade im Bereich der Versicherungsfachbearbeitung sehen wir ein grosses Potenzial, das wir unbedingt weiterverfolgen wollen, sofern wir die notwendigen Mittel erhalten.

Können Sie den Einsatz von LLM Search auch anderen Verwaltungen empfehlen?

Auf jeden Fall. Viele öffentliche Einrichtungen könnten von solchen Systemen profitieren, da die Tätigkeiten oft ähnlich sind – es geht darum, Daten zu verarbeiten und Entscheidungen zu treffen. Diese Tätigkeit haben x Verwaltungen. Der Schlüssel zum Erfolg ist, dass man konkrete Anwendungsfälle hat und die Grundlagen kennt, auf denen die Entscheidungen beruhen müssen, und dass diese Daten korrekt und zugänglich sind. Ein Teil der Daten liegt bei uns, andere bei Abraxas, dritte in externen Systemen. Der Vorteil eines solchen Systems ist eben auch, dass man verschiedene Ablageorte zusammenführen kann, ohne dass alle Daten im selben Topf liegen müssen.

Also ist die grosse Stärke von LLM Search, dass es die Mitarbeitenden von der Suche entlastet und ihnen ermöglicht, sich auf die Beurteilung der Ergebnisse zu konzentrieren?

Genau. Das Suchen selbst ist keine spannende Tätigkeit. Mit einem solchen System muss man nicht wissen, wo genau die Daten liegen. Es liefert die relevanten Informationen automatisch und in Gesamtheit. Das spart Zeit, verbessert die Qualität und macht die Arbeit interessanter. Fachwissen bleibt jedoch notwendig, um die Ergebnisse richtig zu interpretieren.

Wie wichtig ist die Qualität der Daten für den Erfolg von KI-Anwendungen?

Datenqualität und Datenablage sind entscheidend. Das ist bei vielen Digitalisierungsvorhaben ein grosses Thema. Wenn die Datenqualität nicht stimmt, kann es sein, dass das KI-System falsche oder veraltete Ergebnisse liefert. Auch datenschutzrechtliche und sicherheitsrelevante Aspekte müssen berücksichtigt werden.

Der Teufel steckt wie so häufig im Detail.

Wie beurteilen Sie die Rolle von Abraxas als Partner?

Wir kennen Abraxas schon seit vielen Jahren als Rechenzentrums-Dienstleisterin, und sind auch in anderen Bereichen wie Chatbot- oder RPA-Bot-Lösungen mit euch unterwegs. Die Zusammenarbeit schätzen wir sehr, weil Abraxas immer wieder neue Impulse gibt. Es ist wichtig für uns, dass Abraxas sich in diesen Gebieten bewegt, ein breites Wissen hat und auch breite Angebote machen kann. Dadurch brauchen wir nicht verschiedene Partner, sondern können uns in verschiedenen Bereichen auf ein- und denselben Partner verlassen. Ein Partner, von dem wir wissen, dass er unser Geschäft versteht und unsere besonderen Anforderungen kennt – insbesondere auch in Bezug auf Sicherheit. Das ist für uns sehr wertvoll.

Die Bauphase wusste zu begeistern, jetzt hofft Peter Ringeisen, dass der PoC in den regulären Betrieb überführt werden kann. (Foto: Florian Brunner)