Wer kümmert sich um den KI-Chatbot, wenn das Projekt vorbei ist?

Nehmen wir an, ein Maschinenbauer mit zwei Werken hat einen internen KI-Chatbot eingeführt, also ein System nach dem Verfahren RAG (Retrieval-Augmented Generation), das die Dokumente des Unternehmens durchsucht und aus den Treffern eine Antwort mit Quellen formuliert. Die Einführung lief unter Zeitdruck, aber zum Start lagen die Vereinbarung mit dem Betriebsrat und die Prüfungen von Datenschutz und Informationssicherheit vor. Einige Wochen später sitzt eine Mitarbeiterin der IT vor drei neuen Fragen. Ein Konstrukteur meldet eine Antwort, die sich auf eine veraltete Zeichnung stützt. Der Anbieter kündigt für den nächsten Monat Agenten an, die Beschäftigte selbst zusammenstellen können. In der Einkaufsabteilung liegt außerdem ein Vertrag, der in drei Jahren endet. Die Projektrunde, die die Einführung getragen hat, trifft sich nicht mehr. Wer kümmert sich jetzt um den KI-Chatbot, damit er verlässlich bleibt?

Falsche Antworten: wer sie annimmt und was danach geschieht

Nach meiner Erfahrung liegt die Ursache einer falschen Antwort meist nicht im Sprachmodell, sondern in den Dokumenten. Liegt eine alte Fassung einer Zeichnung neben der neuen, kann die Antwort sich auf die alte Fassung stützen, obwohl das System technisch richtig arbeitet. Die IT kann das allein nicht erkennen, weil sie nicht weiß, welche Fassung einer Prüfanweisung gilt. Deshalb braucht jede angebundene Quelle einen Fachbereich, der für sie einsteht und veraltete Dokumente aussortiert. Wie ein solcher Chatbot seine Antworten zusammensetzt und wo er dabei Fehler macht, beschreibt der Artikel Wie ein interner KI-Chatbot Antworten in den Unternehmensdokumenten findet.

Wer sich kümmert, lässt sich vorher festlegen. In den ersten Wochen nach dem Start sind IT, Key-User und der Implementierungspartner, der das Produkt eingerichtet hat, besonders schnell erreichbar. Key-User sind Beschäftigte aus den Fachbereichen, die das System besonders gut kennen und den Kollegen helfen. Danach übernimmt eine feste Stelle die Betreuung des Systems, im Beispiel die Mitarbeiterin der IT, während die Fachbereiche für den Inhalt ihrer Dokumente verantwortlich bleiben. Die Projektleitung übergibt dieser Betreuung, was das Projekt erarbeitet hat. Dazu gehören die Testfälle, also die nachprüfbaren Fragen mit bekannter richtiger Antwort, an denen das System gemessen wurde, außerdem die Liste der Quellen mit ihren Fachbereichen, die offenen Meldungen und die Vereinbarung zu dem System.

Im Alltag hilft eine Schaltfläche im Chatbot, mit der Beschäftigte eine falsche Antwort samt Frage und Quelle melden. Jede Meldung landet in einer Liste der offenen Meldungen, die die Betreuung mit den Key-Usern abarbeitet. Wer gemeldet hat, erfährt, was daraus geworden ist. Ich habe immer wieder gesehen, dass Beschäftigte nur so lange melden, wie sie eine Wirkung sehen.

Ernster ist der Fall, in dem der Chatbot einem Beschäftigten eine Gehaltsliste zeigt. Dann nimmt die Betreuung das Dokument zuerst aus dem Bestand, den der Chatbot durchsucht, und sucht danach die Ursache, meist zu weit geöffnete Zugriffsrechte der Ablage. Zugleich informiert sie den Datenschutzbeauftragten. Das Unternehmen muss nämlich eine Verletzung des Schutzes personenbezogener Daten nach Art. 33 der Datenschutz-Grundverordnung „unverzüglich und möglichst binnen 72 Stunden“ der Aufsichtsbehörde melden, es sei denn, sie führt voraussichtlich nicht zu einem Risiko für die Betroffenen. Wer diesen Ablauf vom Sperren bis zur Meldung vorher festlegt, verliert in diesen Stunden keine Zeit mit der Frage, wer zuständig ist.

Updates: wann der Betriebsrat wieder gefragt ist

Manche Anbieter liefern jeden Monat neue Funktionen, und manche davon sind am ersten Tag eingeschaltet. Würde jede Neuerung auf die nächste Sitzung des Betriebsrats warten, stünde das System still. Würde keine geprüft, liefe nach einem Jahr ein anderes System als das, über das Arbeitgeber und Betriebsrat sich geeinigt haben.

Den Maßstab dafür liefert das Bundesarbeitsgericht. In seinem Beschluss vom 13.12.2016 ging es um die Funktion der Facebook-Seite eines Arbeitgebers, mit der Besucher Beiträge über Beschäftigte veröffentlichen konnten. Nach diesem Beschluss zu § 87 Abs. 1 Nr. 6 Betriebsverfassungsgesetz bestimmt der Betriebsrat schon dann mit, wenn eine technische Einrichtung objektiv geeignet ist, Angaben über Verhalten oder Leistung der Beschäftigten zu erheben und aufzuzeichnen. Auf die Absicht des Arbeitgebers kommt es nicht an. Für ein Update folgt daraus nach meiner Einschätzung eine einfache Prüffrage. Kann die neue Funktion Angaben über Verhalten oder Leistung einzelner Beschäftigter speichern oder vorhandene Angaben neu auswertbar machen, bestimmt der Betriebsrat mit. Ändert sie nur die Darstellung der Antworten oder behebt sie einen Fehler, bleibt das System im vereinbarten Rahmen.

Die Betreuung hält deshalb vor jedem Update in einem kurzen Änderungsprotokoll fest, ob sich an Quellen, Zugriffsrechten, Protokollen, Sprachmodell, Funktionen oder am Kreis der Nutzer etwas ändert. Hilfreich ist außerdem eine Liste der freigegebenen Funktionen, die kein Gesetz vorschreibt. Sie bietet sich aber als Gestaltung einer Vereinbarung an. Was der Anbieter neu und eingeschaltet ausliefert, schaltet die IT ab, bis über die Aufnahme in die Liste entschieden ist, und die Vereinbarung nennt eine Frist für diese Entscheidung. Läuft die Frist ohne Einigung ab, bleibt die Funktion abgeschaltet, und im Streit entscheidet die Einigungsstelle, eine Schlichtungsstelle mit neutralem Vorsitz. Lässt sich die Funktion gar nicht einzeln abschalten, bleiben der Verzicht auf die Lizenz, zu der sie gehört, oder das Abschalten der Aufzeichnung, auf der sie aufbaut. Was eine Betriebsvereinbarung zu einer KI für solche Updates von Anfang an festlegen sollte, beschreibt der Artikel Was in eine Betriebsvereinbarung zu KI gehört.

Auch die Agenten aus dem Beispiel gehören nach meiner Einschätzung zu den Funktionen, bei denen der Betriebsrat mitbestimmt, weil sie in der Regel eigene Protokolle darüber erzeugen, wer sie mit welchem Auftrag gestartet hat. Die Betreuung führt deshalb eine Übersicht der Agenten und legt sie dem Betriebsrat vor, wenn er prüft, ob die Vereinbarung eingehalten wird.

Vertragsende: wann über die Ablösung entschieden wird

Der Vertrag in der Einkaufsabteilung wirkt weit weg, aber die Frage, ob das System bleibt oder abgelöst wird, bleibt am leichtesten liegen. Wer zu spät beginnt, verlängert den alten Vertrag ungewollt oder wechselt unter Zeitdruck und überspringt dabei genau die Schritte, die bei der ersten Einführung Vertrauen geschaffen haben. Im Beispiel entscheidet das Unternehmen deshalb neun bis zwölf Monate vor dem Ende des Vertrags, ob es das System behält oder ablöst. Die Auswahl eines neuen Produkts und eine neue Einführung brauchen im Beispiel zusammen etwa sechs Monate, wenn alle Stellen von Anfang an gemeinsam arbeiten. Danach laufen altes und neues System noch zwei bis drei Monate nebeneinander. Verlängert sich der Vertrag, wenn niemand kündigt, muss die Entscheidung außerdem vor dem Ende der Kündigungsfrist fallen. Entscheiden muss die Geschäftsleitung, und die Grundlage dafür liefert eine jährliche Bewertung, in der Geschäftsleitung, Betriebsrat und Betreuung Nutzen, Belastung und Kosten des Systems ansehen. Den Zeitpunkt der Entscheidung schreibt man am besten gleich in die Vereinbarung zu dem System, damit er nicht im Tagesgeschäft übersehen wird.

Nutzt ein Unternehmen den KI-Chatbot aus seiner Bürosuite, gibt es keinen eigenen Vertrag, dessen Ende die Entscheidung über die Ablösung anstößt. Dann geben die jährliche Bewertung oder eine Änderung von Lizenzen und Funktionen den Anstoß. Hat es den Chatbot selbst gebaut, tauscht es statt dessen einzelne Teile aus, etwa das Sprachmodell, und prüft jeden Austausch an denselben Testfällen.

Der Betriebsrat ist bei einer Ablösung schon in der Planung beteiligt. Der Arbeitgeber muss ihn nach § 90 Betriebsverfassungsgesetz über die Planung von Arbeitsverfahren „einschließlich des Einsatzes von Künstlicher Intelligenz“ unterrichten und die Auswirkungen so rechtzeitig mit ihm beraten, dass seine Vorschläge noch berücksichtigt werden können. Für das neue System bestimmt der Betriebsrat wieder mit, weil es wie das alte Angaben über Beschäftigte erfassen kann. Eine Rahmenvereinbarung mit Grundsätzen für alle KI-Systeme des Unternehmens bleibt bei der Ablösung bestehen. Für das neue System wird dagegen eine eigene Vereinbarung geschlossen, die die Vereinbarung zum alten System ausdrücklich ablöst.

Eine Ablösung beginnt nicht bei null. Die Testfälle werden zum Maßstab für jedes neue Angebot, und die Dokumente bleiben ohnehin in den Ablagen des Unternehmens. Die Protokolle der Anfragen an den Chatbot gehen dagegen nicht mit. Der Vertrag mit dem alten Anbieter muss nach Art. 28 Abs. 3 der Datenschutz-Grundverordnung vorsehen, dass der Anbieter nach dem Ende seiner Leistungen die personenbezogenen Daten nach Wahl des Unternehmens löscht oder zurückgibt und die vorhandenen Kopien löscht, soweit ihn kein Gesetz zur Aufbewahrung verpflichtet.

Wo diese Abläufe ausführlich stehen

Hinter allen drei Fragen der Mitarbeiterin steht dieselbe Lage. Während der Einführung hat die Projektrunde vieles nebenbei geklärt, und im Regelbetrieb braucht jede dieser Fragen einen festen Weg. Das Whitepaper Der interne KI-Chatbot im Regelbetrieb beschreibt diese Wege am Beispiel des Maschinenbauers in elf Kapiteln. Es reicht von der Betreuung in den ersten Wochen über den Meldeweg bei vertraulichen Treffern, das Verfahren für Updates und die Prüfung der Vereinbarung durch den Betriebsrat bis zur jährlichen Bewertung von Nutzen und Belastung. Ein eigenes Kapitel behandelt, was mit den Vereinbarungen geschieht, wenn ein Betriebsrat neu gewählt wird, die IT das System für beide Werke gemeinsam verwaltet oder ein Werk verkauft wird. Am Ende stehen Ablauf und Zeitpunkt der Ablösung und eine Übersicht, welche Stelle im Regelbetrieb was tut.

Nützlich ist das Whitepaper vor allem für die IT, die ein System nach dem Start übernimmt, und für Projektleitungen, die es an den Betrieb übergeben. Ein Betriebsrat, der eine geltende Vereinbarung zum ersten Mal überprüft oder erst nach dem Start von einer neuen Funktion erfährt, findet darin, welche Unterlagen er verlangen kann und was er tun kann, wenn eine Regelung fehlt oder gebrochen wird. Wie der Betriebsrat schon in der Planung eines Projekts seinen Platz bekommt, beschreibt der Artikel Den Betriebsrat in den Projektplan einbauen. Die Geschäftsleitung sieht im Whitepaper, wann sie über die Ablösung entscheiden muss.

Die Mitarbeiterin der IT braucht also keine neue Projektrunde, sondern drei feste Wege: eine Liste für gemeldete Fehler mit Rückmeldung, ein kurzes Änderungsprotokoll für jedes Update und einen Termin für die Entscheidung über den Vertrag. Als ersten Schritt legen die Beteiligten fest, wer im Regelbetrieb eine gemeldete falsche Antwort annimmt und bis wann der Melder eine Rückmeldung bekommt. Wie ich eine Einführung bis zum Plan für den Betrieb begleite, zeigt die Seite Change und Transformation. Wie ist es in deinem Betrieb gelaufen, als die Projektrunde nach dem Start aufgehört hat? Schreib es gern in einen Kommentar.