KI im Betrieb

Die zweite Zeile ist die wichtigste. Eine Abnahme prüft Fälle, die vorher bekannt waren. Im Betrieb kommen die Fälle von Menschen, die das System anders benutzen, als es gedacht war, und das ist kein Fehlverhalten, sondern der Normalfall. Ein Betrieb ohne Stichprobe aus echten Anfragen sieht diese Fälle nie.

Die letzte Zeile verschiebt die Verantwortung. Solange ein System im Test läuft, ist ein Fehler eine Notiz. Sobald es Kunden erreicht, ist ein Fehler ein Vorgang mit Folgen, und deshalb gehört die Frage, wer eine Ausgabe freigibt, vor den Start und nicht danach.

Wann endet ein KI-Projekt und wann beginnt der Betrieb?

Praktisch mit der ersten Ausgabe, die eine Entscheidung beeinflusst oder einen Kunden erreicht. Der Tag der Abnahme ist dafür kein guter Marker, weil zwischen Abnahme und echter Nutzung oft Wochen liegen. Sinnvoller ist die Frage, ab wann jemand einen Fehler bemerken würde, und ab diesem Tag gilt der Betriebsplan.

Was gehört in eine Betriebsübergabe?

Vier Dinge, und alle vier passen auf zwei Seiten: die drei Rollen mit Namen, der Prüfsatz mit den Fällen, die Kennzahlen mit der Angabe, wo sie stehen, und die Rückfallebene je Störungsbild. Wer die Übergabe auf eine technische Dokumentation beschränkt, übergibt die Technik und nicht die Verantwortung.

Wie lange dauert es, bis der Betrieb ruhig läuft?

Die ersten Wochen sind die arbeitsreichsten, weil Nutzer Fragen stellen, an die beim Bau niemand gedacht hat. Diese Fälle sind der Rohstoff für den Prüfsatz. Erfahrungsgemäß nimmt die Prüfarbeit deutlich ab, sobald die typischen Fälle abgedeckt sind; ganz endet sie nicht, weil Modelle und Quellen sich weiter bewegen.

• Fachliche Verantwortung. Legt fest, was als richtig gilt, bewertet die Stichprobe, gibt Änderungen frei. Eine benannte Person mit einem festen Zeitfenster, nicht ein Kreis von Zuständigen.
• Technischer Betrieb. Zugänge, Versionen, Protokolle, Kosten, Rückfallebene. Meldet Änderungen des Anbieters, hält den Prüfsatz lauffähig.
• Datenschutz. Beurteilt neue Quellen, neue Zielsysteme und neue Verarbeitungsorte, bevor sie in Betrieb gehen. Dass ein System läuft, ist keine Freigabe für die nächste Quelle.
• Und die vierte, die keine Rolle ist. Der Anbieter des Modells trägt für Ihre Ausgabe keine Verantwortung. Sein Vertrag sichert Verfügbarkeit zu, nicht Richtigkeit im Einzelfall.

Ein praktischer Prüfstein: Fragen Sie, wer diese Woche die Stichprobe bewertet hat und wie lange das gedauert hat. Wenn darauf keine Person und keine Zeitangabe kommt, ist der Betrieb nicht organisiert, unabhängig davon, wie gut das System läuft.

Kann der Betrieb an einen Dienstleister abgegeben werden?

Der technische Teil ja, die fachliche Bewertung nicht. Ein Dienstleister kann Zugänge, Versionen, Protokolle und Prüfsatzläufe übernehmen und auch melden, wenn ein Lauf durchfällt. Was als richtige Antwort gilt, kann er nicht festlegen, weil ihm der Geschäftsvorgang und die Folgen eines Fehlers nicht gehören. Diese Aufgabe braucht eine Person im Haus, auch bei vollständig ausgelagerter Technik.

Wie viel Zeit kostet die fachliche Rolle?

Sie besteht aus drei Posten: Stichprobe bewerten, Rückmeldungen durchsehen, Änderungen freigeben. Für eine Stichprobe von zwanzig Fällen ist eine gute halbe Stunde ein realistischer Wert, die übrigen Posten fallen unregelmäßig an. Wichtig ist ein festes Zeitfenster im Kalender: Aufgaben ohne Termin verschwinden zuerst.

Was, wenn niemand die Rolle übernehmen will?

Dann ist die ehrliche Antwort, den Einsatzbereich zu verkleinern, bis die verbleibende Prüfarbeit zu der Zeit passt, die tatsächlich da ist. Ein System für zwei Aufgaben mit Prüfung ist nützlicher als eines für zehn ohne. Die Alternative, es ungeprüft laufen zu lassen, endet erfahrungsgemäß mit stiller Nichtnutzung.

Zwei Werte gehören immer zusammen gelesen. Sinkt die Nutzung bei gleichbleibender Trefferquote, liegt es an der Bedienung, an der Einbindung in den Arbeitsablauf oder am Vertrauen. Sinkt die Trefferquote, liegt es am System, am Modell oder am Datenbestand. Wer nur die Nutzung erhebt, verwechselt beides regelmäßig.

Der Anteil der Antworten ohne Quellenangabe ist der unauffälligste und einer der nützlichsten Werte. Er steigt, wenn Fragen gestellt werden, die der Bestand nicht abdeckt. Damit zeigt er nicht nur ein Modellproblem, sondern eine Lücke in Ihren Unterlagen, und die lässt sich schließen.

Wie viele Kennzahlen sind sinnvoll?

Wenige, dafür jede Woche dieselben. Drei genügen für den Anfang: Nutzung, Anteil ohne Nacharbeit, Trefferquote der Stichprobe. Zehn Kennzahlen werden im dritten Monat nicht mehr erhoben, und eine Reihe, die abbricht, ist wertlos, weil der Vergleich über die Zeit die eigentliche Aussage ist.

Ab welchem Wert ist eine Trefferquote gut?

Das legt der Vorgang fest, nicht die Technik. Bei einem internen Textentwurf, den ohnehin jemand liest, ist eine mittlere Quote brauchbar. Bei einer Auskunft, die ungeprüft an Kunden geht, ist auch eine hohe Quote zu niedrig, weil die Restfälle nach außen gehen. Der Grenzwert gehört deshalb vor den Start und in die Freigabe.

Muss dafür ein Werkzeug gekauft werden?

Für den Anfang nicht. Die Nutzungswerte stehen im Protokoll, das Ihr System ohnehin schreibt, und die Bewertungen der Stichprobe passen in eine Tabelle mit vier Spalten. Ein Werkzeug lohnt sich, wenn mehrere Systeme gleichzeitig laufen; es ersetzt aber die Bewertung von Hand nicht, sondern sammelt sie nur ein.

Der Prüfsatz ist die Arbeit, die sich am stärksten auszahlt. Er besteht aus echten Fällen mit der Antwort, die der Fachbereich für richtig hält, aufgeschrieben in einer einfachen Tabelle. Zwanzig bis fünfzig gut gewählte Fälle reichen für den Anfang, wichtiger als die Anzahl ist, dass die schwierigen Fälle dabei sind und dass niemand sie nachträglich aufweicht, wenn ein Lauf durchfällt.

Die Stichprobe ergänzt ihn um das, was der Prüfsatz nicht kann: unerwartete Fragen. Eine feste Anzahl je Woche, zufällig gezogen, von Hand bewertet mit drei Stufen. Übernommen, korrigiert, verworfen. Mehr Abstufungen erhöhen den Aufwand, ohne die Entscheidung zu verbessern.

Beides setzt voraus, dass der Bestand stimmt, aus dem das System liest. Wie ein solcher Bestand geordnet wird, steht in Baustein 06; was ungeprüfte KI-Ausgaben mit ihm anstellen, im Fachbeitrag zur Datenqualität.

Wie entsteht ein guter Prüfsatz?

Aus echten Fällen, nicht aus erfundenen. Die ersten zwanzig kommen aus den Wochen nach dem Start, dazu die Fälle, bei denen es schon einmal schiefgegangen ist. Jeder Fall besteht aus der Anfrage, der Antwort, die der Fachbereich für richtig hält, und einer kurzen Begründung. Die Begründung ist der Teil, der später Streit vermeidet.

Was ist Drift und wie fällt sie auf?

Drift heißt: Die Welt ändert sich, das System nicht. Preise, Vorgaben, Zuständigkeiten und Produkttexte veralten, und das Modell antwortet weiter mit dem alten Stand, weil es den alten Stand liest. Auffällig wird das zuerst an Rückmeldungen, dann in der Stichprobe. Wirksam ist nicht Nachschärfen am Modell, sondern ein Termin für die Pflege der Quellen.

Wie prüft man eine Ausgabe, für die es keine richtige Antwort gibt?

Bei Texten, Zusammenfassungen und Vorschlägen gibt es keinen Sollzustand, wohl aber Ausschlusskriterien. Prüfen Sie stattdessen gegen eine Liste: keine erfundenen Angaben, alle Pflichtangaben vorhanden, Tonfall passend, nichts Vertrauliches enthalten. Das ist objektiv bewertbar und reicht für eine Freigabeentscheidung.

Der Ablauf ist in allen fünf Fällen derselbe. Prüfsatz gegen das neue Modell laufen lassen, Abweichungen ansehen, bei unklaren Fällen beide Antworten dem Fachbereich vorlegen, erst dann umschalten und die alte Version eine Zeit lang erreichbar halten. Wer diesen Ablauf einmal aufschreibt, braucht beim nächsten Wechsel eine Stunde statt einer Woche.

Welcher Betriebsweg überhaupt zu welcher Vertraulichkeitsklasse passt und wie sich Anbieter unterscheiden, steht in Baustein 02.

Woher erfährt man von Abkündigungen?

Aus den Mitteilungen des Anbieters, die an eine Sammeladresse gehen sollten und nicht an eine Person, die den Urlaub antritt. Zusätzlich gehört ein Termin in den Kalender, an dem jemand die Liste der verfügbaren Modelle mit der eingesetzten Version vergleicht. Wer sich nur auf Benachrichtigungen verlässt, erfährt es aus der Fehlermeldung.

Lohnt sich ein Wechsel auf ein neueres Modell immer?

Nein. Ein neueres Modell kann in Prüfständen besser abschneiden und in Ihrem Fall schlechter, etwa weil es ausführlicher antwortet, als Ihr Ablauf verträgt, oder weil es Formatvorgaben anders auslegt. Genau dafür ist der Prüfsatz da: Die Entscheidung fällt an Ihren Fällen und nicht an einer Ranglistenangabe.

Wie lange hält man die alte Version bereit?

Bis zwei vollständige Prüfzyklen mit dem neuen Modell ohne Auffälligkeit durchgelaufen sind. Vorher besteht der Rückweg nur auf dem Papier, und im Störungsfall fehlt die Zeit, ihn erst herzustellen. Sobald der Anbieter die alte Version abschaltet, endet diese Möglichkeit, weshalb der Wechsel nicht bis zum letzten Tag warten sollte.

Zwei Dinge müssen vor dem Start stehen, nicht im Störungsfall: ein Weg, auf dem eine Meldung ankommt, und die Erlaubnis, das System abzuschalten. Wenn das Abschalten eine Entscheidung der Geschäftsführung ist und diese im Urlaub ist, läuft ein falsch antwortendes System weiter, und das ist der teurere Fall.

Der letzte Punkt der Tabelle führt weiter: Was bei einem Verdacht auf Datenabfluss technisch zu tun ist und welche Meldefristen greifen, steht in Baustein 09.

Wer darf ein KI-System abschalten?

Diese Erlaubnis gehört vor den Start, benannt mit Personen und Vertretung. Sinnvoll ist eine niedrige Schwelle: Wer eine falsche Ausgabe sieht, darf anhalten, ohne Rückfrage. Die Prüfung, ob es nötig war, kommt danach. Der umgekehrte Weg, erst fragen und dann anhalten, kostet die Stunden, in denen der Fehler weiterläuft.

Was gehört in eine Nutzermeldung bei einer Störung?

Ein sichtbarer Hinweis an der Stelle, an der gearbeitet wird, mit drei Angaben: Was geht nicht, was tun Sie stattdessen, wann kommt die nächste Information. Fehlt der dritte Punkt, fragen die Nutzer nach, und genau diese Rückfragen binden im Störungsfall die Zeit, die für die Klärung gebraucht wird.

Der letzte Treiber ist der, der Projekte rückblickend unwirtschaftlich macht. Die Rechnung des Anbieters ist meist der kleinere Posten; die Stunden, in denen Menschen Ausgaben nachbessern, sind der größere. Deshalb ist der Anteil der Ausgaben ohne Nacharbeit aus Kapitel 03 zugleich eine Kostenkennzahl.

Ein Hinweis zur Reihenfolge: Wer zuerst am Modell spart, verschlechtert oft die Ausgabe und erhöht damit die Nacharbeit. Zuerst die Länge der mitgegebenen Zusammenhänge und die Zahl der Schritte prüfen, dann wiederkehrende Fragen zwischenspeichern, und erst danach über ein kleineres Modell nachdenken.

Wie senkt man die Kosten, ohne die Qualität zu verlieren?

In dieser Reihenfolge: kürzere Zusammenhänge mitgeben, wiederkehrende Antworten zwischenspeichern, Schritte je Vorgang zusammenfassen, einfache Aufgaben auf ein kleineres Modell verlagern, und erst zuletzt am Modell für die schwierigen Fälle sparen. Die ersten drei Schritte verändern die Ausgabe kaum, der letzte verändert sie am stärksten.

Warum steigt die Rechnung, obwohl die Nutzung gleich bleibt?

Meist, weil je Anfrage mehr mitgegeben wird als früher: Der Bestand ist gewachsen, die Anweisungen sind länger geworden, oder ein Ablauf schickt inzwischen mehrere Schritte hintereinander. Der Wert, der das sichtbar macht, ist der Aufwand je Vorgang; ohne ihn sieht man nur die Summe und hat keine Ursache.

• Wer hat gefragt, wann, und was hat das System geantwortet. Ohne diese drei Angaben lässt sich ein Einzelfall später nicht rekonstruieren, auch nicht für einen Kunden, der sich beschwert.
• Welche Quellen standen im Zusammenhang. Erst damit ist die Frage beantwortbar, ob die Antwort aus Ihren Unterlagen kam oder aus dem Modell.
• Welches Modell in welcher Version. Ohne diese Angabe ist nach einem Wechsel nicht mehr feststellbar, welcher Stand die Ausgabe erzeugt hat.
• Wer hat freigegeben. Bei Ausgaben, die nach außen gehen, ist die Freigabe der eigentliche Nachweis.
• Welche Änderungen wurden vorgenommen. Anweisungen, Quellen, Rechte, Modell: mit Datum und Person. Das ist die Liste, die bei einer Verschlechterung als Erstes gebraucht wird.

Zur Aufbewahrungsdauer: Sie richtet sich nach dem Vorgang, nicht nach der Technik. Ein Protokoll zu Angeboten oder Reklamationen folgt den Fristen dieses Vorgangs, und die personenbezogenen Anteile unterliegen den Löschregeln, die Sie ohnehin haben. Ein Protokoll ohne Löschkonzept wird selbst zum Problem.

Genügt das Protokoll des Anbieters?

Für Ihre Zwecke meist nicht. Es zeigt Anfragen an seinen Dienst, aber nicht, welcher Vorgang bei Ihnen dahinter stand, welche Quellen beteiligt waren und wer freigegeben hat. Außerdem hängen Aufbewahrung und Zugriff an seinen Regeln. Für Nachweise gegenüber Kunden und Prüfern braucht es ein eigenes Protokoll.

Wie vermeidet man, dass das Protokoll selbst zum Risiko wird?

Zwei Festlegungen: Was steht drin, und wer darf es lesen. Personenbezug nur, soweit er für den Nachweis nötig ist, Löschfristen wie beim zugehörigen Vorgang, und Lesezugriff für benannte Rollen statt für alle Mitarbeitenden. Ein Protokoll, in dem Inhalte von Kundenanfragen vollständig stehen, ist selbst ein zu schützender Bestand.

Drei Dinge helfen erfahrungsgemäß mehr als eine Schulung am Einführungstag. Erstens die Erlaubnis, eine Ausgabe zu verwerfen, ausdrücklich und von der Führungskraft gesagt. Wer befürchtet, sich für eine Korrektur rechtfertigen zu müssen, übernimmt im Zweifel die falsche Antwort.

Zweitens eine Stelle, an der eine schlechte Antwort gemeldet werden kann, mit zwei Klicks und ohne Formular. Was dort eingeht, ist das Material für den Prüfsatz aus Kapitel 04, und damit schließt sich der Kreis: Die Rückmeldung ist nicht Beschwerdemanagement, sondern die Quelle der Verbesserung.

Drittens eine kurze, wiederkehrende Gelegenheit zum Nachfragen. Eine halbe Stunde im Monat, in der jemand aus dem Fachbereich und jemand aus der Technik zusammen mit den Nutzern die Woche durchgeht, findet mehr als jede Nutzerbefragung. Wie ein solcher Einstieg im Unternehmen aufgesetzt wird, steht in Baustein 04.

Wie erkennt man fehlendes Vertrauen in der Belegschaft?

Daran, dass Ausgaben zwar erzeugt, aber nicht verwendet werden: Die Nutzung bleibt konstant und der Anteil ohne Nacharbeit sinkt, oder Nutzer öffnen das System und arbeiten daneben von Hand weiter. Fragen hilft mehr als messen, aber nur, wenn das Fragen nicht als Kontrolle ankommt.

Muss der Betriebsrat einbezogen werden?

Sobald ein System Arbeitsverhalten oder Leistung von Beschäftigten auswertbar macht, ist es mitbestimmungsrelevant, und Protokolle je Person können das sehr schnell tun. Das ist kein Grund gegen Protokolle, sondern einer, sie früh zu besprechen und den Zugriff zu begrenzen. Eine Vereinbarung vorher ist erheblich einfacher als eine Korrektur danach.

1. Die Nutzung bleibt unter dem Wert, ab dem sich der Betrieb lohnt, über einen vorher vereinbarten Zeitraum. Nicht als Gefühl, sondern als Zahl aus Kapitel 03.
2. Die Nacharbeit frisst den Zeitgewinn auf. Wenn das Prüfen und Korrigieren länger dauert als die Arbeit ohne System, ist die Sache entschieden.
3. Die Trefferquote bleibt trotz Nachbesserung unter der Grenze. Zwei Runden Nachbesserung ohne Wirkung sind ein Ergebnis und kein Zwischenstand.
4. Der Vorgang selbst ist entfallen. Kommt häufiger vor als erwartet, wenn Prozesse sich ändern, und wird selten bemerkt, weil niemand nach dem Zweck fragt.

Abschalten ist dabei nicht der einzige Ausgang. Häufiger ist der Zuschnitt: Das System bleibt für die zwei Aufgaben, bei denen es trägt, und verschwindet aus den fünf, bei denen es nur nebenbei mitlief. Das senkt Aufwand und Prüfarbeit gleichzeitig und erhält das Vertrauen der Nutzer.

Wie kommt man aus einem Anbieter wieder heraus?

Drei Punkte entscheiden das und gehören vor den Vertrag: Liegen Ihre Anweisungen, Prüffälle und aufbereiteten Quellen bei Ihnen oder nur beim Anbieter, sind die Schnittstellen austauschbar, und lässt sich das Protokoll exportieren. Wer diese drei Punkte klärt, kann wechseln; wer sie offen lässt, bezahlt den Wechsel mit einem neuen Projekt.

Was passiert mit den Daten nach dem Abschalten?

Der Bestand, aus dem gelesen wurde, gehört Ihnen und bleibt nützlich, auch für das nächste System. Die Protokolle folgen den Fristen ihres Vorgangs und werden danach gelöscht. Beim Anbieter ist die Löschung Teil des Auftragsverarbeitungsvertrags und eine Sache, die man schriftlich bestätigt haben will, nicht nur mündlich.

• Es läuft, also ist es fertig. Verfügbar ist nicht dasselbe wie brauchbar. Ein System kann monatelang ohne Störung laufen und dabei immer schlechter antworten.
• Der Anbieter überwacht die Qualität. Er überwacht seinen Dienst. Ob die Antwort zu Ihrem Fall passt, kann er nicht wissen, und sein Vertrag sagt das auch.
• Ein Werkzeug übernimmt die Prüfung. Werkzeuge sammeln Anfragen, Zeiten und Kosten. Was eine richtige Antwort ist, ist eine fachliche Festlegung und bleibt im Haus.
• Prüfen kostet zu viel Zeit. Eine Stichprobe von zwanzig Fällen dauert eine gute halbe Stunde. Ein Fehler, der bis zum Kunden läuft, dauert länger, und der Vertrauensverlust bei den eigenen Leuten lässt sich nicht in Stunden rechnen.

Umgekehrt gilt: Wer die drei Rollen aus Kapitel 02 benennt und den Prüfsatz aus Kapitel 04 anlegt, hat den größten Teil des Betriebs erledigt. Beides kostet am Anfang wenig und später viel, und beides nützt auch dann, wenn nie etwas schiefgeht.

Was ist der kleinste sinnvolle Betriebsplan?

Eine Seite: drei Namen für die drei Rollen, drei Kennzahlen mit Fundstelle, ein Prüfsatz mit zwanzig Fällen, ein wöchentliches Zeitfenster für die Stichprobe, je Störungsbild eine Rückfallebene und vier Abschaltkriterien. Wer das hat, betreibt ein System. Alles weitere ist Ausbau und kann warten.