KI im Betrieb

Die zweite Zeile ist die wichtigste. Eine Abnahme prüft Fälle, die vorher bekannt waren. Im Betrieb kommen die Fälle von Menschen, die das System anders benutzen, als es gedacht war, und das ist der Normalfall. Eine Stichprobe aus echten Anfragen macht genau diese Fälle sichtbar.

Die letzte Zeile verschiebt die Verantwortung. Solange ein System im Test läuft, ist ein Fehler eine Notiz. Sobald es Kunden erreicht, hat jede Ausgabe Gewicht, und deshalb gehört die Frage, wer eine Ausgabe freigibt, vor den Start.

Wann endet ein KI-Projekt und wann beginnt der Betrieb?

Praktisch mit der ersten Ausgabe, die eine Entscheidung beeinflusst oder einen Kunden erreicht. Der Tag der Abnahme eignet sich dafür weniger, weil zwischen Abnahme und echter Nutzung oft Wochen liegen. Hilfreicher ist die Frage, ab wann jemand die Ausgabe tatsächlich verwendet, und ab diesem Tag gilt der Betriebsplan.

Was gehört in eine Betriebsübergabe?

Vier Dinge, und alle vier passen auf zwei Seiten: die drei Rollen mit Namen, der Prüfsatz mit den Fällen, die Kennzahlen mit der Angabe, wo sie stehen, und die Rückfallebene je Störungsbild. Mit diesen vier Dingen übergeben Sie neben der Technik auch die Verantwortung.

Wie lange dauert es, bis der Betrieb ruhig läuft?

Die ersten Wochen sind die arbeitsreichsten, weil Nutzer Fragen stellen, die über die geplanten Fälle hinausgehen. Diese Fälle sind der Rohstoff für den Prüfsatz. Erfahrungsgemäß nimmt die Prüfarbeit deutlich ab, sobald die typischen Fälle abgedeckt sind; ein kleiner fester Anteil bleibt, weil Modelle und Quellen sich weiter bewegen.

• Fachliche Verantwortung. Legt fest, was als richtig gilt, bewertet die Stichprobe, gibt Änderungen frei. Eine benannte Person mit einem festen Zeitfenster.
• Technischer Betrieb. Zugänge, Versionen, Protokolle, Kosten, Rückfallebene. Meldet Änderungen des Anbieters, hält den Prüfsatz lauffähig.
• Datenschutz. Beurteilt neue Quellen, neue Zielsysteme und neue Verarbeitungsorte, bevor sie in Betrieb gehen. Jede neue Quelle bekommt ihre eigene Freigabe.
• Und der Anbieter als Partner. Der Anbieter des Modells sichert in seinem Vertrag die Verfügbarkeit zu. Für die Richtigkeit im Einzelfall sorgen die drei Rollen im Haus.

Ein praktischer Prüfstein: Fragen Sie, wer diese Woche die Stichprobe bewertet hat und wie lange das gedauert hat. Kommen darauf ein Name und eine Zeitangabe, ist der Betrieb gut organisiert.

Kann der Betrieb an einen Dienstleister abgegeben werden?

Der technische Teil ja, die fachliche Bewertung bleibt im Haus. Ein Dienstleister kann Zugänge, Versionen, Protokolle und Prüfsatzläufe übernehmen und auch melden, wenn ein Lauf durchfällt. Was als richtige Antwort gilt, legt der Betrieb selbst fest, weil ihm der Geschäftsvorgang gehört. Diese Aufgabe braucht eine Person im Haus, auch bei vollständig ausgelagerter Technik.

Wie viel Zeit kostet die fachliche Rolle?

Sie besteht aus drei Posten: Stichprobe bewerten, Rückmeldungen durchsehen, Änderungen freigeben. Für eine Stichprobe von zwanzig Fällen ist eine gute halbe Stunde ein realistischer Wert, die übrigen Posten fallen unregelmäßig an. Wichtig ist ein festes Zeitfenster im Kalender: Aufgaben mit Termin werden zuverlässig erledigt.

Wie findet sich jemand für die Rolle?

Indem der Einsatzbereich zur verfügbaren Zeit passt. Zugeschnitten auf die Prüfarbeit, die tatsächlich leistbar ist, wird die Rolle überschaubar und gut übernehmbar. Ein System für zwei Aufgaben mit Prüfung ist nützlicher als eines für zehn ohne, und es bleibt dauerhaft im Einsatz.

Zwei Werte gehören immer zusammen gelesen. Sinkt die Nutzung bei gleichbleibender Trefferquote, liegt es an der Bedienung, an der Einbindung in den Arbeitsablauf oder am Vertrauen. Sinkt die Trefferquote, liegt es am System, am Modell oder am Datenbestand. Wer beide Werte erhebt, unterscheidet die Ursachen sicher.

Der Anteil der Antworten ohne Quellenangabe ist der unauffälligste und einer der nützlichsten Werte. Er steigt, wenn Fragen gestellt werden, die der Bestand nicht abdeckt. Damit zeigt er Ihnen gezielt, wo Ihre Unterlagen ergänzt werden können.

Wie viele Kennzahlen sind sinnvoll?

Wenige, dafür jede Woche dieselben. Drei genügen für den Anfang: Nutzung, Anteil ohne Nacharbeit, Trefferquote der Stichprobe. Eine kleine Auswahl bleibt über Monate gut erhebbar, und darauf kommt es an, weil der Vergleich über die Zeit die eigentliche Aussage ist.

Ab welchem Wert ist eine Trefferquote gut?

Das legt der Vorgang fest, nicht die Technik. Bei einem internen Textentwurf, den ohnehin jemand liest, ist eine mittlere Quote brauchbar. Bei einer Auskunft, die direkt an Kunden geht, braucht es eine sehr hohe Quote oder eine Freigabe durch einen Menschen, weil jeder Restfall nach außen geht. Der Grenzwert gehört deshalb vor den Start und in die Freigabe.

Muss dafür ein Werkzeug gekauft werden?

Für den Anfang genügt, was vorhanden ist. Die Nutzungswerte stehen im Protokoll, das Ihr System ohnehin schreibt, und die Bewertungen der Stichprobe passen in eine Tabelle mit vier Spalten. Ein Werkzeug lohnt sich, wenn mehrere Systeme gleichzeitig laufen; es sammelt dann die Bewertungen von Hand übersichtlich ein.

Der Prüfsatz ist die Arbeit, die sich am stärksten auszahlt. Er besteht aus echten Fällen mit der Antwort, die der Fachbereich für richtig hält, aufgeschrieben in einer einfachen Tabelle. Zwanzig bis fünfzig gut gewählte Fälle reichen für den Anfang, wichtiger als die Anzahl ist, dass die schwierigen Fälle dabei sind und dass sie auch nach einem auffälligen Lauf unverändert bleiben.

Die Stichprobe ergänzt ihn um unerwartete Fragen. Eine feste Anzahl je Woche, zufällig gezogen, von Hand bewertet mit drei Stufen. Übernommen, korrigiert, verworfen. Drei Stufen halten den Aufwand klein und reichen für die Entscheidung.

Beides setzt voraus, dass der Bestand stimmt, aus dem das System liest. Wie ein solcher Bestand geordnet wird, steht in Baustein 06; wie geprüfte KI-Ausgaben ihn sauber halten, im Fachbeitrag zur Datenqualität.

Wie entsteht ein guter Prüfsatz?

Aus echten Fällen. Die ersten zwanzig kommen aus den Wochen nach dem Start, dazu die Fälle, die schon einmal eine Korrektur gebraucht haben. Jeder Fall besteht aus der Anfrage, der Antwort, die der Fachbereich für richtig hält, und einer kurzen Begründung. Die Begründung ist der Teil, der später für Klarheit sorgt.

Was ist Drift und wie erkennt man sie früh?

Drift heißt: Die Welt ändert sich, und das System braucht den neuen Stand. Preise, Vorgaben, Zuständigkeiten und Produkttexte entwickeln sich weiter, und das Modell antwortet mit dem Stand, den es liest. Sichtbar wird das zuerst an Rückmeldungen, dann in der Stichprobe. Wirksam ist ein fester Termin für die Pflege der Quellen, mehr als jedes Nachschärfen am Modell.

Wie prüft man eine Ausgabe mit mehreren guten Antworten?

Bei Texten, Zusammenfassungen und Vorschlägen prüfen Sie gegen klare Kriterien statt gegen einen festen Sollzustand. Eine Liste hilft: alle Angaben belegt, alle Pflichtangaben vorhanden, Tonfall passend, Vertrauliches ausgespart. Das ist objektiv bewertbar und reicht für eine Freigabeentscheidung.

Der Ablauf ist in allen fünf Fällen derselbe. Prüfsatz gegen das neue Modell laufen lassen, Abweichungen ansehen, bei unklaren Fällen beide Antworten dem Fachbereich vorlegen, erst dann umschalten und die alte Version eine Zeit lang erreichbar halten. Wer diesen Ablauf einmal aufschreibt, braucht beim nächsten Wechsel eine Stunde statt einer Woche.

Welcher Betriebsweg überhaupt zu welcher Vertraulichkeitsklasse passt und wie sich Anbieter unterscheiden, steht in Baustein 02.

Woher erfährt man von Abkündigungen?

Aus den Mitteilungen des Anbieters, am besten an eine Sammeladresse, die auch in der Urlaubszeit gelesen wird. Zusätzlich gehört ein Termin in den Kalender, an dem jemand die Liste der verfügbaren Modelle mit der eingesetzten Version vergleicht. So erfahren Sie rechtzeitig davon, mit ausreichend Vorlauf für den Wechsel.

Wann lohnt sich ein Wechsel auf ein neueres Modell?

Wenn es an Ihren eigenen Fällen überzeugt. Ein neueres Modell kann in Prüfständen besser abschneiden und in Ihrem Fall anders wirken, etwa weil es ausführlicher antwortet, als Ihr Ablauf vorsieht, oder weil es Formatvorgaben anders auslegt. Genau dafür ist der Prüfsatz da: Die Entscheidung fällt an Ihren Fällen statt an einer Ranglistenangabe.

Wie lange hält man die alte Version bereit?

Bis zwei vollständige Prüfzyklen mit dem neuen Modell ohne Auffälligkeit durchgelaufen sind. So bleibt der Rückweg jederzeit sofort nutzbar. Da der Anbieter die alte Version irgendwann abschaltet, planen Sie den Wechsel mit ausreichend Vorlauf.

Zwei Dinge stehen idealerweise schon vor dem Start: ein Weg, auf dem eine Meldung ankommt, und die Erlaubnis, das System abzuschalten. Liegt diese Erlaubnis bei mehreren benannten Personen mit Vertretung, lässt sich auch in der Urlaubszeit sofort handeln.

Der letzte Punkt der Tabelle führt weiter: Was bei einem Verdacht auf Datenabfluss technisch zu tun ist und welche Meldefristen greifen, steht in Baustein 09.

Wer darf ein KI-System abschalten?

Diese Erlaubnis gehört vor den Start, benannt mit Personen und Vertretung. Sinnvoll ist eine niedrige Schwelle: Wer eine auffällige Ausgabe sieht, darf anhalten, ohne Rückfrage. Die Prüfung, ob es nötig war, kommt danach. So wird eine Auffälligkeit sofort gestoppt.

Was gehört in eine Nutzermeldung bei einer Störung?

Ein sichtbarer Hinweis an der Stelle, an der gearbeitet wird, mit drei Angaben: Was ist betroffen, was tun Sie stattdessen, wann kommt die nächste Information. Der dritte Punkt erspart Rückfragen und hält im Störungsfall die Zeit frei, die für die Klärung gebraucht wird.

Der letzte Treiber bietet den größten Hebel für die Wirtschaftlichkeit. Die Rechnung des Anbieters ist meist der kleinere Posten; die Stunden, in denen Menschen Ausgaben nachbessern, sind der größere. Deshalb ist der Anteil der Ausgaben ohne Nacharbeit aus Kapitel 03 zugleich eine Kostenkennzahl.

Ein Hinweis zur Reihenfolge: Die Wahl des Modells kommt zuletzt, weil sie die Ausgabe und damit die Nacharbeit am stärksten beeinflusst. Zuerst die Länge der mitgegebenen Zusammenhänge und die Zahl der Schritte prüfen, dann wiederkehrende Fragen zwischenspeichern, und erst danach über ein kleineres Modell nachdenken.

Wie senkt man die Kosten bei gleicher Qualität?

In dieser Reihenfolge: kürzere Zusammenhänge mitgeben, wiederkehrende Antworten zwischenspeichern, Schritte je Vorgang zusammenfassen, einfache Aufgaben auf ein kleineres Modell verlagern, und erst zuletzt am Modell für die schwierigen Fälle sparen. Die ersten drei Schritte verändern die Ausgabe kaum, der letzte verändert sie am stärksten.

Warum steigt die Rechnung, obwohl die Nutzung gleich bleibt?

Meist, weil je Anfrage mehr mitgegeben wird als früher: Der Bestand ist gewachsen, die Anweisungen sind länger geworden, oder ein Ablauf schickt inzwischen mehrere Schritte hintereinander. Der Wert, der das sichtbar macht, ist der Aufwand je Vorgang; mit ihm sehen Sie neben der Summe auch die Ursache.

• Wer hat gefragt, wann, und was hat das System geantwortet. Mit diesen drei Angaben lässt sich jeder Einzelfall später rekonstruieren, auch für eine Kundenanfrage.
• Welche Quellen standen im Zusammenhang. Erst damit ist die Frage beantwortbar, ob die Antwort aus Ihren Unterlagen kam oder aus dem Modell.
• Welches Modell in welcher Version. Damit bleibt auch nach einem Wechsel feststellbar, welcher Stand die Ausgabe erzeugt hat.
• Wer hat freigegeben. Bei Ausgaben, die nach außen gehen, ist die Freigabe der eigentliche Nachweis.
• Welche Änderungen wurden vorgenommen. Anweisungen, Quellen, Rechte, Modell: mit Datum und Person. Das ist die Liste, die bei jeder Abweichung als Erstes gebraucht wird.

Zur Aufbewahrungsdauer: Sie richtet sich nach dem Vorgang, nicht nach der Technik. Ein Protokoll zu Angeboten oder Reklamationen folgt den Fristen dieses Vorgangs, und die personenbezogenen Anteile unterliegen den Löschregeln, die Sie ohnehin haben. Ein Löschkonzept gehört deshalb von Anfang an dazu.

Wofür dient das Protokoll des Anbieters?

Es zeigt die Anfragen an seinen Dienst. Welcher Vorgang bei Ihnen dahinter stand, welche Quellen beteiligt waren und wer freigegeben hat, gehört in Ihre eigene Aufzeichnung. Außerdem hängen Aufbewahrung und Zugriff an seinen Regeln. Für Nachweise gegenüber Kunden und Prüfern braucht es ein eigenes Protokoll.

Wie bleibt das Protokoll selbst gut geschützt?

Zwei Festlegungen: Was steht drin, und wer darf es lesen. Personenbezug nur, soweit er für den Nachweis nötig ist, Löschfristen wie beim zugehörigen Vorgang, und Lesezugriff für benannte Rollen statt für alle Mitarbeitenden. Ein Protokoll, in dem Inhalte von Kundenanfragen vollständig stehen, ist selbst ein zu schützender Bestand.

Drei Dinge helfen erfahrungsgemäß mehr als eine Schulung am Einführungstag. Erstens die Erlaubnis, eine Ausgabe zu verwerfen, ausdrücklich und von der Führungskraft gesagt. Wer frei korrigieren darf, übernimmt genau die Antworten, die wirklich passen.

Zweitens eine Stelle, an der eine unpassende Antwort mit zwei Klicks gemeldet werden kann, ganz ohne Formular. Was dort eingeht, ist das Material für den Prüfsatz aus Kapitel 04, und damit schließt sich der Kreis: Die Rückmeldung ist die Quelle der Verbesserung.

Drittens eine kurze, wiederkehrende Gelegenheit zum Nachfragen. Eine halbe Stunde im Monat, in der jemand aus dem Fachbereich und jemand aus der Technik zusammen mit den Nutzern die Woche durchgeht, findet mehr als jede Nutzerbefragung. Wie ein solcher Einstieg im Unternehmen aufgesetzt wird, steht in Baustein 04.

Woran erkennt man das Vertrauen der Belegschaft?

Daran, wie viele erzeugte Ausgaben tatsächlich verwendet werden: Ein stabiler oder wachsender Anteil ohne Nacharbeit zeigt Vertrauen, ein sinkender Anteil bei gleicher Nutzung oder paralleles Arbeiten von Hand zeigt Handlungsbedarf. Fragen hilft mehr als messen, besonders wenn das Fragen als Interesse ankommt.

Muss der Betriebsrat einbezogen werden?

Sobald ein System Arbeitsverhalten oder Leistung von Beschäftigten auswertbar macht, ist es mitbestimmungsrelevant, und Protokolle je Person können das sehr schnell tun. Das spricht dafür, Protokolle früh zu besprechen und den Zugriff zu begrenzen. Eine Vereinbarung vorab ist der einfachste Weg.

1. Die Nutzung liegt unter dem vereinbarten Zielwert, über einen vorher vereinbarten Zeitraum. Gemessen als Zahl aus Kapitel 03 statt nach Gefühl.
2. Die Nacharbeit übersteigt den Zeitgewinn. Dauern Prüfen und Korrigieren länger als die Arbeit ohne System, liegt die Entscheidung klar auf der Hand.
3. Die Trefferquote liegt nach Nachbesserung weiter unter der Grenze. Zwei Runden Nachbesserung liefern ein klares Ergebnis für die Entscheidung.
4. Der Vorgang selbst ist entfallen. Das kommt vor, wenn Prozesse sich ändern, und eine regelmäßige Frage nach dem Zweck macht es sichtbar.

Neben dem Abschalten gibt es einen häufigeren Ausgang, den Zuschnitt: Das System konzentriert sich auf die Aufgaben, bei denen es trägt, und wird aus denen herausgenommen, bei denen es nur nebenbei mitlief. Das senkt Aufwand und Prüfarbeit gleichzeitig und erhält das Vertrauen der Nutzer.

Wie bleibt ein Anbieterwechsel jederzeit möglich?

Drei Punkte entscheiden das und gehören vor den Vertrag: Liegen Ihre Anweisungen, Prüffälle und aufbereiteten Quellen bei Ihnen oder nur beim Anbieter, sind die Schnittstellen austauschbar, und lässt sich das Protokoll exportieren. Wer diese drei Punkte klärt, kann jederzeit mit überschaubarem Aufwand wechseln.

Was passiert mit den Daten nach dem Abschalten?

Der Bestand, aus dem gelesen wurde, gehört Ihnen und bleibt nützlich, auch für das nächste System. Die Protokolle folgen den Fristen ihres Vorgangs und werden danach gelöscht. Beim Anbieter ist die Löschung Teil des Auftragsverarbeitungsvertrags und eine Sache, die Sie sich schriftlich bestätigen lassen.

• Brauchbar ist mehr als verfügbar. Ein System kann monatelang ohne Störung laufen. Ob seine Antworten dabei gut bleiben, zeigt die regelmäßige Stichprobe.
• Die Qualität prüfen Sie im Haus. Der Anbieter überwacht seinen Dienst. Ob die Antwort zu Ihrem Fall passt, beurteilen Sie selbst, und so sieht es auch sein Vertrag vor.
• Werkzeuge unterstützen die Prüfung. Sie sammeln Anfragen, Zeiten und Kosten. Was eine richtige Antwort ist, ist eine fachliche Festlegung und bleibt im Haus.
• Prüfen geht schneller als gedacht. Eine Stichprobe von zwanzig Fällen dauert eine gute halbe Stunde. Diese Zeit sichert die Qualität beim Kunden und das Vertrauen der eigenen Leute.

Daraus folgt: Wer die drei Rollen aus Kapitel 02 benennt und den Prüfsatz aus Kapitel 04 anlegt, hat den größten Teil des Betriebs geschafft. Beides ist am Anfang mit wenig Aufwand verbunden und nützt jeden Tag, auch im ruhigen Betrieb.

Was ist der kleinste sinnvolle Betriebsplan?

Eine Seite: drei Namen für die drei Rollen, drei Kennzahlen mit Fundstelle, ein Prüfsatz mit zwanzig Fällen, ein wöchentliches Zeitfenster für die Stichprobe, je Störungsbild eine Rückfallebene und vier Abschaltkriterien. Wer das hat, betreibt ein System. Alles weitere ist Ausbau und folgt Schritt für Schritt.