KI-Modelle im Unternehmen
Cloud oder lokal: die Entscheidung, die alles bestimmt
Bevor Sie über Anwendungsfälle sprechen, müssen Sie eine Grundsatzfrage klären: Verlassen Ihre Daten das Haus oder nicht. Diese Seite ordnet die verfügbaren Modelle ein, benennt Stärken und Schwächen beider Wege und liefert die Zahlen, die Sie für die Entscheidung brauchen.
Was ist ein KI-Modell und warum gibt es zwei Betriebswege?
Ein KI-Modell ist eine trainierte Datei, die aus einer Eingabe eine Ausgabe berechnet. Betrieben werden kann sie entweder über die Schnittstelle eines Anbieters (Cloud) oder auf eigener Hardware im Unternehmensnetz (lokal). Technisch ist das Modell in beiden Fällen dasselbe Prinzip: Milliarden von Parametern, die während des Trainings festgelegt wurden und bei jeder Anfrage neu durchgerechnet werden. Der Unterschied liegt ausschließlich darin, wo diese Berechnung stattfindet und wer dabei Zugriff auf Ihre Eingaben hat.
Cloud-Anbieter halten ihre stärksten Modelle geschlossen, das heißt, die Modelldatei ist nicht herausgegeben und ausschließlich über deren Rechenzentren nutzbar. Daneben existiert eine wachsende Zahl offener Modelle, deren Gewichte frei heruntergeladen und selbst betrieben werden dürfen. Diese Trennung zwischen geschlossenen und offenen Modellen ist der eigentliche Grund, warum die Frage Cloud oder lokal überhaupt existiert.
Hinweis zur Aktualität: Der Modellmarkt verändert sich im Monatsrhythmus. Wir nennen auf dieser Seite bewusst Anbieter und Modellfamilien statt einzelner Versionsnummern, weil letztere binnen weniger Wochen überholt sind. Die beschriebenen Eigenschaften und Abwägungen bleiben davon unberührt. Konkrete Preise und Leistungswerte prüfen wir im Projekt jeweils zum Entscheidungszeitpunkt.
Cloud-Modelle: maximale Leistung gegen Datenabfluss
Die vier relevanten Anbieter für den deutschen Mittelstand, jeweils mit ihrem Profil, ihren Schwächen und der datenschutzrechtlichen Ausgangslage.
AI
OpenAI
USA, GPT-ModellfamilieDer bekannteste Anbieter und für viele Unternehmen der erste Kontakt mit generativer KI. Sehr breites Ökosystem, ausgereifte Schnittstelle, umfangreiche Werkzeuge für Entwickler.
- Stärken
- Sehr breite Funktionsabdeckung von Text über Bild bis Sprache, große Auswahl an Modellgrößen, hervorragend dokumentierte Schnittstelle, viele fertige Integrationen in Standardsoftware.
- Schwächen
- Preisgestaltung und Modellverfügbarkeit ändern sich häufig, was langfristige Kalkulationen erschwert. Bei sehr hohem Anfragevolumen können Antwortzeiten schwanken.
- Datenschutz
- Auftragsverarbeitungsvertrag verfügbar, Verarbeitung in europäischen Regionen für Geschäftskunden möglich, Ausschluss der Trainingsnutzung im Geschäftskundentarif Standard. Der Anbieter unterliegt US-Recht, was in der Risikobewertung zu berücksichtigen ist.
Anthropic
USA, Claude-ModellfamilieAnbieter mit ausgeprägtem Fokus auf Zuverlässigkeit und Nachvollziehbarkeit. In der Praxis besonders stark bei langen Dokumenten, strukturierter Analyse und Programmieraufgaben.
- Stärken
- Sehr große Kontextfenster, wodurch umfangreiche Vertrags- und Aktenbestände in einem Durchgang verarbeitet werden können. Konsistente Ergebnisse bei komplexen Anweisungen, geringere Neigung zu erfundenen Angaben als der Marktdurchschnitt.
- Schwächen
- Schmaleres Ökosystem an Zusatzfunktionen als beim Marktführer. Für einfache Massenaufgaben ist der Leistungsvorsprung wirtschaftlich oft nicht relevant.
- Datenschutz
- Auftragsverarbeitungsvertrag verfügbar, keine Nutzung von Geschäftskundendaten für Modelltraining. Auch hier gilt: US-Anbieter, entsprechende Prüfung im Rahmen der Risikoanalyse erforderlich.
Besonders interessant für Unternehmen, die bereits in der Google-Cloud-Welt arbeiten. Enge Verzahnung mit Workspace, BigQuery und der übrigen Google-Infrastruktur.
- Stärken
- Sehr gute Verarbeitung gemischter Inhalte aus Text, Bild, Audio und Video. Nahtlose Anbindung an vorhandene Google-Dienste, attraktive Konditionen bei hohem Volumen.
- Schwächen
- Die Vielzahl paralleler Produktlinien und Benennungen erschwert die Auswahl. Wer nicht ohnehin Google-Cloud nutzt, hat höheren Integrationsaufwand.
- Datenschutz
- Verarbeitung in EU-Regionen wählbar, Auftragsverarbeitungsvertrag über die Cloud-Plattform geregelt. Für Bestandskunden der Google Cloud meist der vertraglich einfachste Weg.
Mistral AI
Frankreich, europäischer AnbieterDer einzige europäische Anbieter in der ersten Reihe. Für Unternehmen mit hohen Anforderungen an digitale Souveränität häufig die pragmatischste Cloud-Option.
- Stärken
- Sitz und Verarbeitung in der EU, wodurch die datenschutzrechtliche Argumentation deutlich einfacher ausfällt. Sehr gutes Verhältnis von Leistung zu Preis. Teile des Modellportfolios sind offen verfügbar und lassen sich später lokal weiterbetreiben.
- Schwächen
- Bei den anspruchsvollsten Aufgaben liegt der Abstand zu den US-Spitzenmodellen weiterhin sichtbar. Kleineres Ökosystem an fertigen Integrationen.
- Datenschutz
- Europäischer Anbieter mit Verarbeitung in der EU. Kein Drittlandtransfer, dadurch entfällt ein erheblicher Teil des sonst üblichen Prüfaufwands.
Wofür Cloud-Modelle sprechen
- Innerhalb weniger Stunden produktiv, ohne Investition in Hardware
- Aktuell führend bei komplexem Schlussfolgern, sehr langen Dokumenten und Programmieraufgaben
- Skalierung nach oben ist eine reine Vertragsfrage, kein Beschaffungsprojekt
- Kein eigener Betriebsaufwand für Updates, Sicherheit und Verfügbarkeit
- Kalkulierbarer Einstieg, weil Kosten mit der tatsächlichen Nutzung entstehen
Was gegen den Cloud-Weg spricht
- Ihre Eingaben verlassen das Unternehmen und werden bei einem Dritten verarbeitet
- Vertragliche Absicherung, Verarbeitungsverzeichnis und Risikobewertung sind Pflicht
- Modelle können abgekündigt oder verändert werden, Ergebnisse ändern sich dann ohne Ihr Zutun
- Bei sehr hohem Dauervolumen übersteigen die laufenden Kosten irgendwann eine Eigenprojektlösung
- Keine Nutzung in abgeschotteten Netzen oder bei ausgefallener Internetverbindung
Offene Modelle: volle Datenhoheit auf eigener Hardware
Diese Modellfamilien dürfen heruntergeladen und im eigenen Netz betrieben werden. Der Leistungsabstand zur Cloud-Spitze ist in den vergangenen Jahren deutlich geschrumpft.
Offene Modelle sind Modelle, deren trainierte Gewichte öffentlich verfügbar sind und die dadurch vollständig im eigenen Rechenzentrum betrieben werden können. Für die meisten typischen Unternehmensaufgaben, also Zusammenfassen, Klassifizieren, Extrahieren von Daten aus Dokumenten und Beantworten von Fragen zu eigenen Inhalten, reichen sie heute vollständig aus. Spürbar schwächer bleiben sie bei sehr komplexen mehrstufigen Denkaufgaben und bei anspruchsvoller Softwareentwicklung.
Llama (Meta)
Offene Gewichte, breite VerbreitungDie am weitesten verbreitete offene Modellfamilie. Praktisch jedes Werkzeug im Ökosystem unterstützt sie, was Einrichtung und Fehlersuche erheblich vereinfacht.
- Typischer Einsatz
- Allrounder für interne Assistenten, Dokumentenauswertung und Textproduktion. Durch die große Community existieren zahlreiche angepasste Varianten für Fachdomänen.
- Zu beachten
- Die Lizenz ist quelloffen im praktischen Sinne, aber nicht uneingeschränkt frei. Bei sehr großen Nutzerzahlen sind die Lizenzbedingungen zu prüfen.
Mistral (offene Varianten)
Europa, effizient im BetriebEuropäische Herkunft, sehr gutes Verhältnis von Qualität zu Hardwarebedarf und überdurchschnittliche Ergebnisse in deutscher Sprache.
- Typischer Einsatz
- Deutschsprachige Korrespondenz, Zusammenfassungen, Klassifikation von Anfragen. Läuft in den kleineren Varianten bereits auf überschaubarer Hardware.
- Zu beachten
- Nicht alle Modelle des Anbieters sind offen. Vor der Auswahl ist zu prüfen, welche Variante tatsächlich zum Eigenbetrieb freigegeben ist.
Qwen (Alibaba)
Breites GrößenspektrumAuffällig leistungsfähig im Verhältnis zur Modellgröße und in sehr vielen Größenstufen verfügbar, von sehr klein bis sehr groß.
- Typischer Einsatz
- Überall dort, wo Hardware knapp ist und trotzdem gute Ergebnisse gefordert sind. Auch bei strukturierten Ausgaben und Codeaufgaben stark.
- Zu beachten
- Herkunft aus China. Beim Eigenbetrieb ohne Netzzugang technisch unkritisch, in der internen Kommunikation aber ein Thema, das offen angesprochen werden sollte.
DeepSeek
Fokus auf SchlussfolgernBekannt geworden durch Modelle, die mehrstufige Denkschritte offenlegen und damit an Aufgaben herankommen, die zuvor Cloud-Spitzenmodellen vorbehalten waren.
- Typischer Einsatz
- Analytische Aufgaben, Datenauswertung, Nachvollziehen komplexer Regelwerke. Die sichtbaren Zwischenschritte erleichtern die fachliche Prüfung der Ergebnisse.
- Zu beachten
- Höherer Rechenaufwand pro Anfrage, weil deutlich mehr Text erzeugt wird. Die großen Varianten stellen erhebliche Hardwareanforderungen.
Wofür lokale Modelle sprechen
- Keine Daten verlassen das Unternehmensnetz, damit entfällt ein Großteil der Datenschutzprüfung
- Auch personenbezogene und geschäftskritische Inhalte sind unbedenklich verarbeitbar
- Die eingesetzte Modellversion bleibt beliebig lange stabil und reproduzierbar
- Nach der Investition entstehen im Wesentlichen nur noch Strom- und Betreuungskosten
- Betrieb auch in abgeschotteten Netzen und ohne Internetverbindung möglich
Was den Eigenbetrieb erschwert
- Anfangsinvestition in Hardware, die vor dem ersten Ergebnis fällig wird
- Betrieb, Aktualisierung und Überwachung müssen intern oder extern abgedeckt sein
- Bei den anspruchsvollsten Aufgaben bleibt ein sichtbarer Qualitätsabstand
- Verarbeitungsgeschwindigkeit begrenzt die Zahl gleichzeitiger Nutzer
- Auswahl und Aktualisierung der Modelle erfordern fortlaufende fachliche Beobachtung
Übliche Werkzeuge für den lokalen Betrieb:
Welche Hardware brauchen lokale KI-Modelle wirklich?
Die entscheidende Größe ist der Grafikspeicher. Er bestimmt, welche Modellgröße überhaupt laufbar ist.
Als Faustregel gilt: Ein Modell benötigt in komprimierter Form etwa 0,6 bis 0,8 Gigabyte Grafikspeicher pro Milliarde Parameter, zuzüglich Reserve für das Kontextfenster. Ein Modell mit sieben Milliarden Parametern läuft damit auf einer Grafikkarte mit acht Gigabyte Speicher, ein Modell mit siebzig Milliarden Parametern benötigt bereits rund achtundvierzig Gigabyte. Reicht der Grafikspeicher nicht aus, arbeitet das System über den Arbeitsspeicher weiter, wird dabei aber um ein Vielfaches langsamer und ist für den Mehrbenutzerbetrieb praktisch unbrauchbar.
| Modellgröße | Grafikspeicher | Typische Hardware | Wofür geeignet |
|---|---|---|---|
| 3 bis 4 Mrd. | ca. 4 GB | Aktueller Arbeitsplatzrechner, auch Notebook | Klassifikation, einfache Textbearbeitung, erste Tests |
| 7 bis 9 Mrd. | ca. 8 GB | Workstation mit Consumer-Grafikkarte | Zusammenfassungen, interne Suche, Korrespondenz |
| 13 bis 14 Mrd. | ca. 12 GB | Leistungsfähige Workstation | Solide Allroundnutzung im Einzelbetrieb |
| 30 bis 34 Mrd. | ca. 24 GB | Professionelle Grafikkarte oder Serverkarte | Anspruchsvolle Analyse, kleiner Mehrbenutzerbetrieb |
| 70 Mrd. | ca. 48 GB | Serverkarte oder zwei gekoppelte Karten | Nahe an Cloud-Qualität für die meisten Aufgaben |
| über 100 Mrd. | 80 GB und mehr | Mehrere Serverkarten im Verbund | Spezialfälle mit hohem Anspruch und eigenem Betriebsteam |
Die Angaben beziehen sich auf komprimierte Modelle in vierstelliger Quantisierung, dem im Unternehmenseinsatz üblichen Verfahren. Bei unkomprimiertem Betrieb verdoppelt bis vervierfacht sich der Bedarf.
Was kostet der eine, was der andere Weg?
Ein durchgerechnetes Beispiel sagt mehr als jede Preistabelle. Alle Annahmen sind offengelegt und auf Ihren Fall übertragbar.
Rechenbeispiel: 60 Wissensarbeiter mit täglicher KI-Nutzung
Angenommen, 60 Mitarbeitende nutzen KI im Arbeitsalltag mit durchschnittlich 25 Vorgängen pro Arbeitstag. Je Vorgang werden rund 4.000 Token verarbeitet, also Eingabe plus Antwort zusammengenommen. Das ergibt etwa 6 Millionen Token pro Tag und rund 126 Millionen Token pro Monat.
Diese Zahlen sind Größenordnungen für den Vergleich, keine Angebotspreise. Nicht enthalten sind Einrichtung, Integration in Ihre Systeme und Schulung, die in beiden Varianten anfallen und den größeren Kostenblock ausmachen. Anbieterpreise ändern sich laufend und werden im Projekt zum Entscheidungszeitpunkt geprüft.
Die häufigste Fehlkalkulation: Der Vergleich wird auf Modellkosten verengt. In der Praxis machen Integration, Datenaufbereitung, Rechtevergabe und laufende Betreuung den überwiegenden Teil der Gesamtkosten aus, und zwar unabhängig davon, ob Sie Cloud oder lokal betreiben. Wer nur die Tokenpreise gegen den Anschaffungspreis einer Grafikkarte stellt, kommt regelmäßig zu einem falschen Ergebnis.
Nach 18 bis 36 Monaten kostet eigene Hardware weniger als die Cloud.
Entscheidend ist aber ein anderer Punkt: In beiden Varianten entfällt der größte Kostenblock nicht auf das Modell, sondern auf Integration, Datenaufbereitung und Rechtevergabe.
Welcher Weg passt zu welchem Anwendungsfall?
Sechs typische Ausgangslagen aus unseren Projekten und die jeweils empfohlene Richtung.
Personalabteilung verarbeitet Bewerbungen und Verträge
Hier liegen durchgängig personenbezogene Daten vor, teilweise mit besonderer Schutzwürdigkeit. Eine Übertragung an Dritte ist rechtlich aufwendig und intern schwer vermittelbar.
Empfehlung: lokalMarketing erstellt Texte und Kampagnenentwürfe
Es werden keine sensiblen Daten verarbeitet, dafür zählt sprachliche Qualität. Der Leistungsvorsprung der Cloud-Spitzenmodelle wirkt sich hier unmittelbar auf das Ergebnis aus.
Empfehlung: CloudEntwicklungsteam nutzt KI beim Programmieren
Programmierunterstützung ist die Disziplin mit dem deutlichsten Abstand zugunsten der Cloud. Sofern der Quellcode kein Geschäftsgeheimnis mit existenzieller Bedeutung darstellt, überwiegt der Nutzen.
Empfehlung: Cloud mit klaren RegelnKundenservice beantwortet Anfragen mit Bezug zu Kundendaten
Klassischer Mischfall. Die Antwortlogik ist unkritisch, die Kundendaten sind es nicht. Eine saubere Trennung beider Ebenen ist technisch möglich und meist der bessere Weg als eine pauschale Entscheidung.
Empfehlung: hybridInterne Wissenssuche über Handbücher und Richtlinien
Der Inhalt ist unternehmensintern, aber selten personenbezogen. Die Aufgabe ist technisch anspruchslos und wird von offenen Modellen gut bewältigt.
Empfehlung: lokalErste Erprobung ohne festgelegten Anwendungsfall
Solange unklar ist, welche Anwendungsfälle tragen, ist eine Hardwareinvestition verfrüht. Erst messen, dann investieren.
Empfehlung: Cloud zum StartWarum die meisten Unternehmen bei einer hybriden Architektur landen
Bei einer hybriden KI-Architektur laufen sensible Verarbeitungsschritte auf lokalen Modellen, während anspruchsvolle Aufgaben ohne schützenswerte Daten an Cloud-Modelle übergeben werden. Die Zuordnung erfolgt automatisch anhand definierter Regeln, nicht durch eine Entscheidung der Mitarbeitenden. Voraussetzung ist eine Vermittlungsschicht zwischen Ihren Anwendungen und den Modellen, die anhand von Datenklassifikation und Aufgabentyp entscheidet, welches Modell zum Einsatz kommt.
Dieser Aufbau hat einen zweiten, oft unterschätzten Vorteil: Er macht Sie unabhängig. Weil Ihre Anwendungen nicht direkt gegen die Schnittstelle eines einzelnen Anbieters gebaut sind, wird ein Anbieterwechsel oder ein Modellwechsel zur Konfigurationsänderung statt zum Neuentwicklungsprojekt.
Regelwerk statt Bauchgefühl
Welche Datenkategorie welchen Weg nimmt, wird einmal festgelegt und technisch durchgesetzt. Ihre Mitarbeitenden müssen die Entscheidung nicht bei jeder Anfrage neu treffen.
Austauschbarkeit als Grundprinzip
Eine Abstraktionsschicht zwischen Anwendung und Modell hält Sie handlungsfähig, wenn ein Anbieter Preise anhebt, ein Modell abkündigt oder ein besseres Angebot verfügbar wird.
Nachweisbarkeit gegenüber Prüfern
Jede Anfrage wird protokolliert: welches Modell, welche Datenkategorie, welcher Nutzer. Das ist die Grundlage für Auskunftsfähigkeit gegenüber Datenschutzbehörde und Wirtschaftsprüfung.
Datenschutz: was vor dem ersten produktiven Einsatz geklärt sein muss
| Anforderung | Cloud-Betrieb | Lokaler Betrieb |
|---|---|---|
| Auftragsverarbeitungsvertrag | Zwingend erforderlich, vor dem ersten Einsatz abzuschließen | Entfällt, da keine Datenweitergabe stattfindet |
| Verarbeitungsverzeichnis | Eintragung erforderlich, inklusive Zweck und Empfänger | Eintragung erforderlich, Empfänger entfällt |
| Drittlandtransfer | Bei US-Anbietern zu prüfen und zu dokumentieren | Nicht relevant |
| Trainingsnutzung Ihrer Daten | Vertraglich auszuschließen, im Geschäftskundentarif meist Standard | Technisch ausgeschlossen |
| Betroffenenrechte | Auskunft und Löschung sind über den Anbieter zu gewährleisten | Vollständig in eigener Hand |
| Besondere Datenkategorien | Nur mit erhöhtem Prüfaufwand, häufig nicht empfehlenswert | Unproblematisch bei sauberer Rechtevergabe |
| Protokollierung | Eigene Protokollierung notwendig, Anbieterlogs genügen nicht | Vollständig selbst bestimmbar |
Zur Einordnung: Diese Übersicht bildet den technischen und organisatorischen Rahmen ab, den wir in Projekten anwenden. Sie ersetzt keine Rechtsberatung. Die abschließende Bewertung Ihres konkreten Falls gehört in die Hände Ihres Datenschutzbeauftragten oder eines Fachanwalts. Wir arbeiten in Projekten regelmäßig direkt mit diesen Rollen zusammen.
Ordnen Sie zuerst die Datenkategorie ein. Dann sprechen Sie über Modelle.
Diese Reihenfolge erspart Diskussionen, die sonst in jedem Projektschritt neu geführt werden.
Wir haben beide Wege gebaut. Deshalb kennen wir die Rechnung dahinter.
Die Frage Cloud oder lokal lässt sich nicht am Reißbrett beantworten. Sie hängt an Ihren Datenkategorien, Ihrer bestehenden IT, Ihrem Nutzungsvolumen und daran, wer den Betrieb später verantwortet. Wir entwickeln seit 2010 Software und haben lokale Modellumgebungen ebenso in Betrieb genommen wie Cloud-Anbindungen an gewachsene Systemlandschaften. Diese Erfahrung ist der Grund, warum wir Ihnen sagen können, was ein Weg im dritten Jahr kostet und nicht nur im ersten Monat.
Bewertung vor Beschaffung
Wir messen erst Ihr tatsächliches Nutzungsvolumen und Ihre Datenkategorien, bevor über Hardware oder Verträge gesprochen wird. Eine Grafikkarte, die anschließend zu 15 Prozent ausgelastet ist, hilft niemandem.
Wir bauen die Vermittlungsschicht selbst
Die Abstraktion zwischen Ihren Anwendungen und den Modellen ist Softwareentwicklung, keine Konfiguration. Genau das ist unser Handwerk seit über 15 Jahren.
Betrieb mitgedacht
Wer aktualisiert das Modell, wer überwacht die Auslastung, wer reagiert bei Ausfall. Diese Fragen klären wir vor dem Projektstart und nicht im ersten Störungsfall.
Keine bösen Überraschungen
Wenn sich ein lokaler Betrieb für Ihren Fall nicht rechnet, sagen wir das, auch wenn ein Umsetzungsprojekt für uns das größere Geschäft wäre. Vertrauen ist die Grundlage jeder längeren Zusammenarbeit.
- Vodafone
- Carglass
- Snipes
- IronMaxx
- Roland
- Hussel
- Sunpoint
- WM Beautysystems AG
- Fritz Berger
- Zec Plus
- Assistance Partner Services
Fragen zu KI-Modellen, Cloud und Eigenbetrieb
Sind lokale KI-Modelle inzwischen so gut wie Cloud-Modelle?
Für die meisten betrieblichen Aufgaben ja. Zusammenfassen, Klassifizieren, Extrahieren von Angaben aus Dokumenten und das Beantworten von Fragen zu eigenen Inhalten beherrschen offene Modelle mittlerer Größe zuverlässig. Ein sichtbarer Abstand bleibt bei mehrstufigen Denkaufgaben, sehr langen Kontexten und anspruchsvoller Softwareentwicklung. Die Frage lautet daher nicht, welches Modell besser ist, sondern welches für Ihre konkrete Aufgabe ausreicht.
Was bedeutet Quantisierung und verliere ich dadurch Qualität?
Quantisierung reduziert die Genauigkeit, mit der die Modellparameter gespeichert werden, und verkleinert das Modell damit erheblich. In der im Unternehmenseinsatz üblichen vierstelligen Quantisierung ist der Qualitätsverlust für die meisten Aufgaben kaum wahrnehmbar, während der Speicherbedarf auf etwa ein Viertel sinkt. Erst bei stärkerer Komprimierung wird der Unterschied deutlich spürbar.
Können wir mit einem Cloud-Modell starten und später auf lokal wechseln?
Ja, und das ist häufig der wirtschaftlich sinnvollste Weg. Voraussetzung ist, dass Ihre Anwendungen von Beginn an über eine Abstraktionsschicht auf das Modell zugreifen und nicht direkt gegen die Schnittstelle eines Anbieters gebaut werden. Dann ist der Wechsel eine Konfigurationsänderung. Wird dieser Punkt am Anfang übersehen, wird der Wechsel später zum Neuentwicklungsprojekt.
Wie viele Mitarbeitende kann eine lokale Installation gleichzeitig bedienen?
Das hängt von Modellgröße und Hardware ab. Eine Serverkarte mit ausreichend Grafikspeicher bedient bei einem mittelgroßen Modell in der Praxis eine zweistellige Zahl gleichzeitiger Anfragen, ohne dass die Antwortzeit für Nutzer störend wird. Entscheidend ist nicht die Mitarbeiterzahl insgesamt, sondern wie viele tatsächlich zeitgleich anfragen. In der Regel liegt dieser Anteil deutlich unter zehn Prozent der Belegschaft.
Ist ein chinesisches Modell im Eigenbetrieb ein Sicherheitsrisiko?
Ein lokal betriebenes Modell hat keine Netzwerkverbindung nach außen und kann folglich keine Daten übertragen. Technisch besteht damit kein Abflussrisiko, unabhängig von der Herkunft. Was bleibt, sind mögliche Verzerrungen in den Antworten sowie die interne und kommunikative Dimension der Entscheidung. Wir empfehlen, den Punkt offen anzusprechen statt ihn zu umgehen, und die Modellauswahl im Zweifel am Anwendungsfall festzumachen.
Was passiert mit unseren Daten, wenn wir Cloud-Modelle nutzen?
Im Geschäftskundentarif der etablierten Anbieter werden Eingaben zur Beantwortung verarbeitet, für einen begrenzten Zeitraum zur Missbrauchserkennung vorgehalten und nicht für das Training weiterer Modelle verwendet. Dieser Ausschluss ist vertraglich zu vereinbaren und nicht in allen Tarifen automatisch enthalten. Bei kostenlosen Privatkundenzugängen gelten regelmäßig andere Bedingungen, weshalb deren Nutzung im betrieblichen Umfeld ohne klare Regelung problematisch ist.
Brauchen wir eigenes Personal für den Betrieb lokaler Modelle?
Nicht zwingend. Der laufende Aufwand einer eingerichteten Umgebung ist überschaubar und beschränkt sich im Wesentlichen auf Überwachung, gelegentliche Aktualisierungen und die Bewertung neuer Modelle. Viele unserer Kunden lassen diesen Teil dauerhaft bei uns oder kombinieren einen internen Verantwortlichen mit externer Rufbereitschaft. Was Sie in jedem Fall brauchen, ist eine benannte Person, die im Störungsfall entscheidet.
Lohnt sich Fine-Tuning eines eigenen Modells?
Seltener, als es in Verkaufsgesprächen dargestellt wird. Für unternehmensspezifisches Faktenwissen ist Retrieval Augmented Generation der bessere Weg, weil Inhalte jederzeit aktualisierbar bleiben und nachvollziehbar zitiert werden können. Fine-Tuning lohnt sich, wenn ein bestimmter Ton, ein festes Ausgabeformat oder ein sehr spezielles Fachvokabular zuverlässig getroffen werden muss. Beides schließt sich nicht aus.
KI-Modelle für Unternehmen: Cloud-Modelle und lokale Modelle im Vergleich
Die Auswahl des richtigen KI-Modells ist für Unternehmen keine technische Detailfrage, sondern eine Weichenstellung mit Wirkung auf Datenschutz, Kostenstruktur und Handlungsfreiheit der kommenden Jahre. Wer diese Entscheidung an den Anfang stellt und bewusst trifft, vermeidet Umbauten, die später erheblichen Aufwand verursachen. Wer sie aufschiebt, entscheidet sich in der Praxis meist unbeabsichtigt für den Weg, den einzelne Abteilungen ohnehin schon eingeschlagen haben, oft ohne vertragliche Grundlage und ohne Kenntnis der Geschäftsführung.
Cloud-Modelle sind der schnellste Einstieg in die Nutzung Künstlicher Intelligenz. Sie werden über die Schnittstelle eines Anbieters angesprochen, erfordern keine Investition in Hardware und stehen innerhalb weniger Stunden produktiv zur Verfügung. Die führenden Anbieter aus den USA sowie Mistral AI als europäische Alternative liefern Modelle, die bei anspruchsvollen Aufgaben derzeit das technisch Machbare markieren. Der Preis dafür ist strukturell: Ihre Eingaben verlassen das Unternehmen und werden bei einem Dritten verarbeitet. Das ist beherrschbar, verlangt aber einen Auftragsverarbeitungsvertrag, eine Eintragung im Verarbeitungsverzeichnis, eine bewusste Entscheidung über zulässige Datenkategorien und bei US-Anbietern eine dokumentierte Bewertung des Drittlandtransfers.
Offene Modelle haben den Abstand deutlich verkürzt
Lokale KI-Modelle drehen dieses Verhältnis um. Offene Modellfamilien wie Llama, die offenen Varianten von Mistral, Qwen oder DeepSeek dürfen heruntergeladen und vollständig im eigenen Netz betrieben werden. Damit verlassen keine Daten das Unternehmen, personenbezogene und geschäftskritische Inhalte sind unbedenklich verarbeitbar und die eingesetzte Version bleibt beliebig lange stabil. Dem stehen eine Anfangsinvestition in Hardware, laufender Betriebsaufwand und ein weiterhin sichtbarer Qualitätsabstand bei den anspruchsvollsten Aufgaben gegenüber. Für den überwiegenden Teil betrieblicher Anwendungsfälle, also Zusammenfassungen, Klassifikation, Datenextraktion aus Dokumenten und Fragen an interne Wissensbestände, ist dieser Abstand praktisch bedeutungslos geworden.
Der entscheidende technische Faktor beim lokalen Betrieb ist der Grafikspeicher. Als Faustregel benötigt ein komprimiertes Modell etwa 0,6 bis 0,8 Gigabyte je Milliarde Parameter zuzüglich Reserve für das Kontextfenster. Ein Modell mit sieben Milliarden Parametern läuft damit auf einer Workstation mit acht Gigabyte Grafikspeicher, ein Modell mit siebzig Milliarden Parametern benötigt rund achtundvierzig Gigabyte und damit eine Serverkarte oder zwei gekoppelte Karten. Diese Zahl bestimmt den Investitionsrahmen und sollte deshalb am tatsächlichen Anwendungsfall bemessen werden und nicht an der maximal verfügbaren Modellgröße.
Die Gesamtkosten liegen selten dort, wo man sie vermutet
Beim Kostenvergleich wird regelmäßig zu kurz gerechnet. Cloud-Nutzung wird nach verarbeiteten Token abgerechnet, lokaler Betrieb über eine einmalige Investition zuzüglich Strom und Betreuung. Rechnerisch erreichen beide Wege bei mittlerem Nutzungsvolumen nach etwa anderthalb bis drei Jahren Gleichstand. Entscheidender ist jedoch ein anderer Punkt: In beiden Varianten entfällt der überwiegende Teil der Gesamtkosten nicht auf das Modell, sondern auf Integration in bestehende Systeme, Datenaufbereitung, Rechtevergabe und Schulung. Ein Vergleich, der ausschließlich Tokenpreise gegen Hardwarepreise stellt, führt daher fast zwangsläufig zu einer falschen Schlussfolgerung.
In der Praxis landen die meisten Unternehmen bei einer hybriden Architektur. Sensible Verarbeitung läuft lokal, anspruchsvolle Aufgaben ohne schützenswerte Daten gehen an Cloud-Modelle, und die Zuordnung erfolgt regelbasiert über eine Vermittlungsschicht statt durch Einzelentscheidungen der Mitarbeitenden. Dieser Aufbau bringt neben der datenschutzrechtlichen Klarheit einen zweiten Vorteil: Weil Ihre Anwendungen nicht direkt an einen Anbieter gebunden sind, wird ein Modell- oder Anbieterwechsel zur Konfigurationsänderung. Angesichts eines Marktes, in dem Modelle im Monatsrhythmus erscheinen und abgekündigt werden, ist diese Unabhängigkeit betriebswirtschaftlich mehr wert als jeder kurzfristige Leistungsvorsprung.
Datenschutz entscheidet häufiger als Leistung
In der Beratungspraxis zeigt sich, dass die technische Leistungsfähigkeit selten den Ausschlag gibt. Deutlich häufiger entscheidet die Frage, welche Datenkategorien im Anwendungsfall tatsächlich anfallen. Wo Bewerbungsunterlagen, Personalakten, Gesundheitsdaten oder Vertragswerke mit Geschäftsgeheimnissen verarbeitet werden, ist der lokale Betrieb der klar einfachere Weg, weil ein erheblicher Teil des Prüf- und Dokumentationsaufwands schlicht entfällt. Wo dagegen öffentlich unkritische Inhalte bearbeitet werden, etwa Marketingtexte oder allgemeine Recherche, wäre eine Hardwareinvestition schwer zu begründen. Wir empfehlen deshalb, jeden Anwendungsfall zunächst nach Datenkategorie einzuordnen und erst danach über Modelle zu sprechen. Diese Reihenfolge erspart Diskussionen, die sonst in jedem Projektschritt neu geführt werden.
Ein weiterer Punkt, der in Entscheidungsvorlagen häufig fehlt, ist die Frage der Reproduzierbarkeit. Cloud-Modelle werden von den Anbietern fortlaufend weiterentwickelt, wodurch sich Ergebnisse bei identischer Eingabe über die Zeit verändern können. Für kreative Aufgaben ist das unerheblich. Wo KI jedoch in einen geprüften Prozess eingebunden ist, etwa in der Rechnungsprüfung oder in der Klassifikation von Vorgängen, wird ein stabiles Verhalten zur Anforderung. Lokale Modelle bieten hier einen Vorteil, der sich in keiner Leistungstabelle abbilden lässt: Die eingesetzte Version bleibt unverändert, solange Sie es wollen.
Unsere Einordnung als Entwickler
KI Brains begleitet Unternehmen bei genau dieser Entscheidung. Wir sind seit 2010 Softwareentwickler und haben über 500 Projekte umgesetzt, von mittelständischen Fachanwendungen bis zu Systemen im Konzernumfeld. Wir haben lokale Modellumgebungen aufgesetzt und betrieben, Cloud-Modelle an gewachsene ERP- und CRM-Landschaften angebunden und hybride Architekturen gebaut. Aus dieser Erfahrung heraus bewerten wir nicht, welches Modell im Vergleichstest vorn liegt, sondern welcher Aufbau in Ihrem Haus im dritten Jahr noch funktioniert und was er dann kostet. Wenn sich eine Eigenprojektlösung für Ihren Fall nicht rechnet, sagen wir Ihnen das, auch wenn ein Umsetzungsprojekt für uns das größere Geschäft wäre.
Vertiefend empfehlen wir die Übersicht der KI Wissensdatenbank, die Werkzeuge und Infrastruktur für den Betrieb sowie unsere Seiten zur KI Beratung und zur Prozessoptimierung. Konkrete Leistungen finden Sie unter Leistungen.
Nächste Schritte in der Wissensdatenbank
Welcher Weg passt zu Ihrem Unternehmen?
In einem Gespräch von rund 45 Minuten klären wir, welche Datenkategorien bei Ihnen anfallen, welches Nutzungsvolumen realistisch ist und ob Cloud, lokal oder hybrid der richtige Aufbau für Sie ist. Mit klarer Empfehlung und ohne Verkaufsdruck.
Unverbindlich und kostenfrei. Antwort in der Regel innerhalb eines Werktags.