KI-Modelle im Unternehmen
Cloud oder lokal: die Entscheidung, die alles bestimmt
Am Anfang steht eine Grundsatzfrage: Wo werden Ihre Daten verarbeitet, im eigenen Haus oder beim Anbieter? Diese Seite ordnet die verfügbaren Modelle ein, zeigt die Stärken beider Wege und worauf Sie jeweils achten, und liefert die Zahlen, die Sie für die Entscheidung brauchen.
Was ist ein KI-Modell und warum gibt es zwei Betriebswege?
Ein KI-Modell ist eine trainierte Datei, die aus einer Eingabe eine Ausgabe berechnet. Betrieben werden kann sie entweder über die Schnittstelle eines Anbieters (Cloud) oder auf eigener Hardware im Unternehmensnetz (lokal). Technisch ist das Modell in beiden Fällen dasselbe Prinzip: Milliarden von Parametern, die während des Trainings festgelegt wurden und bei jeder Anfrage neu durchgerechnet werden. Der Unterschied liegt ausschließlich darin, wo diese Berechnung stattfindet und wer dabei Zugriff auf Ihre Eingaben hat.
Cloud-Anbieter stellen ihre stärksten Modelle als geschlossene Modelle bereit, das heißt, die Modelldatei bleibt beim Anbieter und wird über dessen Rechenzentren genutzt. Daneben existiert eine wachsende Zahl offener Modelle, deren Gewichte frei heruntergeladen und selbst betrieben werden dürfen. Diese Trennung zwischen geschlossenen und offenen Modellen ist der eigentliche Grund, warum die Frage Cloud oder lokal überhaupt existiert.
Cloud oder eigene Hardware?
Drei kurze Fragen. Danach sehen Sie, welche Kapitel für Sie zuerst zählen.
Ihre Antworten übernehmen wir in das Kontaktformular. Dort ergänzen Sie, was Ihnen wichtig ist. Das Erstgespräch ist kostenfrei.
Ergebnis besprechenHinweis zur Aktualität: Der Modellmarkt verändert sich im Monatsrhythmus. Wir nennen auf dieser Seite bewusst Anbieter und Modellfamilien statt einzelner Versionsnummern, weil sich letztere binnen weniger Wochen weiterentwickeln. Die beschriebenen Eigenschaften und Abwägungen bleiben davon unberührt. Konkrete Preise und Leistungswerte prüfen wir im Projekt jeweils zum Entscheidungszeitpunkt. Wie schnell dieser Markt sich dreht, zeigen zwei datierte Momentaufnahmen: unser Rückblick auf das KI-Jahr 2025, in dem zwei der genannten Modelle inzwischen durch neuere ersetzt sind, und die Einordnung zu Google Gemini 1.5 Pro, deren Modellreihe inzwischen einer neuen Generation gewichen ist. Beide tragen einen datierten Hinweis zum Stand der Angaben, und den aktuellen Stand beschreibt der Beitrag zu GPT‑6 Astra und Claude Fable 5.1.
Was bietet ein Cloud-Modell, und worauf achten Sie dabei?
Die vier relevanten Anbieter für den deutschen Mittelstand, jeweils mit ihrem Profil, den Punkten, die Sie beachten sollten, und der datenschutzrechtlichen Ausgangslage.
AI
OpenAI
USA, GPT-ModellfamilieDer bekannteste Anbieter und für viele Unternehmen der erste Kontakt mit generativer KI. Sehr breites Ökosystem, ausgereifte Schnittstelle, umfangreiche Werkzeuge für Entwickler.
- Stärken
- Sehr breite Funktionsabdeckung von Text über Bild bis Sprache, große Auswahl an Modellgrößen, hervorragend dokumentierte Schnittstelle, viele fertige Integrationen in Standardsoftware.
- Zu beachten
- Preisgestaltung und Modellverfügbarkeit entwickeln sich häufig weiter, deshalb lohnt sich eine regelmäßig aktualisierte Kalkulation. Bei sehr hohem Anfragevolumen können Antwortzeiten schwanken.
- Datenschutz
- Auftragsverarbeitungsvertrag verfügbar, Verarbeitung in europäischen Regionen für Geschäftskunden möglich, Ausschluss der Trainingsnutzung im Geschäftskundentarif Standard. Der Anbieter unterliegt US-Recht, was in der Risikobewertung zu berücksichtigen ist.
Anthropic
USA, Claude-ModellfamilieAnbieter mit ausgeprägtem Fokus auf Zuverlässigkeit und Nachvollziehbarkeit. In der Praxis besonders stark bei langen Dokumenten, strukturierter Analyse und Programmieraufgaben.
- Stärken
- Sehr große Kontextfenster, wodurch umfangreiche Vertrags- und Aktenbestände in einem Durchgang verarbeitet werden können. Konsistente Ergebnisse bei komplexen Anweisungen, geringere Neigung zu erfundenen Angaben als der Marktdurchschnitt.
- Zu beachten
- Fokussierteres Ökosystem an Zusatzfunktionen als beim Marktführer. Für einfache Massenaufgaben genügt oft auch eine günstigere Modellklasse.
- Datenschutz
- Auftragsverarbeitungsvertrag verfügbar, keine Nutzung von Geschäftskundendaten für Modelltraining. Auch hier gilt: US-Anbieter, entsprechende Prüfung im Rahmen der Risikoanalyse erforderlich.
Besonders interessant für Unternehmen, die bereits in der Google-Cloud-Welt arbeiten. Enge Verzahnung mit Workspace, BigQuery und der übrigen Google-Infrastruktur.
- Stärken
- Sehr gute Verarbeitung gemischter Inhalte aus Text, Bild, Audio und Video. Nahtlose Anbindung an vorhandene Google-Dienste, attraktive Konditionen bei hohem Volumen.
- Zu beachten
- Die Vielzahl paralleler Produktlinien und Benennungen macht eine sorgfältige Auswahl sinnvoll. Am einfachsten gelingt die Integration für Unternehmen, die bereits Google-Cloud nutzen.
- Datenschutz
- Verarbeitung in EU-Regionen wählbar, Auftragsverarbeitungsvertrag über die Cloud-Plattform geregelt. Für Bestandskunden der Google Cloud meist der vertraglich einfachste Weg.
Mistral AI
Frankreich, europäischer AnbieterDer einzige europäische Anbieter in der ersten Reihe. Für Unternehmen mit hohen Anforderungen an digitale Souveränität häufig die pragmatischste Cloud-Option.
- Stärken
- Sitz und Verarbeitung in der EU, wodurch die datenschutzrechtliche Argumentation deutlich einfacher ausfällt. Sehr gutes Verhältnis von Leistung zu Preis. Teile des Modellportfolios sind offen verfügbar und lassen sich später lokal weiterbetreiben.
- Zu beachten
- Bei den anspruchsvollsten Aufgaben haben die US-Spitzenmodelle weiterhin einen sichtbaren Vorsprung. Kompakteres Ökosystem an fertigen Integrationen.
- Datenschutz
- Europäischer Anbieter mit Verarbeitung in der EU. Kein Drittlandtransfer, dadurch entfällt ein erheblicher Teil des sonst üblichen Prüfaufwands.
Wofür Cloud-Modelle sprechen
- Innerhalb weniger Stunden produktiv, ohne Investition in Hardware
- Aktuell führend bei komplexem Schlussfolgern, sehr langen Dokumenten und Programmieraufgaben
- Skalierung nach oben ist eine reine Vertragsfrage, kein Beschaffungsprojekt
- Kein eigener Betriebsaufwand für Updates, Sicherheit und Verfügbarkeit
- Kalkulierbarer Einstieg, weil Kosten mit der tatsächlichen Nutzung entstehen
Was Sie beim Cloud-Weg einplanen
- Ihre Eingaben werden bei einem Dritten verarbeitet, das gehört in die Datenschutzplanung
- Vertragliche Absicherung, Verarbeitungsverzeichnis und Risikobewertung sind Pflicht
- Modelle werden vom Anbieter weiterentwickelt oder abgelöst, deshalb gehören Testfälle für den Modellwechsel dazu
- Bei sehr hohem Dauervolumen wird eine eigene Lösung ab einem gewissen Punkt günstiger
- Der Betrieb setzt eine Internetverbindung voraus, für abgeschottete Netze ist lokal der passende Weg
Was leisten offene Modelle auf eigener Hardware?
Diese Modellfamilien dürfen heruntergeladen und im eigenen Netz betrieben werden. Sie sind in den vergangenen Jahren deutlich näher an die Cloud-Spitze herangerückt.
Offene Modelle sind Modelle, deren trainierte Gewichte öffentlich verfügbar sind und die dadurch vollständig im eigenen Rechenzentrum betrieben werden können. Für die meisten typischen Unternehmensaufgaben, also Zusammenfassen, Klassifizieren, Extrahieren von Daten aus Dokumenten und Beantworten von Fragen zu eigenen Inhalten, reichen sie heute vollständig aus. Für sehr komplexe mehrstufige Denkaufgaben und anspruchsvolle Softwareentwicklung bleiben die Cloud-Spitzenmodelle die erste Wahl.
Llama (Meta)
Offene Gewichte, breite VerbreitungDie am weitesten verbreitete offene Modellfamilie. Praktisch jedes Werkzeug im Ökosystem unterstützt sie, was Einrichtung und Fehlersuche erheblich vereinfacht.
- Typischer Einsatz
- Allrounder für interne Assistenten, Dokumentenauswertung und Textproduktion. Durch die große Community existieren zahlreiche angepasste Varianten für Fachdomänen.
- Zu beachten
- Die Lizenz ist im praktischen Sinne quelloffen und hat eigene Bedingungen. Bei sehr großen Nutzerzahlen sind diese Lizenzbedingungen zu prüfen.
Mistral (offene Varianten)
Europa, effizient im BetriebEuropäische Herkunft, sehr gutes Verhältnis von Qualität zu Hardwarebedarf und überdurchschnittliche Ergebnisse in deutscher Sprache.
- Typischer Einsatz
- Deutschsprachige Korrespondenz, Zusammenfassungen, Klassifikation von Anfragen. Läuft in den kleineren Varianten bereits auf überschaubarer Hardware.
- Zu beachten
- Der Anbieter führt offene und geschlossene Modelle. Vor der Auswahl ist zu prüfen, welche Variante zum Eigenbetrieb freigegeben ist.
Qwen (Alibaba)
Breites GrößenspektrumAuffällig leistungsfähig im Verhältnis zur Modellgröße und in sehr vielen Größenstufen verfügbar, von sehr klein bis sehr groß.
- Typischer Einsatz
- Überall dort, wo mit kompakter Hardware gute Ergebnisse erzielt werden sollen. Auch bei strukturierten Ausgaben und Codeaufgaben stark.
- Zu beachten
- Herkunft aus China. Beim Eigenbetrieb ohne Netzzugang technisch unkritisch; in der internen Kommunikation empfiehlt sich ein offener Umgang mit dem Thema.
DeepSeek
Fokus auf SchlussfolgernBekannt geworden durch Modelle, die mehrstufige Denkschritte offenlegen und damit an Aufgaben herankommen, die zuvor Cloud-Spitzenmodellen vorbehalten waren.
- Typischer Einsatz
- Analytische Aufgaben, Datenauswertung, Nachvollziehen komplexer Regelwerke. Die sichtbaren Zwischenschritte erleichtern die fachliche Prüfung der Ergebnisse.
- Zu beachten
- Höherer Rechenaufwand pro Anfrage, weil deutlich mehr Text erzeugt wird. Die großen Varianten brauchen entsprechend leistungsfähige Hardware.
Wofür lokale Modelle sprechen
- Alle Daten bleiben im Unternehmensnetz, damit vereinfacht sich die Datenschutzprüfung erheblich
- Auch personenbezogene und geschäftskritische Inhalte sind unbedenklich verarbeitbar
- Die eingesetzte Modellversion bleibt beliebig lange stabil und reproduzierbar
- Nach der Investition entstehen im Wesentlichen nur noch Strom- und Betreuungskosten
- Betrieb auch in abgeschotteten Netzen und ohne Internetverbindung möglich
Was Sie beim Eigenbetrieb einplanen
- Anfangsinvestition in Hardware, die vor dem ersten Ergebnis fällig wird
- Betrieb, Aktualisierung und Überwachung müssen intern oder extern abgedeckt sein
- Für die anspruchsvollsten Aufgaben bleibt die Cloud-Spitze die stärkere Wahl
- Die Hardware wird auf die Zahl gleichzeitiger Nutzer ausgelegt
- Auswahl und Aktualisierung der Modelle erfordern fortlaufende fachliche Beobachtung
Übliche Werkzeuge für den lokalen Betrieb:
Welche Hardware brauchen lokale KI-Modelle wirklich?
Die entscheidende Größe ist der Grafikspeicher. Er bestimmt, welche Modellgröße Sie betreiben können.
Als Faustregel gilt: Ein Modell benötigt in komprimierter Form etwa 0,6 bis 0,8 Gigabyte Grafikspeicher pro Milliarde Parameter, zuzüglich Reserve für das Kontextfenster. Ein Modell mit sieben Milliarden Parametern läuft damit auf einer Grafikkarte mit acht Gigabyte Speicher, ein Modell mit siebzig Milliarden Parametern benötigt bereits rund achtundvierzig Gigabyte. Für flüssigen Mehrbenutzerbetrieb passt das Modell am besten vollständig in den Grafikspeicher; über den Arbeitsspeicher läuft es ebenfalls, dann aber um ein Vielfaches langsamer.
| Modellgröße | Grafikspeicher | Typische Hardware | Wofür geeignet |
|---|---|---|---|
| 3 bis 4 Mrd. | ca. 4 GB | Aktueller Arbeitsplatzrechner, auch Notebook | Klassifikation, einfache Textbearbeitung, erste Tests |
| 7 bis 9 Mrd. | ca. 8 GB | Workstation mit Consumer-Grafikkarte | Zusammenfassungen, interne Suche, Korrespondenz |
| 13 bis 14 Mrd. | ca. 12 GB | Leistungsfähige Workstation | Solide Allroundnutzung im Einzelbetrieb |
| 30 bis 34 Mrd. | ca. 24 GB | Professionelle Grafikkarte oder Serverkarte | Anspruchsvolle Analyse, kleiner Mehrbenutzerbetrieb |
| 70 Mrd. | ca. 48 GB | Serverkarte oder zwei gekoppelte Karten | Nahe an Cloud-Qualität für die meisten Aufgaben |
| über 100 Mrd. | 80 GB und mehr | Mehrere Serverkarten im Verbund | Spezialfälle mit hohem Anspruch und eigenem Betriebsteam |
Die Angaben beziehen sich auf komprimierte Modelle in vierstelliger Quantisierung, dem im Unternehmenseinsatz üblichen Verfahren. Bei unkomprimiertem Betrieb verdoppelt bis vervierfacht sich der Bedarf.
Als Nächstes · Kapitel 04Kostenvergleich anhand eines Beispiels↓Was kostet der eine, was der andere Weg?
Ein durchgerechnetes Beispiel sagt mehr als jede Preistabelle. Alle Annahmen sind offengelegt und auf Ihren Fall übertragbar.
Rechenbeispiel: 60 Wissensarbeiter mit täglicher KI-Nutzung
Angenommen, 60 Mitarbeitende nutzen KI im Arbeitsalltag mit durchschnittlich 25 Vorgängen pro Arbeitstag. Je Vorgang werden rund 4.000 Token verarbeitet, also Eingabe plus Antwort zusammengenommen. Das ergibt etwa 6 Millionen Token pro Tag und rund 126 Millionen Token pro Monat.
Diese Zahlen sind Größenordnungen für den Vergleich, die konkreten Preise ergeben sich im Angebot. Einrichtung, Integration in Ihre Systeme und Schulung kommen in beiden Varianten hinzu und machen den größeren Kostenblock aus. Anbieterpreise ändern sich laufend und werden im Projekt zum Entscheidungszeitpunkt geprüft.
Der Schlüssel zur richtigen Kalkulation: Der Vergleich umfasst mehr als die Modellkosten. In der Praxis machen Integration, Datenaufbereitung, Rechtevergabe und laufende Betreuung den überwiegenden Teil der Gesamtkosten aus, und zwar unabhängig davon, ob Sie Cloud oder lokal betreiben. Wer Integration und Betreuung von Anfang an mitrechnet, kommt zu einem belastbaren Ergebnis.
Wie groß muss es sein? Speicher, Durchsatz und Gesamtkosten
Die Rechenwege, mit denen Sie jedes Angebot selbst nachprüfen können.
Nach der Frage „Cloud oder eigene Hardware“ kommt sofort die Frage „wie groß“. Genau dort gehen Angebote auseinander, und genau dort hilft ein klarer Maßstab.
Die gute Nachricht: Der wichtigste Teil ist eine Multiplikation. Wie viel Speicher ein Modell belegt, lässt sich auf dem Bierdeckel ausrechnen, und damit lässt sich jedes Angebot in fünf Minuten auf Plausibilität prüfen.
Quantisierung: warum ein großes Modell auf eine Karte passt
Ein Modell besteht aus Parametern, und jeder Parameter ist eine Zahl. Wie viel Platz diese Zahl belegt, ist eine Einstellungssache. Beim Training wird mit hoher Genauigkeit gerechnet, für den Betrieb lässt sich die Genauigkeit senken. Das nennt sich Quantisierung, und es ist der Grund, warum Modelle, die eigentlich einen Serverschrank bräuchten, auf einer einzelnen Karte laufen.
Die Rechnung dahinter: Parameterzahl mal Bytes je Parameter. Ein Modell mit 70 Milliarden Parametern belegt bei voller Genauigkeit rund 140 Gigabyte, bei 8 Bit rund 70, bei 4 Bit rund 35. Dieselbe Rechnung funktioniert für jedes Modell und jede Größe.
| Genauigkeit | Platz je Parameter | Wofür | Qualitätsverlust |
|---|---|---|---|
| 16 Bit | 2 Byte | volle Genauigkeit, so wird trainiert | kein messbarer Verlust |
| 8 Bit | 1 Byte | üblicher Kompromiss im Serverbetrieb | praktisch nicht wahrnehmbar |
| 4 Bit | 0,5 Byte | was Modelle auf einzelne Karten bringt | geringer, bei einfachen Aufgaben unauffällig |
| unter 4 Bit | weniger | für Versuche geeignet | deutlich, vor allem bei Zahlen und Fachbegriffen |
Beleg für die Einstufung von 4 Bit: Tim Dettmers und Luke Zettlemoyer, The case for 4-bit precision: k-bit Inference Scaling Laws, Proceedings of the 40th International Conference on Machine Learning, 2023. Aus über 35.000 Versuchen an Modellen zwischen 19 Millionen und 176 Milliarden Parametern: 4 Bit ist für das Verhältnis aus Gesamtgröße und Genauigkeit nahezu durchgängig die beste Wahl.
Wichtig ist ein Aufschlag, der in jede Rechnung gehört: Zu den Gewichten kommt der Zwischenspeicher für die laufenden Anfragen. Der wächst mit der Länge der Texte und mit der Zahl gleichzeitiger Nutzer. Wer eine Karte mit Reserve über die Gewichte hinaus auslegt, bedient auch mehrere gleichzeitige Nutzer zuverlässig. Als Faustregel: Planen Sie deutlichen Aufschlag auf den reinen Gewichtsbedarf ein und prüfen Sie ihn im Testlauf mit realistischer Textlänge.
Wie viele Menschen kann eine Karte bedienen?
Diese Frage lässt sich am besten beantworten, wenn man zwei Größen unterscheidet.
Die Antwortzeit betrifft die einzelne Person: Wie schnell erscheint die Antwort? Sie hängt kaum von der Zahl der Nutzer ab, sondern von Modellgröße und Hardware.
Der Durchsatz betrifft die Anlage: Wie viel Arbeit schafft die Karte insgesamt? Hier gilt etwas, das zunächst überrascht: Mehrere Anfragen gleichzeitig zu bearbeiten ist deutlich wirtschaftlicher, als sie nacheinander abzuarbeiten. Die Karte entfaltet ihre volle Leistung nämlich erst bei mehreren Anfragen. Der Gesamtdurchsatz steigt daher mit der Zahl gleichzeitiger Nutzer, während die einzelne Antwort etwas langsamer wird.
Für die Auslegung heißt das: Grundlage ist die Zahl der gleichzeitigen Anfragen zur Spitzenzeit. In einem Betrieb mit zweihundert Beschäftigten, die den Assistenten gelegentlich nutzen, sind das erfahrungsgemäß sehr viel weniger, als die Belegschaftsgröße vermuten lässt. Messen statt schätzen: Ein Probebetrieb mit einer kleinen Gruppe liefert die Zahl innerhalb weniger Wochen.
Die maßgebliche Grenze setzt dabei der Speicher, weniger die Rechenleistung. Ist der Zwischenspeicher für die gleichzeitigen Anfragen ausgeschöpft, kommen weitere Anfragen in eine Warteschlange. Ausreichend Reserve hält den Betrieb flüssig.
Gesamtkosten über drei Jahre statt Preis pro Monat
Der Schlüssel zum fairen Vergleich: Anschaffungspreis der Hardware und Monatspreis der Cloud werden über denselben Zeitraum betrachtet. So werden beide Größen vergleichbar, und drei Jahre sind die übliche Nutzungsdauer.
| Kostenblock | Art | Was dazugehört |
|---|---|---|
| Anschaffung Hardware | einmalig, über drei Jahre abzuschreiben | Server, Grafikkarten, Speicher, Netzteil |
| Strom im Dauerbetrieb | laufend, gut berechenbar | Leistungsaufnahme mal Betriebsstunden mal Arbeitspreis |
| Kühlung und Stellplatz | laufend, gehört fest in die Rechnung | Serverraum oder Stellplatz im Rechenzentrum |
| Betrieb und Wartung | laufend, der größte Posten nach dem Strom | Aktualisierungen, Überwachung, Fehlersuche, Bereitschaft |
| Ausfallsicherheit | einmalig oder laufend | zweite Maschine oder ein Rückfallweg in die Cloud |
| Modellpflege | laufend | neue Modellstände prüfen, Testfälle nachziehen |
Der Strom lässt sich exakt ausrechnen, und das lohnt sich, weil er ein spürbarer Posten ist. Die Formel: Leistungsaufnahme in Kilowatt mal Betriebsstunden mal Arbeitspreis. Eine Maschine, die im Mittel 1 Kilowatt zieht und rund um die Uhr läuft, kommt auf etwa 8.760 Kilowattstunden im Jahr. Wie viel das kostet, setzen Sie mit Ihrem eigenen Arbeitspreis ein; wir nennen hier bewusst keinen, weil Gewerbetarife weit auseinandergehen.
Der entscheidende Unterschied zwischen beiden Wegen liegt in der Form der Kosten. Cloud kostet nach Nutzung, eigene Hardware kostet unabhängig von der Nutzung. Daraus folgt die einzige Frage, die den Vergleich wirklich entscheidet: Wie hoch ist die Auslastung? Je höher die Auslastung, desto günstiger wird jede Anfrage: Eine Karte im Dauerbetrieb schlägt die Cloud deutlich.
Deshalb landen viele Unternehmen bei der hybriden Aufteilung, die im nächsten Kapitel beschrieben ist: gleichmäßige Massenvorgänge auf eigener Hardware, Spitzen und seltene Sonderfälle in der Cloud.
Was wir dabei übernehmen: die Messung Ihrer tatsächlichen Gleichzeitigkeit im Probebetrieb, die Auslegung auf dieser Grundlage und eine Gegenüberstellung beider Wege über drei Jahre mit Ihren eigenen Zahlen.
Als Nächstes · Kapitel 06Entscheidungshilfe nach Anwendungsfall↓Nach 18 bis 36 Monaten kostet eigene Hardware weniger als die Cloud.
Entscheidend ist aber ein anderer Punkt: In beiden Varianten liegt der größte Kostenblock bei Integration, Datenaufbereitung und Rechtevergabe.
Welcher Weg passt zu welchem Anwendungsfall?
Sechs typische Ausgangslagen aus unseren Projekten und die jeweils empfohlene Richtung.
Personalabteilung verarbeitet Bewerbungen und Verträge
Hier liegen durchgängig personenbezogene Daten vor, teilweise mit besonderer Schutzwürdigkeit. Die Verarbeitung im eigenen Haus ist rechtlich einfacher und intern gut vermittelbar.
Empfehlung: lokalMarketing erstellt Texte und Kampagnenentwürfe
Verarbeitet werden unkritische Inhalte, dafür zählt sprachliche Qualität. Der Leistungsvorsprung der Cloud-Spitzenmodelle wirkt sich hier unmittelbar auf das Ergebnis aus.
Empfehlung: CloudEntwicklungsteam nutzt KI beim Programmieren
Programmierunterstützung ist die Disziplin mit dem deutlichsten Abstand zugunsten der Cloud. Für den meisten Quellcode überwiegt der Nutzen deutlich; für Code mit existenzieller Geheimhaltung gelten eigene Regeln.
Empfehlung: Cloud mit klaren RegelnKundenservice beantwortet Anfragen mit Bezug zu Kundendaten
Klassischer Mischfall. Die Antwortlogik ist unkritisch, die Kundendaten verdienen besonderen Schutz. Eine saubere Trennung beider Ebenen ist technisch möglich und meist der beste Weg.
Empfehlung: hybridInterne Wissenssuche über Handbücher und Richtlinien
Der Inhalt ist unternehmensintern und selten personenbezogen. Die Aufgabe ist technisch überschaubar und wird von offenen Modellen gut bewältigt.
Empfehlung: lokalErste Erprobung ohne festgelegten Anwendungsfall
In der Erprobung zeigt sich, welche Anwendungsfälle tragen, danach folgt die passende Hardwareinvestition. Erst messen, dann investieren.
Empfehlung: Cloud zum StartWarum landen die meisten Unternehmen bei einer hybriden Architektur?
Weil fast jeder Betrieb verschiedene Sorten von Aufgaben hat. Schützenswertes bleibt im Haus, alles andere geht dorthin, wo es am günstigsten läuft.
Bei einer hybriden KI-Architektur laufen sensible Verarbeitungsschritte auf lokalen Modellen, während anspruchsvolle Aufgaben ohne schützenswerte Daten an Cloud-Modelle übergeben werden. Die Zuordnung erfolgt automatisch anhand definierter Regeln, so bleiben die Mitarbeitenden entlastet. Voraussetzung ist eine Vermittlungsschicht zwischen Ihren Anwendungen und den Modellen, die anhand von Datenklassifikation und Aufgabentyp entscheidet, welches Modell zum Einsatz kommt.
Dieser Aufbau hat einen zweiten, besonders wertvollen Vorteil: Er macht Sie unabhängig. Weil Ihre Anwendungen über eine eigene Schicht statt direkt über die Schnittstelle eines einzelnen Anbieters laufen, wird ein Anbieterwechsel oder ein Modellwechsel zur Konfigurationsänderung statt zum Neuentwicklungsprojekt.
Regelwerk statt Bauchgefühl
Welche Datenkategorie welchen Weg nimmt, wird einmal festgelegt und technisch durchgesetzt. Ihre Mitarbeitenden sind bei jeder Anfrage von dieser Entscheidung entlastet.
Austauschbarkeit als Grundprinzip
Eine Abstraktionsschicht zwischen Anwendung und Modell hält Sie handlungsfähig, wenn ein Anbieter Preise oder Modelle ändert oder ein besseres Angebot verfügbar wird.
Nachweisbarkeit gegenüber Prüfern
Jede Anfrage wird protokolliert: welches Modell, welche Datenkategorie, welcher Nutzer. Das ist die Grundlage für Auskunftsfähigkeit gegenüber Datenschutzbehörde und Wirtschaftsprüfung.
Was muss vor dem ersten produktiven Einsatz geklärt sein?
Rechtsgrundlage, Auftragsverarbeitung, Löschkonzept und die Zuständigkeit im Haus. Alle vier Punkte regeln Sie am besten von Anfang an sauber.
| Anforderung | Cloud-Betrieb | Lokaler Betrieb |
|---|---|---|
| Auftragsverarbeitungsvertrag | Zwingend erforderlich, vor dem ersten Einsatz abzuschließen | Entfällt, da die Daten im Haus bleiben |
| Verarbeitungsverzeichnis | Eintragung erforderlich, inklusive Zweck und Empfänger | Eintragung erforderlich, Empfänger entfällt |
| Drittlandtransfer | Bei US-Anbietern zu prüfen und zu dokumentieren | Entfällt |
| Trainingsnutzung Ihrer Daten | Vertraglich auszuschließen, im Geschäftskundentarif meist Standard | Technisch ausgeschlossen |
| Betroffenenrechte | Auskunft und Löschung sind über den Anbieter zu gewährleisten | Vollständig in eigener Hand |
| Besondere Datenkategorien | Mit erhöhtem Prüfaufwand, häufig besser lokal verarbeitet | Gut umsetzbar bei sauberer Rechtevergabe |
| Protokollierung | Eigene Protokollierung notwendig, zusätzlich zu den Anbieterlogs | Vollständig selbst bestimmbar |
Zur Einordnung: Diese Übersicht bildet den technischen und organisatorischen Rahmen ab, den wir in Projekten anwenden. Sie ist eine Grundlage für die Rechtsberatung. Die abschließende Bewertung Ihres konkreten Falls gehört in die Hände Ihres Datenschutzbeauftragten oder eines Fachanwalts. Wir arbeiten in Projekten regelmäßig direkt mit diesen Rollen zusammen.
Ordnen Sie zuerst die Datenkategorie ein. Dann sprechen Sie über Modelle.
Diese Reihenfolge schafft Klarheit, die jeden weiteren Projektschritt trägt.
Wir haben beide Wege gebaut. Deshalb kennen wir die Rechnung dahinter.
Die Frage Cloud oder lokal beantwortet sich am besten an Ihrem konkreten Umfeld. Sie hängt an Ihren Datenkategorien, Ihrer bestehenden IT, Ihrem Nutzungsvolumen und daran, wer den Betrieb später verantwortet. Wir entwickeln seit 2010 Software und haben lokale Modellumgebungen ebenso in Betrieb genommen wie Cloud-Anbindungen an gewachsene Systemlandschaften. Diese Erfahrung ist der Grund, warum wir Ihnen sagen können, was ein Weg im ersten Monat und im dritten Jahr kostet.
Bewertung vor Beschaffung
Wir messen erst Ihr tatsächliches Nutzungsvolumen und Ihre Datenkategorien, bevor über Hardware oder Verträge gesprochen wird. So wird jede Grafikkarte passend zur tatsächlichen Auslastung beschafft.
Wir bauen die Vermittlungsschicht selbst
Die Abstraktion zwischen Ihren Anwendungen und den Modellen ist echte Softwareentwicklung. Genau das ist unser Handwerk seit über 15 Jahren.
Betrieb mitgedacht
Wer aktualisiert das Modell, wer überwacht die Auslastung, wer reagiert bei Ausfall. Diese Fragen klären wir vor dem Projektstart, damit der Betrieb vom ersten Tag an sitzt.
Verlässlich kalkuliert
Wir empfehlen den lokalen Betrieb dort, wo er sich für Ihren Fall rechnet, und sagen Ihnen offen, wenn ein anderer Weg besser passt. Vertrauen ist die Grundlage jeder längeren Zusammenarbeit.
- Vodafone
- Carglass
- Snipes
- IronMaxx
- Roland
- Hussel
- Sunpoint
- WM Beautysystems AG
- Fritz Berger
- Zec Plus
- Assistance Partner Services
Fragen zu KI-Modellen, Cloud und Eigenbetrieb
Sind lokale KI-Modelle inzwischen so gut wie Cloud-Modelle?
Für die meisten betrieblichen Aufgaben ja. Zusammenfassen, Klassifizieren, Extrahieren von Angaben aus Dokumenten und das Beantworten von Fragen zu eigenen Inhalten beherrschen offene Modelle mittlerer Größe zuverlässig. Bei mehrstufigen Denkaufgaben, sehr langen Kontexten und anspruchsvoller Softwareentwicklung liegen die Cloud-Spitzenmodelle vorn. Die entscheidende Frage lautet daher, welches Modell Ihre konkrete Aufgabe zuverlässig löst.
Was bedeutet Quantisierung und wie wirkt sie sich auf die Qualität aus?
Quantisierung reduziert die Genauigkeit, mit der die Modellparameter gespeichert werden, und verkleinert das Modell damit erheblich. In der im Unternehmenseinsatz üblichen vierstelligen Quantisierung ist der Qualitätsverlust für die meisten Aufgaben kaum wahrnehmbar, während der Speicherbedarf auf etwa ein Viertel sinkt. Erst bei stärkerer Komprimierung wird der Unterschied deutlich spürbar.
Können wir mit einem Cloud-Modell starten und später auf lokal wechseln?
Ja, und das ist häufig der wirtschaftlich sinnvollste Weg. Voraussetzung ist, dass Ihre Anwendungen von Beginn an über eine Abstraktionsschicht auf das Modell zugreifen statt direkt über die Schnittstelle eines Anbieters. Dann ist der Wechsel eine Konfigurationsänderung. Deshalb lohnt es sich, diesen Punkt gleich am Anfang festzulegen.
Wie viele Mitarbeitende kann eine lokale KI-Installation gleichzeitig bedienen?
Das hängt von Modellgröße und Hardware ab. Eine Serverkarte mit ausreichend Grafikspeicher bedient bei einem mittelgroßen Modell in der Praxis eine zweistellige Zahl gleichzeitiger Anfragen, bei angenehmer Antwortzeit für die Nutzer. Entscheidend ist, wie viele Mitarbeitende tatsächlich zeitgleich anfragen. In der Regel liegt dieser Anteil deutlich unter zehn Prozent der Belegschaft.
Wie sicher ist ein chinesisches KI-Modell im Eigenbetrieb?
Ein lokal betriebenes Modell arbeitet ohne Netzwerkverbindung nach außen, alle Daten bleiben damit technisch sicher im Haus, unabhängig von der Herkunft. Zu betrachten sind mögliche Verzerrungen in den Antworten sowie die interne und kommunikative Dimension der Entscheidung. Wir empfehlen, den Punkt offen anzusprechen, und die Modellauswahl im Zweifel am Anwendungsfall festzumachen.
Was passiert mit unseren Daten bei der Nutzung von Cloud-Modellen?
Im Geschäftskundentarif der etablierten Anbieter werden Eingaben zur Beantwortung verarbeitet, für einen begrenzten Zeitraum zur Missbrauchserkennung vorgehalten und nicht für das Training weiterer Modelle verwendet. Dieser Ausschluss ist vertraglich zu vereinbaren, da er je nach Tarif unterschiedlich geregelt ist. Bei kostenlosen Privatkundenzugängen gelten regelmäßig andere Bedingungen, deshalb gehört für den betrieblichen Einsatz ein Geschäftskundentarif mit klarer Regelung dazu.
Brauchen wir eigenes Personal für den Betrieb lokaler KI-Modelle?
Meist genügt eine schlanke Lösung. Der laufende Aufwand einer eingerichteten Umgebung ist überschaubar und beschränkt sich im Wesentlichen auf Überwachung, gelegentliche Aktualisierungen und die Bewertung neuer Modelle. Viele unserer Kunden lassen diesen Teil dauerhaft bei uns oder kombinieren einen internen Verantwortlichen mit externer Rufbereitschaft. Was Sie in jedem Fall brauchen, ist eine benannte Person, die im Störungsfall entscheidet.
Lohnt sich Fine-Tuning eines eigenen KI-Modells?
In bestimmten Fällen. Für unternehmensspezifisches Faktenwissen ist Retrieval Augmented Generation der passende Weg, weil Inhalte jederzeit aktualisierbar bleiben und nachvollziehbar zitiert werden können. Fine-Tuning lohnt sich, wenn ein bestimmter Ton, ein festes Ausgabeformat oder ein sehr spezielles Fachvokabular zuverlässig getroffen werden muss. Beides lässt sich gut kombinieren.
KI-Modelle für Unternehmen: Cloud-Modelle und lokale Modelle im Vergleich
Die Auswahl des richtigen KI-Modells ist für Unternehmen eine Weichenstellung mit Wirkung auf Datenschutz, Kostenstruktur und Handlungsfreiheit der kommenden Jahre. Wer diese Entscheidung an den Anfang stellt und bewusst trifft, schafft eine stabile Grundlage für alle weiteren Schritte. So erhalten auch die Wege, die einzelne Abteilungen bereits eingeschlagen haben, eine vertragliche Grundlage und die Rückendeckung der Geschäftsführung.
Cloud-Modelle sind der schnellste Einstieg in die Nutzung Künstlicher Intelligenz. Sie werden über die Schnittstelle eines Anbieters angesprochen, erfordern keine Investition in Hardware und stehen innerhalb weniger Stunden produktiv zur Verfügung. Die führenden Anbieter aus den USA sowie Mistral AI als europäische Alternative liefern Modelle, die bei anspruchsvollen Aufgaben derzeit das technisch Machbare markieren. Dazu gehört ein strukturelles Merkmal: Ihre Eingaben werden bei einem Dritten verarbeitet. Das ist gut beherrschbar und verlangt einen Auftragsverarbeitungsvertrag, eine Eintragung im Verarbeitungsverzeichnis, eine bewusste Entscheidung über zulässige Datenkategorien und bei US-Anbietern eine dokumentierte Bewertung des Drittlandtransfers.
Offene Modelle haben den Abstand deutlich verkürzt
Lokale KI-Modelle drehen dieses Verhältnis um. Offene Modellfamilien wie Llama, die offenen Varianten von Mistral, Qwen oder DeepSeek dürfen heruntergeladen und vollständig im eigenen Netz betrieben werden. Damit bleiben alle Daten im Unternehmen, personenbezogene und geschäftskritische Inhalte sind unbedenklich verarbeitbar und die eingesetzte Version bleibt beliebig lange stabil. Dazu gehören eine Anfangsinvestition in Hardware, laufender Betriebsaufwand und für die anspruchsvollsten Aufgaben der Blick auf die Cloud-Spitze. Für den überwiegenden Teil betrieblicher Anwendungsfälle, also Zusammenfassungen, Klassifikation, Datenextraktion aus Dokumenten und Fragen an interne Wissensbestände, ist dieser Abstand heute praktisch geschlossen.
Der entscheidende technische Faktor beim lokalen Betrieb ist der Grafikspeicher. Als Faustregel benötigt ein komprimiertes Modell etwa 0,6 bis 0,8 Gigabyte je Milliarde Parameter zuzüglich Reserve für das Kontextfenster. Ein Modell mit sieben Milliarden Parametern läuft damit auf einer Workstation mit acht Gigabyte Grafikspeicher, ein Modell mit siebzig Milliarden Parametern benötigt rund achtundvierzig Gigabyte und damit eine Serverkarte oder zwei gekoppelte Karten. Diese Zahl bestimmt den Investitionsrahmen und wird deshalb am besten am tatsächlichen Anwendungsfall bemessen.
Wo die Gesamtkosten tatsächlich liegen
Ein vollständiger Kostenvergleich betrachtet mehr als die Modellpreise. Cloud-Nutzung wird nach verarbeiteten Token abgerechnet, lokaler Betrieb über eine einmalige Investition zuzüglich Strom und Betreuung. Rechnerisch erreichen beide Wege bei mittlerem Nutzungsvolumen nach etwa anderthalb bis drei Jahren Gleichstand. Entscheidender ist jedoch ein anderer Punkt: In beiden Varianten entfällt der überwiegende Teil der Gesamtkosten auf Integration in bestehende Systeme, Datenaufbereitung, Rechtevergabe und Schulung. Ein Vergleich, der diese Posten einbezieht, führt deshalb zu einer belastbaren Schlussfolgerung.
In der Praxis landen die meisten Unternehmen bei einer hybriden Architektur. Sensible Verarbeitung läuft lokal, anspruchsvolle Aufgaben ohne schützenswerte Daten gehen an Cloud-Modelle, und die Zuordnung erfolgt regelbasiert über eine Vermittlungsschicht statt durch Einzelentscheidungen der Mitarbeitenden. Dieser Aufbau bringt neben der datenschutzrechtlichen Klarheit einen zweiten Vorteil: Weil Ihre Anwendungen unabhängig von einem einzelnen Anbieter sind, wird ein Modell- oder Anbieterwechsel zur Konfigurationsänderung. Angesichts eines Marktes, in dem Modelle im Monatsrhythmus erscheinen und abgekündigt werden, ist diese Unabhängigkeit betriebswirtschaftlich mehr wert als jeder kurzfristige Leistungsvorsprung.
Datenschutz entscheidet häufiger als Leistung
In der Beratungspraxis zeigt sich, dass meist eine Frage den Ausschlag gibt: welche Datenkategorien im Anwendungsfall tatsächlich anfallen. Wo Bewerbungsunterlagen, Personalakten, Gesundheitsdaten oder Vertragswerke mit Geschäftsgeheimnissen verarbeitet werden, ist der lokale Betrieb der klar einfachere Weg, weil ein erheblicher Teil des Prüf- und Dokumentationsaufwands schlicht entfällt. Wo dagegen öffentlich unkritische Inhalte bearbeitet werden, etwa Marketingtexte oder allgemeine Recherche, ist die Cloud der naheliegende Weg. Wir empfehlen deshalb, jeden Anwendungsfall zunächst nach Datenkategorie einzuordnen und erst danach über Modelle zu sprechen. Diese Reihenfolge schafft Klarheit, die jeden weiteren Projektschritt trägt.
Ein weiterer Punkt, der in jede Entscheidungsvorlage gehört, ist die Frage der Reproduzierbarkeit. Cloud-Modelle werden von den Anbietern fortlaufend weiterentwickelt, wodurch sich Ergebnisse bei identischer Eingabe über die Zeit verändern können. Für kreative Aufgaben ist das unerheblich. Wo KI jedoch in einen geprüften Prozess eingebunden ist, etwa in der Rechnungsprüfung oder in der Klassifikation von Vorgängen, wird ein stabiles Verhalten zur Anforderung. Lokale Modelle bieten hier einen Vorteil, der über jede Leistungstabelle hinausgeht: Die eingesetzte Version bleibt unverändert, solange Sie es wollen.
Unsere Einordnung als Entwickler
KI Brains begleitet Unternehmen bei genau dieser Entscheidung. Wir sind seit 2010 Softwareentwickler und haben über 700 Projekte umgesetzt, von mittelständischen Fachanwendungen bis zu Systemen im Konzernumfeld. Wir haben lokale Modellumgebungen aufgesetzt und betrieben, Cloud-Modelle an gewachsene ERP- und CRM-Landschaften angebunden und hybride Architekturen gebaut. Aus dieser Erfahrung heraus bewerten wir, welcher Aufbau in Ihrem Haus auch im dritten Jahr zuverlässig funktioniert und was er dann kostet. Wir empfehlen eine eigene Lösung dort, wo sie sich für Ihren Fall rechnet, und sagen Ihnen offen, wenn ein anderer Weg besser passt.
Vertiefend empfehlen wir die Übersicht der KI Wissensdatenbank, die Werkzeuge und Infrastruktur für den Betrieb sowie unsere Seiten zur KI Beratung und zur Prozessoptimierung. Konkrete Leistungen finden Sie unter Leistungen.
Nächste Schritte in der Wissensdatenbank
Welcher Weg passt zu Ihrem Unternehmen?
In einem Gespräch klären wir, welche Datenkategorien bei Ihnen anfallen, welches Nutzungsvolumen realistisch ist und ob Cloud, lokal oder hybrid der richtige Aufbau für Sie ist. Mit klarer, unabhängiger Empfehlung.
Unverbindlich und kostenfrei. Antwort in der Regel innerhalb eines Werktags.Welche Beiträge vertiefen dieses Thema?
Fachbeiträge mit Stand der Angaben und Quellen, die einzelne Kapitel dieser Seite weiterführen.