Mo - Fr 09:00 - 18:00 Uhr | 0221 / 177 347 40 | hello@kibrains.de
DSGVO-konform 500+ Projekte
Werktags Mo - Fr 09:00 - 18:00 Uhr Tel.: 0221 / 177 347 40 Mail: hello@kibrains.de
Baustein 02 der Wissensdatenbank

KI-Modelle im Unternehmen
Cloud oder lokal: die Entscheidung, die alles bestimmt

Bevor Sie über Anwendungsfälle sprechen, müssen Sie eine Grundsatzfrage klären: Verlassen Ihre Daten das Haus oder nicht. Diese Seite ordnet die verfügbaren Modelle ein, benennt Stärken und Schwächen beider Wege und liefert die Zahlen, die Sie für die Entscheidung brauchen.

Zuletzt aktualisiert: August 2026 Redaktion: Waldemar Denke, Lead Entwickler Fachliche Prüfung: Georgios Mavrommatis, Datenanalyse & Strategie Lesedauer: ca. 14 Minuten
Ausgangspunkt

Was ist ein KI-Modell und warum gibt es zwei Betriebswege?

Ein KI-Modell ist eine trainierte Datei, die aus einer Eingabe eine Ausgabe berechnet. Betrieben werden kann sie entweder über die Schnittstelle eines Anbieters (Cloud) oder auf eigener Hardware im Unternehmensnetz (lokal). Technisch ist das Modell in beiden Fällen dasselbe Prinzip: Milliarden von Parametern, die während des Trainings festgelegt wurden und bei jeder Anfrage neu durchgerechnet werden. Der Unterschied liegt ausschließlich darin, wo diese Berechnung stattfindet und wer dabei Zugriff auf Ihre Eingaben hat.

Cloud-Anbieter halten ihre stärksten Modelle geschlossen, das heißt, die Modelldatei ist nicht herausgegeben und ausschließlich über deren Rechenzentren nutzbar. Daneben existiert eine wachsende Zahl offener Modelle, deren Gewichte frei heruntergeladen und selbst betrieben werden dürfen. Diese Trennung zwischen geschlossenen und offenen Modellen ist der eigentliche Grund, warum die Frage Cloud oder lokal überhaupt existiert.

Hinweis zur Aktualität: Der Modellmarkt verändert sich im Monatsrhythmus. Wir nennen auf dieser Seite bewusst Anbieter und Modellfamilien statt einzelner Versionsnummern, weil letztere binnen weniger Wochen überholt sind. Die beschriebenen Eigenschaften und Abwägungen bleiben davon unberührt. Konkrete Preise und Leistungswerte prüfen wir im Projekt jeweils zum Entscheidungszeitpunkt. Wie schnell dieser Markt sich dreht, zeigen zwei datierte Momentaufnahmen: unser Rückblick auf das KI-Jahr 2025, in dem zwei der genannten Modelle inzwischen abgeschaltet sind, und die Einordnung zu Google Gemini 1.5 Pro, deren Modellreihe es heute nicht mehr gibt. Beide tragen einen datierten Hinweis, ab wann was nicht mehr gilt — und den aktuellen Stand beschreibt der Beitrag zu GPT‑6 Astra und Claude Fable 5.1.

Kapitel 01

Was bekommen Sie bei einem Cloud-Modell, und was geben Sie ab?

Die vier relevanten Anbieter für den deutschen Mittelstand, jeweils mit ihrem Profil, ihren Schwächen und der datenschutzrechtlichen Ausgangslage.

OpenAI

USA, GPT-Modellfamilie

Der bekannteste Anbieter und für viele Unternehmen der erste Kontakt mit generativer KI. Sehr breites Ökosystem, ausgereifte Schnittstelle, umfangreiche Werkzeuge für Entwickler.

Stärken
Sehr breite Funktionsabdeckung von Text über Bild bis Sprache, große Auswahl an Modellgrößen, hervorragend dokumentierte Schnittstelle, viele fertige Integrationen in Standardsoftware.
Schwächen
Preisgestaltung und Modellverfügbarkeit ändern sich häufig, was langfristige Kalkulationen erschwert. Bei sehr hohem Anfragevolumen können Antwortzeiten schwanken.
Datenschutz
Auftragsverarbeitungsvertrag verfügbar, Verarbeitung in europäischen Regionen für Geschäftskunden möglich, Ausschluss der Trainingsnutzung im Geschäftskundentarif Standard. Der Anbieter unterliegt US-Recht, was in der Risikobewertung zu berücksichtigen ist.
Guter Einstieg, breite Abdeckung

Anthropic

USA, Claude-Modellfamilie

Anbieter mit ausgeprägtem Fokus auf Zuverlässigkeit und Nachvollziehbarkeit. In der Praxis besonders stark bei langen Dokumenten, strukturierter Analyse und Programmieraufgaben.

Stärken
Sehr große Kontextfenster, wodurch umfangreiche Vertrags- und Aktenbestände in einem Durchgang verarbeitet werden können. Konsistente Ergebnisse bei komplexen Anweisungen, geringere Neigung zu erfundenen Angaben als der Marktdurchschnitt.
Schwächen
Schmaleres Ökosystem an Zusatzfunktionen als beim Marktführer. Für einfache Massenaufgaben ist der Leistungsvorsprung wirtschaftlich oft nicht relevant.
Datenschutz
Auftragsverarbeitungsvertrag verfügbar, keine Nutzung von Geschäftskundendaten für Modelltraining. Auch hier gilt: US-Anbieter, entsprechende Prüfung im Rahmen der Risikoanalyse erforderlich.
Stark bei Dokumenten und Code

Google

USA, Gemini-Modellfamilie

Besonders interessant für Unternehmen, die bereits in der Google-Cloud-Welt arbeiten. Enge Verzahnung mit Workspace, BigQuery und der übrigen Google-Infrastruktur.

Stärken
Sehr gute Verarbeitung gemischter Inhalte aus Text, Bild, Audio und Video. Nahtlose Anbindung an vorhandene Google-Dienste, attraktive Konditionen bei hohem Volumen.
Schwächen
Die Vielzahl paralleler Produktlinien und Benennungen erschwert die Auswahl. Wer nicht ohnehin Google-Cloud nutzt, hat höheren Integrationsaufwand.
Datenschutz
Verarbeitung in EU-Regionen wählbar, Auftragsverarbeitungsvertrag über die Cloud-Plattform geregelt. Für Bestandskunden der Google Cloud meist der vertraglich einfachste Weg.
Sinnvoll im Google-Ökosystem

Mistral AI

Frankreich, europäischer Anbieter

Der einzige europäische Anbieter in der ersten Reihe. Für Unternehmen mit hohen Anforderungen an digitale Souveränität häufig die pragmatischste Cloud-Option.

Stärken
Sitz und Verarbeitung in der EU, wodurch die datenschutzrechtliche Argumentation deutlich einfacher ausfällt. Sehr gutes Verhältnis von Leistung zu Preis. Teile des Modellportfolios sind offen verfügbar und lassen sich später lokal weiterbetreiben.
Schwächen
Bei den anspruchsvollsten Aufgaben liegt der Abstand zu den US-Spitzenmodellen weiterhin sichtbar. Kleineres Ökosystem an fertigen Integrationen.
Datenschutz
Europäischer Anbieter mit Verarbeitung in der EU. Kein Drittlandtransfer, dadurch entfällt ein erheblicher Teil des sonst üblichen Prüfaufwands.
Beste Wahl bei EU-Anforderung

Wofür Cloud-Modelle sprechen

  • Innerhalb weniger Stunden produktiv, ohne Investition in Hardware
  • Aktuell führend bei komplexem Schlussfolgern, sehr langen Dokumenten und Programmieraufgaben
  • Skalierung nach oben ist eine reine Vertragsfrage, kein Beschaffungsprojekt
  • Kein eigener Betriebsaufwand für Updates, Sicherheit und Verfügbarkeit
  • Kalkulierbarer Einstieg, weil Kosten mit der tatsächlichen Nutzung entstehen

Was gegen den Cloud-Weg spricht

  • Ihre Eingaben verlassen das Unternehmen und werden bei einem Dritten verarbeitet
  • Vertragliche Absicherung, Verarbeitungsverzeichnis und Risikobewertung sind Pflicht
  • Modelle können abgekündigt oder verändert werden, Ergebnisse ändern sich dann ohne Ihr Zutun
  • Bei sehr hohem Dauervolumen übersteigen die laufenden Kosten irgendwann eine Eigenprojektlösung
  • Keine Nutzung in abgeschotteten Netzen oder bei ausgefallener Internetverbindung
Kapitel 02

Was leisten offene Modelle auf eigener Hardware?

Diese Modellfamilien dürfen heruntergeladen und im eigenen Netz betrieben werden. Der Leistungsabstand zur Cloud-Spitze ist in den vergangenen Jahren deutlich geschrumpft.

Offene Modelle sind Modelle, deren trainierte Gewichte öffentlich verfügbar sind und die dadurch vollständig im eigenen Rechenzentrum betrieben werden können. Für die meisten typischen Unternehmensaufgaben, also Zusammenfassen, Klassifizieren, Extrahieren von Daten aus Dokumenten und Beantworten von Fragen zu eigenen Inhalten, reichen sie heute vollständig aus. Spürbar schwächer bleiben sie bei sehr komplexen mehrstufigen Denkaufgaben und bei anspruchsvoller Softwareentwicklung.

Llama (Meta)

Offene Gewichte, breite Verbreitung

Die am weitesten verbreitete offene Modellfamilie. Praktisch jedes Werkzeug im Ökosystem unterstützt sie, was Einrichtung und Fehlersuche erheblich vereinfacht.

Typischer Einsatz
Allrounder für interne Assistenten, Dokumentenauswertung und Textproduktion. Durch die große Community existieren zahlreiche angepasste Varianten für Fachdomänen.
Zu beachten
Die Lizenz ist quelloffen im praktischen Sinne, aber nicht uneingeschränkt frei. Bei sehr großen Nutzerzahlen sind die Lizenzbedingungen zu prüfen.
Sicherer Standardweg

Mistral (offene Varianten)

Europa, effizient im Betrieb

Europäische Herkunft, sehr gutes Verhältnis von Qualität zu Hardwarebedarf und überdurchschnittliche Ergebnisse in deutscher Sprache.

Typischer Einsatz
Deutschsprachige Korrespondenz, Zusammenfassungen, Klassifikation von Anfragen. Läuft in den kleineren Varianten bereits auf überschaubarer Hardware.
Zu beachten
Nicht alle Modelle des Anbieters sind offen. Vor der Auswahl ist zu prüfen, welche Variante tatsächlich zum Eigenbetrieb freigegeben ist.
Stark bei deutscher Sprache

Qwen (Alibaba)

Breites Größenspektrum

Auffällig leistungsfähig im Verhältnis zur Modellgröße und in sehr vielen Größenstufen verfügbar, von sehr klein bis sehr groß.

Typischer Einsatz
Überall dort, wo Hardware knapp ist und trotzdem gute Ergebnisse gefordert sind. Auch bei strukturierten Ausgaben und Codeaufgaben stark.
Zu beachten
Herkunft aus China. Beim Eigenbetrieb ohne Netzzugang technisch unkritisch, in der internen Kommunikation aber ein Thema, das offen angesprochen werden sollte.
Beste Leistung pro Gigabyte

DeepSeek

Fokus auf Schlussfolgern

Bekannt geworden durch Modelle, die mehrstufige Denkschritte offenlegen und damit an Aufgaben herankommen, die zuvor Cloud-Spitzenmodellen vorbehalten waren.

Typischer Einsatz
Analytische Aufgaben, Datenauswertung, Nachvollziehen komplexer Regelwerke. Die sichtbaren Zwischenschritte erleichtern die fachliche Prüfung der Ergebnisse.
Zu beachten
Höherer Rechenaufwand pro Anfrage, weil deutlich mehr Text erzeugt wird. Die großen Varianten stellen erhebliche Hardwareanforderungen.
Für analytische Aufgaben

Wofür lokale Modelle sprechen

  • Keine Daten verlassen das Unternehmensnetz, damit entfällt ein Großteil der Datenschutzprüfung
  • Auch personenbezogene und geschäftskritische Inhalte sind unbedenklich verarbeitbar
  • Die eingesetzte Modellversion bleibt beliebig lange stabil und reproduzierbar
  • Nach der Investition entstehen im Wesentlichen nur noch Strom- und Betreuungskosten
  • Betrieb auch in abgeschotteten Netzen und ohne Internetverbindung möglich

Was den Eigenbetrieb erschwert

  • Anfangsinvestition in Hardware, die vor dem ersten Ergebnis fällig wird
  • Betrieb, Aktualisierung und Überwachung müssen intern oder extern abgedeckt sein
  • Bei den anspruchsvollsten Aufgaben bleibt ein sichtbarer Qualitätsabstand
  • Verarbeitungsgeschwindigkeit begrenzt die Zahl gleichzeitiger Nutzer
  • Auswahl und Aktualisierung der Modelle erfordern fortlaufende fachliche Beobachtung

Übliche Werkzeuge für den lokalen Betrieb:

Ollama Ollama LM Studio LM Studio Hugging Face Hugging Face NVIDIA NVIDIA Hardware n8n n8n Automatisierung
Kapitel 03

Welche Hardware brauchen lokale KI-Modelle wirklich?

Die entscheidende Größe ist der Grafikspeicher. Er bestimmt, welche Modellgröße überhaupt laufbar ist.

Als Faustregel gilt: Ein Modell benötigt in komprimierter Form etwa 0,6 bis 0,8 Gigabyte Grafikspeicher pro Milliarde Parameter, zuzüglich Reserve für das Kontextfenster. Ein Modell mit sieben Milliarden Parametern läuft damit auf einer Grafikkarte mit acht Gigabyte Speicher, ein Modell mit siebzig Milliarden Parametern benötigt bereits rund achtundvierzig Gigabyte. Reicht der Grafikspeicher nicht aus, arbeitet das System über den Arbeitsspeicher weiter, wird dabei aber um ein Vielfaches langsamer und ist für den Mehrbenutzerbetrieb praktisch unbrauchbar.

ModellgrößeGrafikspeicherTypische HardwareWofür geeignet
3 bis 4 Mrd.ca. 4 GBAktueller Arbeitsplatzrechner, auch NotebookKlassifikation, einfache Textbearbeitung, erste Tests
7 bis 9 Mrd.ca. 8 GBWorkstation mit Consumer-GrafikkarteZusammenfassungen, interne Suche, Korrespondenz
13 bis 14 Mrd.ca. 12 GBLeistungsfähige WorkstationSolide Allroundnutzung im Einzelbetrieb
30 bis 34 Mrd.ca. 24 GBProfessionelle Grafikkarte oder ServerkarteAnspruchsvolle Analyse, kleiner Mehrbenutzerbetrieb
70 Mrd.ca. 48 GBServerkarte oder zwei gekoppelte KartenNahe an Cloud-Qualität für die meisten Aufgaben
über 100 Mrd.80 GB und mehrMehrere Serverkarten im VerbundSpezialfälle mit hohem Anspruch und eigenem Betriebsteam

Die Angaben beziehen sich auf komprimierte Modelle in vierstelliger Quantisierung, dem im Unternehmenseinsatz üblichen Verfahren. Bei unkomprimiertem Betrieb verdoppelt bis vervierfacht sich der Bedarf.

Kapitel 04

Was kostet der eine, was der andere Weg?

Ein durchgerechnetes Beispiel sagt mehr als jede Preistabelle. Alle Annahmen sind offengelegt und auf Ihren Fall übertragbar.

Rechenbeispiel: 60 Wissensarbeiter mit täglicher KI-Nutzung

Angenommen, 60 Mitarbeitende nutzen KI im Arbeitsalltag mit durchschnittlich 25 Vorgängen pro Arbeitstag. Je Vorgang werden rund 4.000 Token verarbeitet, also Eingabe plus Antwort zusammengenommen. Das ergibt etwa 6 Millionen Token pro Tag und rund 126 Millionen Token pro Monat.

Cloud, mittlere Modellklasse, laufende Kostenca. 250 bis 700 EUR / Monat
Cloud, Spitzenmodelle für anspruchsvolle Aufgabendeutlich darüber
Lokal, Serverhardware mit 48 GB Grafikspeichereinmalig ca. 8.000 bis 15.000 EUR
Lokal, Strom und Betriebca. 80 bis 200 EUR / Monat
Rechnerischer Gleichstand nachca. 18 bis 36 Monaten

Diese Zahlen sind Größenordnungen für den Vergleich, keine Angebotspreise. Nicht enthalten sind Einrichtung, Integration in Ihre Systeme und Schulung, die in beiden Varianten anfallen und den größeren Kostenblock ausmachen. Anbieterpreise ändern sich laufend und werden im Projekt zum Entscheidungszeitpunkt geprüft.

Die häufigste Fehlkalkulation: Der Vergleich wird auf Modellkosten verengt. In der Praxis machen Integration, Datenaufbereitung, Rechtevergabe und laufende Betreuung den überwiegenden Teil der Gesamtkosten aus, und zwar unabhängig davon, ob Sie Cloud oder lokal betreiben. Wer nur die Tokenpreise gegen den Anschaffungspreis einer Grafikkarte stellt, kommt regelmäßig zu einem falschen Ergebnis.

Kapitel 05

Wie groß muss es sein? Speicher, Durchsatz und Gesamtkosten

Die Rechenwege, mit denen Sie ein Angebot prüfen können, ohne die Zahlen glauben zu müssen.

Nach der Frage „Cloud oder eigene Hardware“ kommt sofort die Frage „wie groß“. Genau dort gehen Angebote auseinander, und genau dort fehlt den meisten Entscheidern der Maßstab.

Die gute Nachricht: Der wichtigste Teil ist eine Multiplikation. Wie viel Speicher ein Modell belegt, lässt sich auf dem Bierdeckel ausrechnen, und damit lässt sich jedes Angebot in fünf Minuten auf Plausibilität prüfen.

Quantisierung: warum ein großes Modell auf eine Karte passt

Ein Modell besteht aus Parametern, und jeder Parameter ist eine Zahl. Wie viel Platz diese Zahl belegt, ist eine Einstellungssache. Beim Training wird mit hoher Genauigkeit gerechnet, für den Betrieb lässt sich die Genauigkeit senken. Das nennt sich Quantisierung, und es ist der Grund, warum Modelle, die eigentlich einen Serverschrank bräuchten, auf einer einzelnen Karte laufen.

Die Rechnung dahinter: Parameterzahl mal Bytes je Parameter. Ein Modell mit 70 Milliarden Parametern belegt bei voller Genauigkeit rund 140 Gigabyte, bei 8 Bit rund 70, bei 4 Bit rund 35. Dieselbe Rechnung funktioniert für jedes Modell und jede Größe.

GenauigkeitPlatz je ParameterWofürQualitätsverlust
16 Bit2 Bytevolle Genauigkeit, so wird trainiertkein messbarer Verlust
8 Bit1 Byteüblicher Kompromiss im Serverbetriebpraktisch nicht wahrnehmbar
4 Bit0,5 Bytewas Modelle auf einzelne Karten bringtgeringer, bei einfachen Aufgaben unauffällig
unter 4 Bitwenigernur für Versuche sinnvolldeutlich, vor allem bei Zahlen und Fachbegriffen

Beleg für die Einstufung von 4 Bit: Tim Dettmers und Luke Zettlemoyer, The case for 4-bit precision: k-bit Inference Scaling Laws, Proceedings of the 40th International Conference on Machine Learning, 2023. Aus über 35.000 Versuchen an Modellen zwischen 19 Millionen und 176 Milliarden Parametern: 4 Bit ist für das Verhältnis aus Gesamtgröße und Genauigkeit nahezu durchgängig die beste Wahl.

Wichtig ist der Aufschlag, den fast jede Rechnung vergisst: Zu den Gewichten kommt der Zwischenspeicher für die laufenden Anfragen. Der wächst mit der Länge der Texte und mit der Zahl gleichzeitiger Nutzer. Wer eine Karte exakt auf die Gewichte auslegt, hat beim zweiten gleichzeitigen Nutzer ein Problem. Als Faustregel: Planen Sie deutlichen Aufschlag auf den reinen Gewichtsbedarf ein und prüfen Sie ihn im Testlauf mit realistischer Textlänge.

Wie viele Menschen kann eine Karte bedienen?

Diese Frage wird fast immer falsch gestellt, weil zwei verschiedene Größen gemeint sein können.

Die Antwortzeit betrifft die einzelne Person: Wie schnell erscheint die Antwort? Sie hängt kaum von der Zahl der Nutzer ab, sondern von Modellgröße und Hardware.

Der Durchsatz betrifft die Anlage: Wie viel Arbeit schafft die Karte insgesamt? Hier gilt etwas, das zunächst überrascht: Mehrere Anfragen gleichzeitig zu bearbeiten ist deutlich wirtschaftlicher, als sie nacheinander abzuarbeiten. Die Karte ist bei einer einzelnen Anfrage nämlich schlecht ausgelastet. Der Gesamtdurchsatz steigt daher mit der Zahl gleichzeitiger Nutzer, während die einzelne Antwort etwas langsamer wird.

Für die Auslegung heißt das: Nicht die Zahl der Mitarbeitenden ist die Grundlage, sondern die Zahl der gleichzeitigen Anfragen zur Spitzenzeit. In einem Betrieb mit zweihundert Beschäftigten, die den Assistenten gelegentlich nutzen, sind das erfahrungsgemäß sehr viel weniger, als die Belegschaftsgröße vermuten lässt. Messen statt schätzen: Ein Probebetrieb mit einer kleinen Gruppe liefert die Zahl innerhalb weniger Wochen.

Und die Grenze, an der es unangenehm wird, liegt nicht bei der Rechenleistung, sondern beim Speicher. Reicht der Zwischenspeicher für die gleichzeitigen Anfragen nicht mehr, bricht der Durchsatz nicht langsam ein, sondern die Anfragen werden abgewiesen oder in eine Warteschlange gestellt.

Gesamtkosten über drei Jahre, nicht Preis pro Monat

Der häufigste Fehler beim Vergleich: Auf der einen Seite steht der Anschaffungspreis der Hardware, auf der anderen der Monatspreis der Cloud. Das sind keine vergleichbaren Größen. Vergleichbar wird es erst über einen Zeitraum, und drei Jahre sind die übliche Nutzungsdauer.

KostenblockArtWas dazugehört
Anschaffung Hardwareeinmalig, über drei Jahre abzuschreibenServer, Grafikkarten, Speicher, Netzteil
Strom im Dauerbetrieblaufend, gut berechenbarLeistungsaufnahme mal Betriebsstunden mal Arbeitspreis
Kühlung und Stellplatzlaufend, häufig übersehenServerraum oder Stellplatz im Rechenzentrum
Betrieb und Wartunglaufend, der größte Posten nach dem StromAktualisierungen, Überwachung, Fehlersuche, Bereitschaft
Ausfallsicherheiteinmalig oder laufendzweite Maschine oder ein Rückfallweg in die Cloud
Modellpflegelaufendneue Modellstände prüfen, Testfälle nachziehen

Der Strom lässt sich exakt ausrechnen, und das lohnt sich, weil er regelmäßig unterschätzt wird. Die Formel: Leistungsaufnahme in Kilowatt mal Betriebsstunden mal Arbeitspreis. Eine Maschine, die im Mittel 1 Kilowatt zieht und rund um die Uhr läuft, kommt auf etwa 8.760 Kilowattstunden im Jahr. Wie viel das kostet, setzen Sie mit Ihrem eigenen Arbeitspreis ein; wir nennen hier bewusst keinen, weil Gewerbetarife weit auseinandergehen.

Der entscheidende Unterschied zwischen beiden Wegen ist aber nicht die Höhe, sondern die Form der Kosten. Cloud kostet nach Nutzung, eigene Hardware kostet unabhängig von der Nutzung. Daraus folgt die einzige Frage, die den Vergleich wirklich entscheidet: Wie hoch ist die Auslastung? Eine Karte, die zu fünf Prozent ausgelastet ist, ist teuer, egal was sie gekostet hat. Dieselbe Karte im Dauerbetrieb schlägt die Cloud deutlich.

Deshalb landen viele Unternehmen bei der hybriden Aufteilung, die im nächsten Kapitel beschrieben ist: gleichmäßige Massenvorgänge auf eigener Hardware, Spitzen und seltene Sonderfälle in der Cloud.

Was wir dabei übernehmen: die Messung Ihrer tatsächlichen Gleichzeitigkeit im Probebetrieb, die Auslegung auf dieser Grundlage und eine Gegenüberstellung beider Wege über drei Jahre mit Ihren Zahlen, nicht mit Beispielwerten.

Die Rechnung dahinter

Nach 18 bis 36 Monaten kostet eigene Hardware weniger als die Cloud.

Entscheidend ist aber ein anderer Punkt: In beiden Varianten entfällt der größte Kostenblock nicht auf das Modell, sondern auf Integration, Datenaufbereitung und Rechtevergabe.

Kapitel 06

Welcher Weg passt zu welchem Anwendungsfall?

Sechs typische Ausgangslagen aus unseren Projekten und die jeweils empfohlene Richtung.

Personalabteilung verarbeitet Bewerbungen und Verträge

Hier liegen durchgängig personenbezogene Daten vor, teilweise mit besonderer Schutzwürdigkeit. Eine Übertragung an Dritte ist rechtlich aufwendig und intern schwer vermittelbar.

Empfehlung: lokal

Marketing erstellt Texte und Kampagnenentwürfe

Es werden keine sensiblen Daten verarbeitet, dafür zählt sprachliche Qualität. Der Leistungsvorsprung der Cloud-Spitzenmodelle wirkt sich hier unmittelbar auf das Ergebnis aus.

Empfehlung: Cloud

Entwicklungsteam nutzt KI beim Programmieren

Programmierunterstützung ist die Disziplin mit dem deutlichsten Abstand zugunsten der Cloud. Sofern der Quellcode kein Geschäftsgeheimnis mit existenzieller Bedeutung darstellt, überwiegt der Nutzen.

Empfehlung: Cloud mit klaren Regeln

Kundenservice beantwortet Anfragen mit Bezug zu Kundendaten

Klassischer Mischfall. Die Antwortlogik ist unkritisch, die Kundendaten sind es nicht. Eine saubere Trennung beider Ebenen ist technisch möglich und meist der bessere Weg als eine pauschale Entscheidung.

Empfehlung: hybrid

Interne Wissenssuche über Handbücher und Richtlinien

Der Inhalt ist unternehmensintern, aber selten personenbezogen. Die Aufgabe ist technisch anspruchslos und wird von offenen Modellen gut bewältigt.

Empfehlung: lokal

Erste Erprobung ohne festgelegten Anwendungsfall

Solange unklar ist, welche Anwendungsfälle tragen, ist eine Hardwareinvestition verfrüht. Erst messen, dann investieren.

Empfehlung: Cloud zum Start
Kapitel 07

Warum landen die meisten Unternehmen bei einer hybriden Architektur?

Weil kaum ein Betrieb nur eine Sorte Aufgaben hat. Schützenswertes bleibt im Haus, alles andere geht dorthin, wo es am günstigsten läuft.

Bei einer hybriden KI-Architektur laufen sensible Verarbeitungsschritte auf lokalen Modellen, während anspruchsvolle Aufgaben ohne schützenswerte Daten an Cloud-Modelle übergeben werden. Die Zuordnung erfolgt automatisch anhand definierter Regeln, nicht durch eine Entscheidung der Mitarbeitenden. Voraussetzung ist eine Vermittlungsschicht zwischen Ihren Anwendungen und den Modellen, die anhand von Datenklassifikation und Aufgabentyp entscheidet, welches Modell zum Einsatz kommt.

Dieser Aufbau hat einen zweiten, oft unterschätzten Vorteil: Er macht Sie unabhängig. Weil Ihre Anwendungen nicht direkt gegen die Schnittstelle eines einzelnen Anbieters gebaut sind, wird ein Anbieterwechsel oder ein Modellwechsel zur Konfigurationsänderung statt zum Neuentwicklungsprojekt.

Regelwerk statt Bauchgefühl

Welche Datenkategorie welchen Weg nimmt, wird einmal festgelegt und technisch durchgesetzt. Ihre Mitarbeitenden müssen die Entscheidung nicht bei jeder Anfrage neu treffen.

Austauschbarkeit als Grundprinzip

Eine Abstraktionsschicht zwischen Anwendung und Modell hält Sie handlungsfähig, wenn ein Anbieter Preise anhebt, ein Modell abkündigt oder ein besseres Angebot verfügbar wird.

Nachweisbarkeit gegenüber Prüfern

Jede Anfrage wird protokolliert: welches Modell, welche Datenkategorie, welcher Nutzer. Das ist die Grundlage für Auskunftsfähigkeit gegenüber Datenschutzbehörde und Wirtschaftsprüfung.

Kapitel 08

Was muss vor dem ersten produktiven Einsatz geklärt sein?

Rechtsgrundlage, Auftragsverarbeitung, Löschkonzept und die Zuständigkeit im Haus. Keiner dieser Punkte lässt sich nachträglich reparieren.

AnforderungCloud-BetriebLokaler Betrieb
AuftragsverarbeitungsvertragZwingend erforderlich, vor dem ersten Einsatz abzuschließenEntfällt, da keine Datenweitergabe stattfindet
VerarbeitungsverzeichnisEintragung erforderlich, inklusive Zweck und EmpfängerEintragung erforderlich, Empfänger entfällt
DrittlandtransferBei US-Anbietern zu prüfen und zu dokumentierenNicht relevant
Trainingsnutzung Ihrer DatenVertraglich auszuschließen, im Geschäftskundentarif meist StandardTechnisch ausgeschlossen
BetroffenenrechteAuskunft und Löschung sind über den Anbieter zu gewährleistenVollständig in eigener Hand
Besondere DatenkategorienNur mit erhöhtem Prüfaufwand, häufig nicht empfehlenswertUnproblematisch bei sauberer Rechtevergabe
ProtokollierungEigene Protokollierung notwendig, Anbieterlogs genügen nichtVollständig selbst bestimmbar

Zur Einordnung: Diese Übersicht bildet den technischen und organisatorischen Rahmen ab, den wir in Projekten anwenden. Sie ersetzt keine Rechtsberatung. Die abschließende Bewertung Ihres konkreten Falls gehört in die Hände Ihres Datenschutzbeauftragten oder eines Fachanwalts. Wir arbeiten in Projekten regelmäßig direkt mit diesen Rollen zusammen.

Was häufiger entscheidet als Leistung

Ordnen Sie zuerst die Datenkategorie ein. Dann sprechen Sie über Modelle.

Diese Reihenfolge erspart Diskussionen, die sonst in jedem Projektschritt neu geführt werden.

Unsere Rolle in dieser Entscheidung

Wir haben beide Wege gebaut. Deshalb kennen wir die Rechnung dahinter.

Die Frage Cloud oder lokal lässt sich nicht am Reißbrett beantworten. Sie hängt an Ihren Datenkategorien, Ihrer bestehenden IT, Ihrem Nutzungsvolumen und daran, wer den Betrieb später verantwortet. Wir entwickeln seit 2010 Software und haben lokale Modellumgebungen ebenso in Betrieb genommen wie Cloud-Anbindungen an gewachsene Systemlandschaften. Diese Erfahrung ist der Grund, warum wir Ihnen sagen können, was ein Weg im dritten Jahr kostet und nicht nur im ersten Monat.

Bewertung vor Beschaffung

Wir messen erst Ihr tatsächliches Nutzungsvolumen und Ihre Datenkategorien, bevor über Hardware oder Verträge gesprochen wird. Eine Grafikkarte, die anschließend zu 15 Prozent ausgelastet ist, hilft niemandem.

Wir bauen die Vermittlungsschicht selbst

Die Abstraktion zwischen Ihren Anwendungen und den Modellen ist Softwareentwicklung, keine Konfiguration. Genau das ist unser Handwerk seit über 15 Jahren.

Betrieb mitgedacht

Wer aktualisiert das Modell, wer überwacht die Auslastung, wer reagiert bei Ausfall. Diese Fragen klären wir vor dem Projektstart und nicht im ersten Störungsfall.

Keine bösen Überraschungen

Wenn sich ein lokaler Betrieb für Ihren Fall nicht rechnet, sagen wir das, auch wenn ein Umsetzungsprojekt für uns das größere Geschäft wäre. Vertrauen ist die Grundlage jeder längeren Zusammenarbeit.

Erfolgreich unter anderem gearbeitet für
  • Vodafone
  • Carglass
  • Snipes
  • IronMaxx
  • Roland
  • Hussel
  • Sunpoint
  • WM Beautysystems AG
  • Fritz Berger
  • Zec Plus
  • Assistance Partner Services
Häufige Fragen

Fragen zu KI-Modellen, Cloud und Eigenbetrieb

Sind lokale KI-Modelle inzwischen so gut wie Cloud-Modelle?

Für die meisten betrieblichen Aufgaben ja. Zusammenfassen, Klassifizieren, Extrahieren von Angaben aus Dokumenten und das Beantworten von Fragen zu eigenen Inhalten beherrschen offene Modelle mittlerer Größe zuverlässig. Ein sichtbarer Abstand bleibt bei mehrstufigen Denkaufgaben, sehr langen Kontexten und anspruchsvoller Softwareentwicklung. Die Frage lautet daher nicht, welches Modell besser ist, sondern welches für Ihre konkrete Aufgabe ausreicht.

Was bedeutet Quantisierung und verliere ich dadurch Qualität?

Quantisierung reduziert die Genauigkeit, mit der die Modellparameter gespeichert werden, und verkleinert das Modell damit erheblich. In der im Unternehmenseinsatz üblichen vierstelligen Quantisierung ist der Qualitätsverlust für die meisten Aufgaben kaum wahrnehmbar, während der Speicherbedarf auf etwa ein Viertel sinkt. Erst bei stärkerer Komprimierung wird der Unterschied deutlich spürbar.

Können wir mit einem Cloud-Modell starten und später auf lokal wechseln?

Ja, und das ist häufig der wirtschaftlich sinnvollste Weg. Voraussetzung ist, dass Ihre Anwendungen von Beginn an über eine Abstraktionsschicht auf das Modell zugreifen und nicht direkt gegen die Schnittstelle eines Anbieters gebaut werden. Dann ist der Wechsel eine Konfigurationsänderung. Wird dieser Punkt am Anfang übersehen, wird der Wechsel später zum Neuentwicklungsprojekt.

Wie viele Mitarbeitende kann eine lokale KI-Installation gleichzeitig bedienen?

Das hängt von Modellgröße und Hardware ab. Eine Serverkarte mit ausreichend Grafikspeicher bedient bei einem mittelgroßen Modell in der Praxis eine zweistellige Zahl gleichzeitiger Anfragen, ohne dass die Antwortzeit für Nutzer störend wird. Entscheidend ist nicht die Mitarbeiterzahl insgesamt, sondern wie viele tatsächlich zeitgleich anfragen. In der Regel liegt dieser Anteil deutlich unter zehn Prozent der Belegschaft.

Ist ein chinesisches KI-Modell im Eigenbetrieb ein Sicherheitsrisiko?

Ein lokal betriebenes Modell hat keine Netzwerkverbindung nach außen und kann folglich keine Daten übertragen. Technisch besteht damit kein Abflussrisiko, unabhängig von der Herkunft. Was bleibt, sind mögliche Verzerrungen in den Antworten sowie die interne und kommunikative Dimension der Entscheidung. Wir empfehlen, den Punkt offen anzusprechen statt ihn zu umgehen, und die Modellauswahl im Zweifel am Anwendungsfall festzumachen.

Was passiert mit unseren Daten bei der Nutzung von Cloud-Modellen?

Im Geschäftskundentarif der etablierten Anbieter werden Eingaben zur Beantwortung verarbeitet, für einen begrenzten Zeitraum zur Missbrauchserkennung vorgehalten und nicht für das Training weiterer Modelle verwendet. Dieser Ausschluss ist vertraglich zu vereinbaren und nicht in allen Tarifen automatisch enthalten. Bei kostenlosen Privatkundenzugängen gelten regelmäßig andere Bedingungen, weshalb deren Nutzung im betrieblichen Umfeld ohne klare Regelung problematisch ist.

Brauchen wir eigenes Personal für den Betrieb lokaler KI-Modelle?

Nicht zwingend. Der laufende Aufwand einer eingerichteten Umgebung ist überschaubar und beschränkt sich im Wesentlichen auf Überwachung, gelegentliche Aktualisierungen und die Bewertung neuer Modelle. Viele unserer Kunden lassen diesen Teil dauerhaft bei uns oder kombinieren einen internen Verantwortlichen mit externer Rufbereitschaft. Was Sie in jedem Fall brauchen, ist eine benannte Person, die im Störungsfall entscheidet.

Lohnt sich Fine-Tuning eines eigenen KI-Modells?

Seltener, als es in Verkaufsgesprächen dargestellt wird. Für unternehmensspezifisches Faktenwissen ist Retrieval Augmented Generation der bessere Weg, weil Inhalte jederzeit aktualisierbar bleiben und nachvollziehbar zitiert werden können. Fine-Tuning lohnt sich, wenn ein bestimmter Ton, ein festes Ausgabeformat oder ein sehr spezielles Fachvokabular zuverlässig getroffen werden muss. Beides schließt sich nicht aus.

KI-Modelle für Unternehmen: Cloud-Modelle und lokale Modelle im Vergleich

Die Auswahl des richtigen KI-Modells ist für Unternehmen keine technische Detailfrage, sondern eine Weichenstellung mit Wirkung auf Datenschutz, Kostenstruktur und Handlungsfreiheit der kommenden Jahre. Wer diese Entscheidung an den Anfang stellt und bewusst trifft, vermeidet Umbauten, die später erheblichen Aufwand verursachen. Wer sie aufschiebt, entscheidet sich in der Praxis meist unbeabsichtigt für den Weg, den einzelne Abteilungen ohnehin schon eingeschlagen haben, oft ohne vertragliche Grundlage und ohne Kenntnis der Geschäftsführung.

Cloud-Modelle sind der schnellste Einstieg in die Nutzung Künstlicher Intelligenz. Sie werden über die Schnittstelle eines Anbieters angesprochen, erfordern keine Investition in Hardware und stehen innerhalb weniger Stunden produktiv zur Verfügung. Die führenden Anbieter aus den USA sowie Mistral AI als europäische Alternative liefern Modelle, die bei anspruchsvollen Aufgaben derzeit das technisch Machbare markieren. Der Preis dafür ist strukturell: Ihre Eingaben verlassen das Unternehmen und werden bei einem Dritten verarbeitet. Das ist beherrschbar, verlangt aber einen Auftragsverarbeitungsvertrag, eine Eintragung im Verarbeitungsverzeichnis, eine bewusste Entscheidung über zulässige Datenkategorien und bei US-Anbietern eine dokumentierte Bewertung des Drittlandtransfers.

Offene Modelle haben den Abstand deutlich verkürzt

Lokale KI-Modelle drehen dieses Verhältnis um. Offene Modellfamilien wie Llama, die offenen Varianten von Mistral, Qwen oder DeepSeek dürfen heruntergeladen und vollständig im eigenen Netz betrieben werden. Damit verlassen keine Daten das Unternehmen, personenbezogene und geschäftskritische Inhalte sind unbedenklich verarbeitbar und die eingesetzte Version bleibt beliebig lange stabil. Dem stehen eine Anfangsinvestition in Hardware, laufender Betriebsaufwand und ein weiterhin sichtbarer Qualitätsabstand bei den anspruchsvollsten Aufgaben gegenüber. Für den überwiegenden Teil betrieblicher Anwendungsfälle, also Zusammenfassungen, Klassifikation, Datenextraktion aus Dokumenten und Fragen an interne Wissensbestände, ist dieser Abstand praktisch bedeutungslos geworden.

Der entscheidende technische Faktor beim lokalen Betrieb ist der Grafikspeicher. Als Faustregel benötigt ein komprimiertes Modell etwa 0,6 bis 0,8 Gigabyte je Milliarde Parameter zuzüglich Reserve für das Kontextfenster. Ein Modell mit sieben Milliarden Parametern läuft damit auf einer Workstation mit acht Gigabyte Grafikspeicher, ein Modell mit siebzig Milliarden Parametern benötigt rund achtundvierzig Gigabyte und damit eine Serverkarte oder zwei gekoppelte Karten. Diese Zahl bestimmt den Investitionsrahmen und sollte deshalb am tatsächlichen Anwendungsfall bemessen werden und nicht an der maximal verfügbaren Modellgröße.

Die Gesamtkosten liegen selten dort, wo man sie vermutet

Beim Kostenvergleich wird regelmäßig zu kurz gerechnet. Cloud-Nutzung wird nach verarbeiteten Token abgerechnet, lokaler Betrieb über eine einmalige Investition zuzüglich Strom und Betreuung. Rechnerisch erreichen beide Wege bei mittlerem Nutzungsvolumen nach etwa anderthalb bis drei Jahren Gleichstand. Entscheidender ist jedoch ein anderer Punkt: In beiden Varianten entfällt der überwiegende Teil der Gesamtkosten nicht auf das Modell, sondern auf Integration in bestehende Systeme, Datenaufbereitung, Rechtevergabe und Schulung. Ein Vergleich, der ausschließlich Tokenpreise gegen Hardwarepreise stellt, führt daher fast zwangsläufig zu einer falschen Schlussfolgerung.

In der Praxis landen die meisten Unternehmen bei einer hybriden Architektur. Sensible Verarbeitung läuft lokal, anspruchsvolle Aufgaben ohne schützenswerte Daten gehen an Cloud-Modelle, und die Zuordnung erfolgt regelbasiert über eine Vermittlungsschicht statt durch Einzelentscheidungen der Mitarbeitenden. Dieser Aufbau bringt neben der datenschutzrechtlichen Klarheit einen zweiten Vorteil: Weil Ihre Anwendungen nicht direkt an einen Anbieter gebunden sind, wird ein Modell- oder Anbieterwechsel zur Konfigurationsänderung. Angesichts eines Marktes, in dem Modelle im Monatsrhythmus erscheinen und abgekündigt werden, ist diese Unabhängigkeit betriebswirtschaftlich mehr wert als jeder kurzfristige Leistungsvorsprung.

Datenschutz entscheidet häufiger als Leistung

In der Beratungspraxis zeigt sich, dass die technische Leistungsfähigkeit selten den Ausschlag gibt. Deutlich häufiger entscheidet die Frage, welche Datenkategorien im Anwendungsfall tatsächlich anfallen. Wo Bewerbungsunterlagen, Personalakten, Gesundheitsdaten oder Vertragswerke mit Geschäftsgeheimnissen verarbeitet werden, ist der lokale Betrieb der klar einfachere Weg, weil ein erheblicher Teil des Prüf- und Dokumentationsaufwands schlicht entfällt. Wo dagegen öffentlich unkritische Inhalte bearbeitet werden, etwa Marketingtexte oder allgemeine Recherche, wäre eine Hardwareinvestition schwer zu begründen. Wir empfehlen deshalb, jeden Anwendungsfall zunächst nach Datenkategorie einzuordnen und erst danach über Modelle zu sprechen. Diese Reihenfolge erspart Diskussionen, die sonst in jedem Projektschritt neu geführt werden.

Ein weiterer Punkt, der in Entscheidungsvorlagen häufig fehlt, ist die Frage der Reproduzierbarkeit. Cloud-Modelle werden von den Anbietern fortlaufend weiterentwickelt, wodurch sich Ergebnisse bei identischer Eingabe über die Zeit verändern können. Für kreative Aufgaben ist das unerheblich. Wo KI jedoch in einen geprüften Prozess eingebunden ist, etwa in der Rechnungsprüfung oder in der Klassifikation von Vorgängen, wird ein stabiles Verhalten zur Anforderung. Lokale Modelle bieten hier einen Vorteil, der sich in keiner Leistungstabelle abbilden lässt: Die eingesetzte Version bleibt unverändert, solange Sie es wollen.

Unsere Einordnung als Entwickler

KI Brains begleitet Unternehmen bei genau dieser Entscheidung. Wir sind seit 2010 Softwareentwickler und haben über 700 Projekte umgesetzt, von mittelständischen Fachanwendungen bis zu Systemen im Konzernumfeld. Wir haben lokale Modellumgebungen aufgesetzt und betrieben, Cloud-Modelle an gewachsene ERP- und CRM-Landschaften angebunden und hybride Architekturen gebaut. Aus dieser Erfahrung heraus bewerten wir nicht, welches Modell im Vergleichstest vorn liegt, sondern welcher Aufbau in Ihrem Haus im dritten Jahr noch funktioniert und was er dann kostet. Wenn sich eine Eigenprojektlösung für Ihren Fall nicht rechnet, sagen wir Ihnen das, auch wenn ein Umsetzungsprojekt für uns das größere Geschäft wäre.

Vertiefend empfehlen wir die Übersicht der KI Wissensdatenbank, die Werkzeuge und Infrastruktur für den Betrieb sowie unsere Seiten zur KI Beratung und zur Prozessoptimierung. Konkrete Leistungen finden Sie unter Leistungen.

Nächster Schritt

Welcher Weg passt zu Ihrem Unternehmen?

In einem Gespräch von rund 45 Minuten klären wir, welche Datenkategorien bei Ihnen anfallen, welches Nutzungsvolumen realistisch ist und ob Cloud, lokal oder hybrid der richtige Aufbau für Sie ist. Mit klarer Empfehlung und ohne Verkaufsdruck.

Unverbindlich und kostenfrei. Antwort in der Regel innerhalb eines Werktags.