Mo - Fr 09:00 - 18:00 Uhr | 0221 / 177 347 40 | hello@kibrains.de
DSGVO-konform 500+ Projekte
Werktags Mo - Fr 09:00 - 18:00 Uhr Tel.: 0221 / 177 347 40 Mail: hello@kibrains.de
Baustein 02 der Wissensdatenbank

KI-Modelle im Unternehmen
Cloud oder lokal: die Entscheidung, die alles bestimmt

Bevor Sie über Anwendungsfälle sprechen, müssen Sie eine Grundsatzfrage klären: Verlassen Ihre Daten das Haus oder nicht. Diese Seite ordnet die verfügbaren Modelle ein, benennt Stärken und Schwächen beider Wege und liefert die Zahlen, die Sie für die Entscheidung brauchen.

Zuletzt aktualisiert: August 2026 Redaktion: Waldemar Denke, Lead Entwickler Fachliche Prüfung: Georgios Mavrommatis, Datenanalyse & Strategie Lesedauer: ca. 14 Minuten
Ausgangspunkt

Was ist ein KI-Modell und warum gibt es zwei Betriebswege?

Ein KI-Modell ist eine trainierte Datei, die aus einer Eingabe eine Ausgabe berechnet. Betrieben werden kann sie entweder über die Schnittstelle eines Anbieters (Cloud) oder auf eigener Hardware im Unternehmensnetz (lokal). Technisch ist das Modell in beiden Fällen dasselbe Prinzip: Milliarden von Parametern, die während des Trainings festgelegt wurden und bei jeder Anfrage neu durchgerechnet werden. Der Unterschied liegt ausschließlich darin, wo diese Berechnung stattfindet und wer dabei Zugriff auf Ihre Eingaben hat.

Cloud-Anbieter halten ihre stärksten Modelle geschlossen, das heißt, die Modelldatei ist nicht herausgegeben und ausschließlich über deren Rechenzentren nutzbar. Daneben existiert eine wachsende Zahl offener Modelle, deren Gewichte frei heruntergeladen und selbst betrieben werden dürfen. Diese Trennung zwischen geschlossenen und offenen Modellen ist der eigentliche Grund, warum die Frage Cloud oder lokal überhaupt existiert.

Hinweis zur Aktualität: Der Modellmarkt verändert sich im Monatsrhythmus. Wir nennen auf dieser Seite bewusst Anbieter und Modellfamilien statt einzelner Versionsnummern, weil letztere binnen weniger Wochen überholt sind. Die beschriebenen Eigenschaften und Abwägungen bleiben davon unberührt. Konkrete Preise und Leistungswerte prüfen wir im Projekt jeweils zum Entscheidungszeitpunkt.

Kapitel 01

Cloud-Modelle: maximale Leistung gegen Datenabfluss

Die vier relevanten Anbieter für den deutschen Mittelstand, jeweils mit ihrem Profil, ihren Schwächen und der datenschutzrechtlichen Ausgangslage.

OpenAI

USA, GPT-Modellfamilie

Der bekannteste Anbieter und für viele Unternehmen der erste Kontakt mit generativer KI. Sehr breites Ökosystem, ausgereifte Schnittstelle, umfangreiche Werkzeuge für Entwickler.

Stärken
Sehr breite Funktionsabdeckung von Text über Bild bis Sprache, große Auswahl an Modellgrößen, hervorragend dokumentierte Schnittstelle, viele fertige Integrationen in Standardsoftware.
Schwächen
Preisgestaltung und Modellverfügbarkeit ändern sich häufig, was langfristige Kalkulationen erschwert. Bei sehr hohem Anfragevolumen können Antwortzeiten schwanken.
Datenschutz
Auftragsverarbeitungsvertrag verfügbar, Verarbeitung in europäischen Regionen für Geschäftskunden möglich, Ausschluss der Trainingsnutzung im Geschäftskundentarif Standard. Der Anbieter unterliegt US-Recht, was in der Risikobewertung zu berücksichtigen ist.
Guter Einstieg, breite Abdeckung

Anthropic

USA, Claude-Modellfamilie

Anbieter mit ausgeprägtem Fokus auf Zuverlässigkeit und Nachvollziehbarkeit. In der Praxis besonders stark bei langen Dokumenten, strukturierter Analyse und Programmieraufgaben.

Stärken
Sehr große Kontextfenster, wodurch umfangreiche Vertrags- und Aktenbestände in einem Durchgang verarbeitet werden können. Konsistente Ergebnisse bei komplexen Anweisungen, geringere Neigung zu erfundenen Angaben als der Marktdurchschnitt.
Schwächen
Schmaleres Ökosystem an Zusatzfunktionen als beim Marktführer. Für einfache Massenaufgaben ist der Leistungsvorsprung wirtschaftlich oft nicht relevant.
Datenschutz
Auftragsverarbeitungsvertrag verfügbar, keine Nutzung von Geschäftskundendaten für Modelltraining. Auch hier gilt: US-Anbieter, entsprechende Prüfung im Rahmen der Risikoanalyse erforderlich.
Stark bei Dokumenten und Code

Google

USA, Gemini-Modellfamilie

Besonders interessant für Unternehmen, die bereits in der Google-Cloud-Welt arbeiten. Enge Verzahnung mit Workspace, BigQuery und der übrigen Google-Infrastruktur.

Stärken
Sehr gute Verarbeitung gemischter Inhalte aus Text, Bild, Audio und Video. Nahtlose Anbindung an vorhandene Google-Dienste, attraktive Konditionen bei hohem Volumen.
Schwächen
Die Vielzahl paralleler Produktlinien und Benennungen erschwert die Auswahl. Wer nicht ohnehin Google-Cloud nutzt, hat höheren Integrationsaufwand.
Datenschutz
Verarbeitung in EU-Regionen wählbar, Auftragsverarbeitungsvertrag über die Cloud-Plattform geregelt. Für Bestandskunden der Google Cloud meist der vertraglich einfachste Weg.
Sinnvoll im Google-Ökosystem

Mistral AI

Frankreich, europäischer Anbieter

Der einzige europäische Anbieter in der ersten Reihe. Für Unternehmen mit hohen Anforderungen an digitale Souveränität häufig die pragmatischste Cloud-Option.

Stärken
Sitz und Verarbeitung in der EU, wodurch die datenschutzrechtliche Argumentation deutlich einfacher ausfällt. Sehr gutes Verhältnis von Leistung zu Preis. Teile des Modellportfolios sind offen verfügbar und lassen sich später lokal weiterbetreiben.
Schwächen
Bei den anspruchsvollsten Aufgaben liegt der Abstand zu den US-Spitzenmodellen weiterhin sichtbar. Kleineres Ökosystem an fertigen Integrationen.
Datenschutz
Europäischer Anbieter mit Verarbeitung in der EU. Kein Drittlandtransfer, dadurch entfällt ein erheblicher Teil des sonst üblichen Prüfaufwands.
Beste Wahl bei EU-Anforderung

Wofür Cloud-Modelle sprechen

  • Innerhalb weniger Stunden produktiv, ohne Investition in Hardware
  • Aktuell führend bei komplexem Schlussfolgern, sehr langen Dokumenten und Programmieraufgaben
  • Skalierung nach oben ist eine reine Vertragsfrage, kein Beschaffungsprojekt
  • Kein eigener Betriebsaufwand für Updates, Sicherheit und Verfügbarkeit
  • Kalkulierbarer Einstieg, weil Kosten mit der tatsächlichen Nutzung entstehen

Was gegen den Cloud-Weg spricht

  • Ihre Eingaben verlassen das Unternehmen und werden bei einem Dritten verarbeitet
  • Vertragliche Absicherung, Verarbeitungsverzeichnis und Risikobewertung sind Pflicht
  • Modelle können abgekündigt oder verändert werden, Ergebnisse ändern sich dann ohne Ihr Zutun
  • Bei sehr hohem Dauervolumen übersteigen die laufenden Kosten irgendwann eine Eigenprojektlösung
  • Keine Nutzung in abgeschotteten Netzen oder bei ausgefallener Internetverbindung
Kapitel 02

Offene Modelle: volle Datenhoheit auf eigener Hardware

Diese Modellfamilien dürfen heruntergeladen und im eigenen Netz betrieben werden. Der Leistungsabstand zur Cloud-Spitze ist in den vergangenen Jahren deutlich geschrumpft.

Offene Modelle sind Modelle, deren trainierte Gewichte öffentlich verfügbar sind und die dadurch vollständig im eigenen Rechenzentrum betrieben werden können. Für die meisten typischen Unternehmensaufgaben, also Zusammenfassen, Klassifizieren, Extrahieren von Daten aus Dokumenten und Beantworten von Fragen zu eigenen Inhalten, reichen sie heute vollständig aus. Spürbar schwächer bleiben sie bei sehr komplexen mehrstufigen Denkaufgaben und bei anspruchsvoller Softwareentwicklung.

Llama (Meta)

Offene Gewichte, breite Verbreitung

Die am weitesten verbreitete offene Modellfamilie. Praktisch jedes Werkzeug im Ökosystem unterstützt sie, was Einrichtung und Fehlersuche erheblich vereinfacht.

Typischer Einsatz
Allrounder für interne Assistenten, Dokumentenauswertung und Textproduktion. Durch die große Community existieren zahlreiche angepasste Varianten für Fachdomänen.
Zu beachten
Die Lizenz ist quelloffen im praktischen Sinne, aber nicht uneingeschränkt frei. Bei sehr großen Nutzerzahlen sind die Lizenzbedingungen zu prüfen.
Sicherer Standardweg

Mistral (offene Varianten)

Europa, effizient im Betrieb

Europäische Herkunft, sehr gutes Verhältnis von Qualität zu Hardwarebedarf und überdurchschnittliche Ergebnisse in deutscher Sprache.

Typischer Einsatz
Deutschsprachige Korrespondenz, Zusammenfassungen, Klassifikation von Anfragen. Läuft in den kleineren Varianten bereits auf überschaubarer Hardware.
Zu beachten
Nicht alle Modelle des Anbieters sind offen. Vor der Auswahl ist zu prüfen, welche Variante tatsächlich zum Eigenbetrieb freigegeben ist.
Stark bei deutscher Sprache

Qwen (Alibaba)

Breites Größenspektrum

Auffällig leistungsfähig im Verhältnis zur Modellgröße und in sehr vielen Größenstufen verfügbar, von sehr klein bis sehr groß.

Typischer Einsatz
Überall dort, wo Hardware knapp ist und trotzdem gute Ergebnisse gefordert sind. Auch bei strukturierten Ausgaben und Codeaufgaben stark.
Zu beachten
Herkunft aus China. Beim Eigenbetrieb ohne Netzzugang technisch unkritisch, in der internen Kommunikation aber ein Thema, das offen angesprochen werden sollte.
Beste Leistung pro Gigabyte

DeepSeek

Fokus auf Schlussfolgern

Bekannt geworden durch Modelle, die mehrstufige Denkschritte offenlegen und damit an Aufgaben herankommen, die zuvor Cloud-Spitzenmodellen vorbehalten waren.

Typischer Einsatz
Analytische Aufgaben, Datenauswertung, Nachvollziehen komplexer Regelwerke. Die sichtbaren Zwischenschritte erleichtern die fachliche Prüfung der Ergebnisse.
Zu beachten
Höherer Rechenaufwand pro Anfrage, weil deutlich mehr Text erzeugt wird. Die großen Varianten stellen erhebliche Hardwareanforderungen.
Für analytische Aufgaben

Wofür lokale Modelle sprechen

  • Keine Daten verlassen das Unternehmensnetz, damit entfällt ein Großteil der Datenschutzprüfung
  • Auch personenbezogene und geschäftskritische Inhalte sind unbedenklich verarbeitbar
  • Die eingesetzte Modellversion bleibt beliebig lange stabil und reproduzierbar
  • Nach der Investition entstehen im Wesentlichen nur noch Strom- und Betreuungskosten
  • Betrieb auch in abgeschotteten Netzen und ohne Internetverbindung möglich

Was den Eigenbetrieb erschwert

  • Anfangsinvestition in Hardware, die vor dem ersten Ergebnis fällig wird
  • Betrieb, Aktualisierung und Überwachung müssen intern oder extern abgedeckt sein
  • Bei den anspruchsvollsten Aufgaben bleibt ein sichtbarer Qualitätsabstand
  • Verarbeitungsgeschwindigkeit begrenzt die Zahl gleichzeitiger Nutzer
  • Auswahl und Aktualisierung der Modelle erfordern fortlaufende fachliche Beobachtung

Übliche Werkzeuge für den lokalen Betrieb:

Ollama Ollama LM Studio LM Studio Hugging Face Hugging Face NVIDIA NVIDIA Hardware n8n n8n Automatisierung
Kapitel 03

Welche Hardware brauchen lokale KI-Modelle wirklich?

Die entscheidende Größe ist der Grafikspeicher. Er bestimmt, welche Modellgröße überhaupt laufbar ist.

Als Faustregel gilt: Ein Modell benötigt in komprimierter Form etwa 0,6 bis 0,8 Gigabyte Grafikspeicher pro Milliarde Parameter, zuzüglich Reserve für das Kontextfenster. Ein Modell mit sieben Milliarden Parametern läuft damit auf einer Grafikkarte mit acht Gigabyte Speicher, ein Modell mit siebzig Milliarden Parametern benötigt bereits rund achtundvierzig Gigabyte. Reicht der Grafikspeicher nicht aus, arbeitet das System über den Arbeitsspeicher weiter, wird dabei aber um ein Vielfaches langsamer und ist für den Mehrbenutzerbetrieb praktisch unbrauchbar.

ModellgrößeGrafikspeicherTypische HardwareWofür geeignet
3 bis 4 Mrd.ca. 4 GBAktueller Arbeitsplatzrechner, auch NotebookKlassifikation, einfache Textbearbeitung, erste Tests
7 bis 9 Mrd.ca. 8 GBWorkstation mit Consumer-GrafikkarteZusammenfassungen, interne Suche, Korrespondenz
13 bis 14 Mrd.ca. 12 GBLeistungsfähige WorkstationSolide Allroundnutzung im Einzelbetrieb
30 bis 34 Mrd.ca. 24 GBProfessionelle Grafikkarte oder ServerkarteAnspruchsvolle Analyse, kleiner Mehrbenutzerbetrieb
70 Mrd.ca. 48 GBServerkarte oder zwei gekoppelte KartenNahe an Cloud-Qualität für die meisten Aufgaben
über 100 Mrd.80 GB und mehrMehrere Serverkarten im VerbundSpezialfälle mit hohem Anspruch und eigenem Betriebsteam

Die Angaben beziehen sich auf komprimierte Modelle in vierstelliger Quantisierung, dem im Unternehmenseinsatz üblichen Verfahren. Bei unkomprimiertem Betrieb verdoppelt bis vervierfacht sich der Bedarf.

Kapitel 04

Was kostet der eine, was der andere Weg?

Ein durchgerechnetes Beispiel sagt mehr als jede Preistabelle. Alle Annahmen sind offengelegt und auf Ihren Fall übertragbar.

Rechenbeispiel: 60 Wissensarbeiter mit täglicher KI-Nutzung

Angenommen, 60 Mitarbeitende nutzen KI im Arbeitsalltag mit durchschnittlich 25 Vorgängen pro Arbeitstag. Je Vorgang werden rund 4.000 Token verarbeitet, also Eingabe plus Antwort zusammengenommen. Das ergibt etwa 6 Millionen Token pro Tag und rund 126 Millionen Token pro Monat.

Cloud, mittlere Modellklasse, laufende Kostenca. 250 bis 700 EUR / Monat
Cloud, Spitzenmodelle für anspruchsvolle Aufgabendeutlich darüber
Lokal, Serverhardware mit 48 GB Grafikspeichereinmalig ca. 8.000 bis 15.000 EUR
Lokal, Strom und Betriebca. 80 bis 200 EUR / Monat
Rechnerischer Gleichstand nachca. 18 bis 36 Monaten

Diese Zahlen sind Größenordnungen für den Vergleich, keine Angebotspreise. Nicht enthalten sind Einrichtung, Integration in Ihre Systeme und Schulung, die in beiden Varianten anfallen und den größeren Kostenblock ausmachen. Anbieterpreise ändern sich laufend und werden im Projekt zum Entscheidungszeitpunkt geprüft.

Die häufigste Fehlkalkulation: Der Vergleich wird auf Modellkosten verengt. In der Praxis machen Integration, Datenaufbereitung, Rechtevergabe und laufende Betreuung den überwiegenden Teil der Gesamtkosten aus, und zwar unabhängig davon, ob Sie Cloud oder lokal betreiben. Wer nur die Tokenpreise gegen den Anschaffungspreis einer Grafikkarte stellt, kommt regelmäßig zu einem falschen Ergebnis.

Die Rechnung dahinter

Nach 18 bis 36 Monaten kostet eigene Hardware weniger als die Cloud.

Entscheidend ist aber ein anderer Punkt: In beiden Varianten entfällt der größte Kostenblock nicht auf das Modell, sondern auf Integration, Datenaufbereitung und Rechtevergabe.

Kapitel 05

Welcher Weg passt zu welchem Anwendungsfall?

Sechs typische Ausgangslagen aus unseren Projekten und die jeweils empfohlene Richtung.

Personalabteilung verarbeitet Bewerbungen und Verträge

Hier liegen durchgängig personenbezogene Daten vor, teilweise mit besonderer Schutzwürdigkeit. Eine Übertragung an Dritte ist rechtlich aufwendig und intern schwer vermittelbar.

Empfehlung: lokal

Marketing erstellt Texte und Kampagnenentwürfe

Es werden keine sensiblen Daten verarbeitet, dafür zählt sprachliche Qualität. Der Leistungsvorsprung der Cloud-Spitzenmodelle wirkt sich hier unmittelbar auf das Ergebnis aus.

Empfehlung: Cloud

Entwicklungsteam nutzt KI beim Programmieren

Programmierunterstützung ist die Disziplin mit dem deutlichsten Abstand zugunsten der Cloud. Sofern der Quellcode kein Geschäftsgeheimnis mit existenzieller Bedeutung darstellt, überwiegt der Nutzen.

Empfehlung: Cloud mit klaren Regeln

Kundenservice beantwortet Anfragen mit Bezug zu Kundendaten

Klassischer Mischfall. Die Antwortlogik ist unkritisch, die Kundendaten sind es nicht. Eine saubere Trennung beider Ebenen ist technisch möglich und meist der bessere Weg als eine pauschale Entscheidung.

Empfehlung: hybrid

Interne Wissenssuche über Handbücher und Richtlinien

Der Inhalt ist unternehmensintern, aber selten personenbezogen. Die Aufgabe ist technisch anspruchslos und wird von offenen Modellen gut bewältigt.

Empfehlung: lokal

Erste Erprobung ohne festgelegten Anwendungsfall

Solange unklar ist, welche Anwendungsfälle tragen, ist eine Hardwareinvestition verfrüht. Erst messen, dann investieren.

Empfehlung: Cloud zum Start
Kapitel 06

Warum die meisten Unternehmen bei einer hybriden Architektur landen

Bei einer hybriden KI-Architektur laufen sensible Verarbeitungsschritte auf lokalen Modellen, während anspruchsvolle Aufgaben ohne schützenswerte Daten an Cloud-Modelle übergeben werden. Die Zuordnung erfolgt automatisch anhand definierter Regeln, nicht durch eine Entscheidung der Mitarbeitenden. Voraussetzung ist eine Vermittlungsschicht zwischen Ihren Anwendungen und den Modellen, die anhand von Datenklassifikation und Aufgabentyp entscheidet, welches Modell zum Einsatz kommt.

Dieser Aufbau hat einen zweiten, oft unterschätzten Vorteil: Er macht Sie unabhängig. Weil Ihre Anwendungen nicht direkt gegen die Schnittstelle eines einzelnen Anbieters gebaut sind, wird ein Anbieterwechsel oder ein Modellwechsel zur Konfigurationsänderung statt zum Neuentwicklungsprojekt.

Regelwerk statt Bauchgefühl

Welche Datenkategorie welchen Weg nimmt, wird einmal festgelegt und technisch durchgesetzt. Ihre Mitarbeitenden müssen die Entscheidung nicht bei jeder Anfrage neu treffen.

Austauschbarkeit als Grundprinzip

Eine Abstraktionsschicht zwischen Anwendung und Modell hält Sie handlungsfähig, wenn ein Anbieter Preise anhebt, ein Modell abkündigt oder ein besseres Angebot verfügbar wird.

Nachweisbarkeit gegenüber Prüfern

Jede Anfrage wird protokolliert: welches Modell, welche Datenkategorie, welcher Nutzer. Das ist die Grundlage für Auskunftsfähigkeit gegenüber Datenschutzbehörde und Wirtschaftsprüfung.

Kapitel 07

Datenschutz: was vor dem ersten produktiven Einsatz geklärt sein muss

AnforderungCloud-BetriebLokaler Betrieb
AuftragsverarbeitungsvertragZwingend erforderlich, vor dem ersten Einsatz abzuschließenEntfällt, da keine Datenweitergabe stattfindet
VerarbeitungsverzeichnisEintragung erforderlich, inklusive Zweck und EmpfängerEintragung erforderlich, Empfänger entfällt
DrittlandtransferBei US-Anbietern zu prüfen und zu dokumentierenNicht relevant
Trainingsnutzung Ihrer DatenVertraglich auszuschließen, im Geschäftskundentarif meist StandardTechnisch ausgeschlossen
BetroffenenrechteAuskunft und Löschung sind über den Anbieter zu gewährleistenVollständig in eigener Hand
Besondere DatenkategorienNur mit erhöhtem Prüfaufwand, häufig nicht empfehlenswertUnproblematisch bei sauberer Rechtevergabe
ProtokollierungEigene Protokollierung notwendig, Anbieterlogs genügen nichtVollständig selbst bestimmbar

Zur Einordnung: Diese Übersicht bildet den technischen und organisatorischen Rahmen ab, den wir in Projekten anwenden. Sie ersetzt keine Rechtsberatung. Die abschließende Bewertung Ihres konkreten Falls gehört in die Hände Ihres Datenschutzbeauftragten oder eines Fachanwalts. Wir arbeiten in Projekten regelmäßig direkt mit diesen Rollen zusammen.

Was häufiger entscheidet als Leistung

Ordnen Sie zuerst die Datenkategorie ein. Dann sprechen Sie über Modelle.

Diese Reihenfolge erspart Diskussionen, die sonst in jedem Projektschritt neu geführt werden.

Unsere Rolle in dieser Entscheidung

Wir haben beide Wege gebaut. Deshalb kennen wir die Rechnung dahinter.

Die Frage Cloud oder lokal lässt sich nicht am Reißbrett beantworten. Sie hängt an Ihren Datenkategorien, Ihrer bestehenden IT, Ihrem Nutzungsvolumen und daran, wer den Betrieb später verantwortet. Wir entwickeln seit 2010 Software und haben lokale Modellumgebungen ebenso in Betrieb genommen wie Cloud-Anbindungen an gewachsene Systemlandschaften. Diese Erfahrung ist der Grund, warum wir Ihnen sagen können, was ein Weg im dritten Jahr kostet und nicht nur im ersten Monat.

Bewertung vor Beschaffung

Wir messen erst Ihr tatsächliches Nutzungsvolumen und Ihre Datenkategorien, bevor über Hardware oder Verträge gesprochen wird. Eine Grafikkarte, die anschließend zu 15 Prozent ausgelastet ist, hilft niemandem.

Wir bauen die Vermittlungsschicht selbst

Die Abstraktion zwischen Ihren Anwendungen und den Modellen ist Softwareentwicklung, keine Konfiguration. Genau das ist unser Handwerk seit über 15 Jahren.

Betrieb mitgedacht

Wer aktualisiert das Modell, wer überwacht die Auslastung, wer reagiert bei Ausfall. Diese Fragen klären wir vor dem Projektstart und nicht im ersten Störungsfall.

Keine bösen Überraschungen

Wenn sich ein lokaler Betrieb für Ihren Fall nicht rechnet, sagen wir das, auch wenn ein Umsetzungsprojekt für uns das größere Geschäft wäre. Vertrauen ist die Grundlage jeder längeren Zusammenarbeit.

Erfolgreich unter anderem gearbeitet für
  • Vodafone
  • Carglass
  • Snipes
  • IronMaxx
  • Roland
  • Hussel
  • Sunpoint
  • WM Beautysystems AG
  • Fritz Berger
  • Zec Plus
  • Assistance Partner Services
Häufige Fragen

Fragen zu KI-Modellen, Cloud und Eigenbetrieb

Sind lokale KI-Modelle inzwischen so gut wie Cloud-Modelle?

Für die meisten betrieblichen Aufgaben ja. Zusammenfassen, Klassifizieren, Extrahieren von Angaben aus Dokumenten und das Beantworten von Fragen zu eigenen Inhalten beherrschen offene Modelle mittlerer Größe zuverlässig. Ein sichtbarer Abstand bleibt bei mehrstufigen Denkaufgaben, sehr langen Kontexten und anspruchsvoller Softwareentwicklung. Die Frage lautet daher nicht, welches Modell besser ist, sondern welches für Ihre konkrete Aufgabe ausreicht.

Was bedeutet Quantisierung und verliere ich dadurch Qualität?

Quantisierung reduziert die Genauigkeit, mit der die Modellparameter gespeichert werden, und verkleinert das Modell damit erheblich. In der im Unternehmenseinsatz üblichen vierstelligen Quantisierung ist der Qualitätsverlust für die meisten Aufgaben kaum wahrnehmbar, während der Speicherbedarf auf etwa ein Viertel sinkt. Erst bei stärkerer Komprimierung wird der Unterschied deutlich spürbar.

Können wir mit einem Cloud-Modell starten und später auf lokal wechseln?

Ja, und das ist häufig der wirtschaftlich sinnvollste Weg. Voraussetzung ist, dass Ihre Anwendungen von Beginn an über eine Abstraktionsschicht auf das Modell zugreifen und nicht direkt gegen die Schnittstelle eines Anbieters gebaut werden. Dann ist der Wechsel eine Konfigurationsänderung. Wird dieser Punkt am Anfang übersehen, wird der Wechsel später zum Neuentwicklungsprojekt.

Wie viele Mitarbeitende kann eine lokale Installation gleichzeitig bedienen?

Das hängt von Modellgröße und Hardware ab. Eine Serverkarte mit ausreichend Grafikspeicher bedient bei einem mittelgroßen Modell in der Praxis eine zweistellige Zahl gleichzeitiger Anfragen, ohne dass die Antwortzeit für Nutzer störend wird. Entscheidend ist nicht die Mitarbeiterzahl insgesamt, sondern wie viele tatsächlich zeitgleich anfragen. In der Regel liegt dieser Anteil deutlich unter zehn Prozent der Belegschaft.

Ist ein chinesisches Modell im Eigenbetrieb ein Sicherheitsrisiko?

Ein lokal betriebenes Modell hat keine Netzwerkverbindung nach außen und kann folglich keine Daten übertragen. Technisch besteht damit kein Abflussrisiko, unabhängig von der Herkunft. Was bleibt, sind mögliche Verzerrungen in den Antworten sowie die interne und kommunikative Dimension der Entscheidung. Wir empfehlen, den Punkt offen anzusprechen statt ihn zu umgehen, und die Modellauswahl im Zweifel am Anwendungsfall festzumachen.

Was passiert mit unseren Daten, wenn wir Cloud-Modelle nutzen?

Im Geschäftskundentarif der etablierten Anbieter werden Eingaben zur Beantwortung verarbeitet, für einen begrenzten Zeitraum zur Missbrauchserkennung vorgehalten und nicht für das Training weiterer Modelle verwendet. Dieser Ausschluss ist vertraglich zu vereinbaren und nicht in allen Tarifen automatisch enthalten. Bei kostenlosen Privatkundenzugängen gelten regelmäßig andere Bedingungen, weshalb deren Nutzung im betrieblichen Umfeld ohne klare Regelung problematisch ist.

Brauchen wir eigenes Personal für den Betrieb lokaler Modelle?

Nicht zwingend. Der laufende Aufwand einer eingerichteten Umgebung ist überschaubar und beschränkt sich im Wesentlichen auf Überwachung, gelegentliche Aktualisierungen und die Bewertung neuer Modelle. Viele unserer Kunden lassen diesen Teil dauerhaft bei uns oder kombinieren einen internen Verantwortlichen mit externer Rufbereitschaft. Was Sie in jedem Fall brauchen, ist eine benannte Person, die im Störungsfall entscheidet.

Lohnt sich Fine-Tuning eines eigenen Modells?

Seltener, als es in Verkaufsgesprächen dargestellt wird. Für unternehmensspezifisches Faktenwissen ist Retrieval Augmented Generation der bessere Weg, weil Inhalte jederzeit aktualisierbar bleiben und nachvollziehbar zitiert werden können. Fine-Tuning lohnt sich, wenn ein bestimmter Ton, ein festes Ausgabeformat oder ein sehr spezielles Fachvokabular zuverlässig getroffen werden muss. Beides schließt sich nicht aus.

KI-Modelle für Unternehmen: Cloud-Modelle und lokale Modelle im Vergleich

Die Auswahl des richtigen KI-Modells ist für Unternehmen keine technische Detailfrage, sondern eine Weichenstellung mit Wirkung auf Datenschutz, Kostenstruktur und Handlungsfreiheit der kommenden Jahre. Wer diese Entscheidung an den Anfang stellt und bewusst trifft, vermeidet Umbauten, die später erheblichen Aufwand verursachen. Wer sie aufschiebt, entscheidet sich in der Praxis meist unbeabsichtigt für den Weg, den einzelne Abteilungen ohnehin schon eingeschlagen haben, oft ohne vertragliche Grundlage und ohne Kenntnis der Geschäftsführung.

Cloud-Modelle sind der schnellste Einstieg in die Nutzung Künstlicher Intelligenz. Sie werden über die Schnittstelle eines Anbieters angesprochen, erfordern keine Investition in Hardware und stehen innerhalb weniger Stunden produktiv zur Verfügung. Die führenden Anbieter aus den USA sowie Mistral AI als europäische Alternative liefern Modelle, die bei anspruchsvollen Aufgaben derzeit das technisch Machbare markieren. Der Preis dafür ist strukturell: Ihre Eingaben verlassen das Unternehmen und werden bei einem Dritten verarbeitet. Das ist beherrschbar, verlangt aber einen Auftragsverarbeitungsvertrag, eine Eintragung im Verarbeitungsverzeichnis, eine bewusste Entscheidung über zulässige Datenkategorien und bei US-Anbietern eine dokumentierte Bewertung des Drittlandtransfers.

Offene Modelle haben den Abstand deutlich verkürzt

Lokale KI-Modelle drehen dieses Verhältnis um. Offene Modellfamilien wie Llama, die offenen Varianten von Mistral, Qwen oder DeepSeek dürfen heruntergeladen und vollständig im eigenen Netz betrieben werden. Damit verlassen keine Daten das Unternehmen, personenbezogene und geschäftskritische Inhalte sind unbedenklich verarbeitbar und die eingesetzte Version bleibt beliebig lange stabil. Dem stehen eine Anfangsinvestition in Hardware, laufender Betriebsaufwand und ein weiterhin sichtbarer Qualitätsabstand bei den anspruchsvollsten Aufgaben gegenüber. Für den überwiegenden Teil betrieblicher Anwendungsfälle, also Zusammenfassungen, Klassifikation, Datenextraktion aus Dokumenten und Fragen an interne Wissensbestände, ist dieser Abstand praktisch bedeutungslos geworden.

Der entscheidende technische Faktor beim lokalen Betrieb ist der Grafikspeicher. Als Faustregel benötigt ein komprimiertes Modell etwa 0,6 bis 0,8 Gigabyte je Milliarde Parameter zuzüglich Reserve für das Kontextfenster. Ein Modell mit sieben Milliarden Parametern läuft damit auf einer Workstation mit acht Gigabyte Grafikspeicher, ein Modell mit siebzig Milliarden Parametern benötigt rund achtundvierzig Gigabyte und damit eine Serverkarte oder zwei gekoppelte Karten. Diese Zahl bestimmt den Investitionsrahmen und sollte deshalb am tatsächlichen Anwendungsfall bemessen werden und nicht an der maximal verfügbaren Modellgröße.

Die Gesamtkosten liegen selten dort, wo man sie vermutet

Beim Kostenvergleich wird regelmäßig zu kurz gerechnet. Cloud-Nutzung wird nach verarbeiteten Token abgerechnet, lokaler Betrieb über eine einmalige Investition zuzüglich Strom und Betreuung. Rechnerisch erreichen beide Wege bei mittlerem Nutzungsvolumen nach etwa anderthalb bis drei Jahren Gleichstand. Entscheidender ist jedoch ein anderer Punkt: In beiden Varianten entfällt der überwiegende Teil der Gesamtkosten nicht auf das Modell, sondern auf Integration in bestehende Systeme, Datenaufbereitung, Rechtevergabe und Schulung. Ein Vergleich, der ausschließlich Tokenpreise gegen Hardwarepreise stellt, führt daher fast zwangsläufig zu einer falschen Schlussfolgerung.

In der Praxis landen die meisten Unternehmen bei einer hybriden Architektur. Sensible Verarbeitung läuft lokal, anspruchsvolle Aufgaben ohne schützenswerte Daten gehen an Cloud-Modelle, und die Zuordnung erfolgt regelbasiert über eine Vermittlungsschicht statt durch Einzelentscheidungen der Mitarbeitenden. Dieser Aufbau bringt neben der datenschutzrechtlichen Klarheit einen zweiten Vorteil: Weil Ihre Anwendungen nicht direkt an einen Anbieter gebunden sind, wird ein Modell- oder Anbieterwechsel zur Konfigurationsänderung. Angesichts eines Marktes, in dem Modelle im Monatsrhythmus erscheinen und abgekündigt werden, ist diese Unabhängigkeit betriebswirtschaftlich mehr wert als jeder kurzfristige Leistungsvorsprung.

Datenschutz entscheidet häufiger als Leistung

In der Beratungspraxis zeigt sich, dass die technische Leistungsfähigkeit selten den Ausschlag gibt. Deutlich häufiger entscheidet die Frage, welche Datenkategorien im Anwendungsfall tatsächlich anfallen. Wo Bewerbungsunterlagen, Personalakten, Gesundheitsdaten oder Vertragswerke mit Geschäftsgeheimnissen verarbeitet werden, ist der lokale Betrieb der klar einfachere Weg, weil ein erheblicher Teil des Prüf- und Dokumentationsaufwands schlicht entfällt. Wo dagegen öffentlich unkritische Inhalte bearbeitet werden, etwa Marketingtexte oder allgemeine Recherche, wäre eine Hardwareinvestition schwer zu begründen. Wir empfehlen deshalb, jeden Anwendungsfall zunächst nach Datenkategorie einzuordnen und erst danach über Modelle zu sprechen. Diese Reihenfolge erspart Diskussionen, die sonst in jedem Projektschritt neu geführt werden.

Ein weiterer Punkt, der in Entscheidungsvorlagen häufig fehlt, ist die Frage der Reproduzierbarkeit. Cloud-Modelle werden von den Anbietern fortlaufend weiterentwickelt, wodurch sich Ergebnisse bei identischer Eingabe über die Zeit verändern können. Für kreative Aufgaben ist das unerheblich. Wo KI jedoch in einen geprüften Prozess eingebunden ist, etwa in der Rechnungsprüfung oder in der Klassifikation von Vorgängen, wird ein stabiles Verhalten zur Anforderung. Lokale Modelle bieten hier einen Vorteil, der sich in keiner Leistungstabelle abbilden lässt: Die eingesetzte Version bleibt unverändert, solange Sie es wollen.

Unsere Einordnung als Entwickler

KI Brains begleitet Unternehmen bei genau dieser Entscheidung. Wir sind seit 2010 Softwareentwickler und haben über 500 Projekte umgesetzt, von mittelständischen Fachanwendungen bis zu Systemen im Konzernumfeld. Wir haben lokale Modellumgebungen aufgesetzt und betrieben, Cloud-Modelle an gewachsene ERP- und CRM-Landschaften angebunden und hybride Architekturen gebaut. Aus dieser Erfahrung heraus bewerten wir nicht, welches Modell im Vergleichstest vorn liegt, sondern welcher Aufbau in Ihrem Haus im dritten Jahr noch funktioniert und was er dann kostet. Wenn sich eine Eigenprojektlösung für Ihren Fall nicht rechnet, sagen wir Ihnen das, auch wenn ein Umsetzungsprojekt für uns das größere Geschäft wäre.

Vertiefend empfehlen wir die Übersicht der KI Wissensdatenbank, die Werkzeuge und Infrastruktur für den Betrieb sowie unsere Seiten zur KI Beratung und zur Prozessoptimierung. Konkrete Leistungen finden Sie unter Leistungen.

Nächster Schritt

Welcher Weg passt zu Ihrem Unternehmen?

In einem Gespräch von rund 45 Minuten klären wir, welche Datenkategorien bei Ihnen anfallen, welches Nutzungsvolumen realistisch ist und ob Cloud, lokal oder hybrid der richtige Aufbau für Sie ist. Mit klarer Empfehlung und ohne Verkaufsdruck.

Unverbindlich und kostenfrei. Antwort in der Regel innerhalb eines Werktags.