KI-Infrastruktur und Werkzeuge
Vom Modell zur produktiven Anwendung

KI-Tools und Infrastruktur: die Werkzeuglandschaft für den Unternehmenseinsatz

Die Diskussion über Künstliche Intelligenz in Unternehmen dreht sich meist um Modelle. Für die praktische Umsetzung ist das jedoch nur eine von mehreren Entscheidungen. Wie viel Nutzen ein KI-Vorhaben stiftet, entscheidet sich an der Infrastruktur darum herum: an der Software, die das Modell betreibt, an der Aufbereitung Ihrer eigenen Inhalte, an der Oberfläche für Ihre Mitarbeitenden und vor allem an der Anbindung an die Systeme, in denen Ihr Tagesgeschäft tatsächlich stattfindet.

Die Ausführungsschicht bildet das Fundament. Sie lädt das Modell in den Grafikspeicher und stellt eine Schnittstelle bereit. Ollama hat sich hier als pragmatischer Standard etabliert, weil die Inbetriebnahme wenige Minuten dauert und praktisch jedes weitere Werkzeug damit umgehen kann. LM Studio richtet sich an den einzelnen Arbeitsplatz und eignet sich hervorragend, um verschiedene Modelle an echten Aufgaben zu vergleichen, bevor eine Beschaffungsentscheidung fällt. vLLM ist die Antwort auf hohen Durchsatz und viele gleichzeitige Nutzer und verlangt Erfahrung mit Serverbetrieb. Weil alle drei eine kompatible Schnittstelle bereitstellen, ist ein späterer Wechsel einfach. Diese Austauschbarkeit ist einer der Gründe, warum wir Unternehmen raten, mit dem einfachsten Werkzeug zu beginnen.

Die Wissensschicht entscheidet über die Antwortqualität

Ihr Unternehmenswissen erhält ein Modell über Ihre eigenen Inhalte. Damit es Fragen zu Handbüchern, Verträgen, Richtlinien oder Produktdaten beantworten kann, braucht es Zugriff auf diese Inhalte. Umgesetzt wird das über Retrieval Augmented Generation: Vor der Antwort wird gezielt in Ihren Dokumenten gesucht und der gefundene Abschnitt als Kontext mitgegeben. Technisch stützt sich das auf eine Vektordatenbank, in der Ihre Inhalte inhaltlich durchsuchbar abgelegt sind. Qdrant hat sich hier bewährt, ebenso die Vektorerweiterung von PostgreSQL, wenn eine solche Datenbank ohnehin im Haus betrieben wird. Der eigentliche Aufwand liegt in der Aufbereitung: Gescannte Unterlagen, uneinheitliche Formate und gewachsene Ablagen müssen strukturiert werden, damit eine Suche darauf brauchbare Ergebnisse liefert. Deshalb gehört dieser Punkt von Beginn an in die Projektplanung.

Ebenso wichtig ist die Rechtevergabe. Jede Person sieht genau die Dokumente, für die sie berechtigt ist, und diese Prüfung greift bereits im Suchschritt. So liest das Modell ausschließlich freigegebene Inhalte und gibt nur diese in seiner Antwort wieder. Gerade weil dieser Punkt im Alltag unsichtbar bleibt, verdient er in der Planung besondere Sorgfalt.

Automatisierung erzeugt den messbaren Nutzen

Im Chatfenster ist KI eine wertvolle Assistenz. Ihren vollen wirtschaftlichen Beitrag entfaltet sie durch die Anbindung an ERP, CRM, Postfach, Ticketsystem und Dateiablage. Automatisierungsplattformen leisten genau das. n8n ist für den Mittelstand unsere Standardempfehlung, weil es vollständig im eigenen Netz betrieben werden kann und damit weder Prozess- noch Zugangsdaten das Haus verlassen. Make bietet einen komfortablen Einstieg ohne eigenen Betrieb und verarbeitet die Daten auf Anbieterseite. Zapier hat die größte Auswahl fertiger Anbindungen und ist bei einfachen Verkettungen kaum zu schlagen; für verzweigte Ablauflogik eignen sich die anderen beiden besser.

KI-Agenten schließlich sind das derzeit am meisten diskutierte Feld. Sie zerlegen Aufgaben selbstständig in Schritte und rufen dafür Werkzeuge auf. Das funktioniert bei klar abgegrenzten Aufgaben mit wenigen Schritten gut. Lange, offene Abläufe erhalten Zwischenkontrollen, weil sich Fehler über die Schritte fortpflanzen. Für den produktiven Einsatz gelten deshalb vier Regeln: enge Aufgabengrenzen, Werkzeugrechte nach dem Prinzip der geringsten Berechtigung, lückenlose Protokollierung und eine menschliche Freigabe vor jeder Handlung mit Außenwirkung.

Die Zugangsschicht ist eine Sicherheitsfrage

Ein Punkt verdient in jeder Projektplanung besondere Aufmerksamkeit: Mitarbeitende wollen KI nutzen, und ein kontrollierter Zugang lenkt diesen Wunsch in sichere Bahnen. Frei verfügbare Dienste sind einen Klick entfernt; mit einem eigenen Angebot laufen Angebote, Kundenschreiben und interne Unterlagen über eine vertraglich abgesicherte Umgebung mit Wissen der Geschäftsführung. Eine eigene Oberfläche wie Open WebUI oder BionicGPT überzeugt durch ein besseres Angebot: Wer intern ein Werkzeug hat, das schnell erreichbar ist, die Unternehmensdokumente kennt und ohne Anmeldung bei Dritten funktioniert, arbeitet gern damit. Die Zugangsschicht ist damit ebenso eine Komfortentscheidung wie die wirksamste Einzelmaßnahme für die Kontrolle über Ihre Daten.

Wo Standardwerkzeuge tragen und Entwicklung ergänzt

Alle genannten Werkzeuge sind ausgereift und ersparen erheblichen Aufwand. Die Verbindung zu Ihren Prozessen, Ihrer Datenstruktur und Ihrer Rechtevergabe entsteht durch Entwicklungsarbeit, und genau hier liegt in der Praxis der Schritt, der ein Vorhaben voranbringt. KI Brains entwickelt seit 2010 Software und hat über 700 Projekte umgesetzt. Wir setzen quelloffene Werkzeuge ein, wo sie tragen, und entwickeln dort, wo Ihr Bedarf weitergeht, von der Anbindung gewachsener Fachsysteme über die Weitergabe von Rechten aus dem Verzeichnisdienst bis zur nachvollziehbaren Fehlerbehandlung. Und wenn ein Anwendungsfall mit einer Standardplattform vollständig abgedeckt ist, empfehlen wir Ihnen genau diese.

Weiterführend empfehlen wir die Übersicht der KI Wissensdatenbank, den Vergleich der KI-Modelle für Cloud und lokalen Betrieb sowie unsere Seiten zur KI Beratung, zur Prozessoptimierung und zu unseren Leistungen.