- In Untersuchungen enthielt KI-generierter Code in 44 bis 45 Prozent der Aufgaben eine riskante Schwachstelle; größere Modelle sind dabei kaum sicherer.
- Fünf Stellen verdienen einen zweiten Blick: Rechte, Eingaben, Abhängigkeiten, Geheimnisse und Konfiguration.
- Code-Prüfung durch erfahrene Entwickler und ein Penetrationstest vor dem Livegang machen das Tempo sicher.
Eine Anwendung beschreiben, statt sie Zeile für Zeile zu schreiben: Mit KI-Werkzeugen entstehen Portale, Schnittstellen, Erweiterungen und kleine Fachanwendungen heute in Tagen. Für dieses Vorgehen hat sich der Begriff Vibe Coding eingebürgert. Viele Unternehmen bauen so inzwischen selbst, oft außerhalb der IT-Abteilung.
Das ist ein echter Fortschritt. Er verschiebt aber die Frage, wann Software fertig ist. Dass eine Anwendung funktioniert, zeigt sich sofort. Wie sie sich gegenüber einem Angreifer verhält, zeigt sich erst bei einer gezielten Prüfung. Dieser Beitrag zeigt, was Untersuchungen über generierten Code sagen, an welchen Stellen nachgeprüft werden sollte und wie eine Prüfung vor dem Livegang aussieht.
Software entsteht heute im Gespräch
Beim Vibe Coding beschreibt man in natürlicher Sprache, was die Anwendung tun soll, und ein Sprachmodell schreibt den Code. Fragen, Korrekturen und neue Wünsche laufen im selben Gespräch. Das Ergebnis ist oft beeindruckend: Masken, Datenbank, Anmeldung und Schnittstelle stehen nach wenigen Stunden.
Das Modell optimiert dabei auf das, was im Gespräch sichtbar ist: Die Anwendung soll laufen und das Gewünschte tun. Sicherheit ist eine Eigenschaft, die man im Gespräch selten sieht. Sie entsteht durch bewusste Entscheidungen bei Rechten, Eingaben, Abhängigkeiten und Konfiguration. Genau diese Entscheidungen lohnt es sich nachzuprüfen. Die französische und die deutsche Cybersicherheitsbehörde, ANSSI und BSI, haben dazu bereits im Oktober 2024 gemeinsame Empfehlungen für KI-Programmierassistenten veröffentlicht.
Wie sicher ist Ihre selbst gebaute Anwendung aufgestellt?
Vier Fragen für eine erste Einordnung.
Ihre Antworten übernehmen wir in das Kontaktformular. Dort ergänzen Sie, was Ihnen wichtig ist. Das Erstgespräch ist kostenfrei.
Ergebnis besprechenWas Untersuchungen über generierten Code zeigen
Mehrere Untersuchungen haben generierten Code systematisch auf Sicherheit getestet. Die Ergebnisse sind bemerkenswert einheitlich:
| Untersuchung | Ergebnis |
|---|---|
| Veracode, GenAI Code Security Report 2025 (über 100 Modelle, 80 Aufgaben) | In 45 Prozent der Aufgaben enthielt der erzeugte Code eine Schwachstelle aus den OWASP Top 10. Gegen Cross-Site-Scripting war der Code in 86 Prozent der Fälle ungeschützt. |
| Veracode, Bericht 2026 | 44 Prozent der Aufgaben ergaben Code mit einer riskanten Schwachstelle; die Größe des Modells macht dabei kaum einen Unterschied. |
| Spracklen und andere, USENIX Security 2025 (16 Modelle, 576.000 Codeproben) | Mindestens 5,2 Prozent der vorgeschlagenen Pakete bei kommerziellen und 21,7 Prozent bei offenen Modellen existierten nicht; insgesamt 205.474 erfundene Paketnamen. |
| Nachuntersuchung mit Modellen von 2026 (Vorabveröffentlichung, November 2026) | 3,6 bis 5,0 Prozent der genannten Pakete sind erfunden; ein solcher Name wurde später mit Schadcode registriert. |
„Die Modelle schreiben immer zuverlässiger funktionierenden Code, bei der Sicherheit werden sie nicht besser.“
Zwei Befunde sind für die Praxis besonders wichtig. Erstens: Größere und neuere Modelle schreiben zwar besseren Code, aber nicht automatisch sichereren. Zweitens: Erfundene Paketnamen sind eine eigene Angriffsfläche. Registriert ein Angreifer einen solchen Namen, landet sein Code über die nächste Installation direkt in Ihrer Anwendung.
Fünf Stellen, an denen generierter Code nachgeprüft werden sollte
Aus den Untersuchungen und den OWASP Top 10, der bekanntesten Liste typischer Schwachstellen in Webanwendungen, ergeben sich fünf Stellen, an denen sich ein zweiter Blick immer lohnt:
- Rechte und Zugriffe. Darf jeder angemeldete Nutzer nur seine eigenen Daten sehen? Generierter Code prüft oft, ob jemand angemeldet ist, aber nicht, ob er genau diesen Datensatz sehen darf. Mangelhafte Zugriffskontrolle (Broken Access Control) steht in den OWASP Top 10 ganz oben.
- Eingaben und Ausgaben. Werden Eingaben geprüft, bevor sie in Datenbank, Protokoll oder Seite landen? Cross-Site-Scripting und Log Injection waren in der Veracode-Untersuchung die Schwachstellen, gegen die der Code am häufigsten ungeschützt war.
- Abhängigkeiten. Gibt es jedes eingebundene Paket wirklich, stammt es vom erwarteten Herausgeber, und ist die Version aktuell?
- Geheimnisse. Stehen Zugangsdaten, Schlüssel oder Passwörter im Code oder in Konfigurationsdateien, die mit ausgeliefert werden?
- Konfiguration. Laufen Testeinstellungen, ausführliche Meldungen für Entwickler oder offene Verwaltungszugänge im Livebetrieb weiter?
Baut die Anwendung zusätzlich ein Sprachmodell ein, etwa als Assistent oder Agent, kommen eigene Angriffswege hinzu, allen voran Prompt Injection. Wie sich KI-Systeme dagegen schützen lassen, beschreibt unser Baustein Sicherheit von KI-Systemen; worauf es bei den Rechten von Agenten ankommt, der Baustein KI-Agenten und MCP.
Generierten Code in fünf Schritten prüfen
Eine Prüfung muss nicht aufwendig sein, wenn sie zum festen Schritt vor jedem Livegang wird:
- Bestand aufnehmen. Welche Anwendungen sind mit KI-Werkzeugen entstanden, wer betreut sie, welche Daten verarbeiten sie? Gerade in Fachabteilungen entstehen Anwendungen, von denen die IT nichts weiß; mehr dazu in unserem Beitrag zur Schatten-KI.
- Abhängigkeiten prüfen. Jedes Paket gegen das offizielle Verzeichnis abgleichen, Herausgeber und Version kontrollieren, bekannte Lücken automatisiert suchen lassen.
- Code lesen lassen. Ein erfahrener Entwickler sieht sich Rechte, Eingaben, Geheimnisse und Konfiguration an. Automatisierte Prüfwerkzeuge helfen dabei, ersetzen den Blick auf die Logik aber nicht.
- Gezielt angreifen. Ein Penetrationstest prüft die laufende Anwendung so, wie es ein Angreifer tun würde, am besten auf einer Kopie des Livesystems.
- Beheben und nachtesten. Jeder Fund wird geschlossen und anschließend erneut geprüft. Bei größeren Änderungen wiederholt sich die Prüfung.
Ein Punkt verdient besondere Aufmerksamkeit: Wer den eigenen Quellcode zur Prüfung in ein Cloud-Werkzeug lädt, gibt ihn aus der Hand. Für vertraulichen Code empfiehlt sich eine Prüfung mit Modellen, die im eigenen Haus oder beim prüfenden Dienstleister laufen. Wie das aussieht, zeigt unsere Seite zur lokalen KI.
Für Hersteller von Software gilt eine Meldepflicht
Wer Software oder Geräte mit Software in der EU vertreibt, für den gilt seit dem 11. September 2026 eine Meldepflicht aus dem Cyber Resilience Act: Eine aktiv ausgenutzte Schwachstelle ist innerhalb von 24 Stunden als Frühwarnung zu melden. Ab Dezember 2027 gelten alle Pflichten des Gesetzes, einschließlich der Anforderungen an sichere Entwicklung. Für Hersteller wird eine Prüfung vor dem Livegang damit zum festen Bestandteil der Entwicklung.
Unsere Einschätzung
Vibe Coding macht Unternehmen schneller, und das ist ein großer Gewinn. Damit aus dem Tempo kein Risiko wird, braucht generierter Code dasselbe wie jeder andere: einen Blick von jemandem, der Software selbst baut, und einen gezielten Test vor dem Livegang. Die Untersuchungen zeigen, dass sich diese Aufgabe nicht mit dem nächsten, größeren Modell erledigt.
Genau hier setzen wir an. Wir entwickeln seit über 15 Jahren Software und prüfen selbst entwickelte Anwendungen, Shops und KI-Systeme auf eigenen KI-Servern in unserem Büro in Köln, sodass Ihr Code im Haus bleibt. Wie ein Sicherheitscheck oder Penetrationstest bei uns abläuft und was er kostet, steht auf der Seite Penetrationstest und Sicherheitscheck.
Quellen
- Veracode: AI-Generated Code Poses Major Security Risks in Nearly Half of All Development Tasks, Pressemitteilung vom 30. Juli 2025
- Veracode: GenAI Code Security Report 2026, Infografik
- Spracklen und andere: We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs, USENIX Security 2025
- Churilov: The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort, Vorabveröffentlichung vom 9. November 2026
- ANSSI und BSI: Security recommendations regarding AI programming assistants, 4. Oktober 2024
- OWASP: OWASP Top 10
- Verordnung (EU) 2024/2847 (Cyber Resilience Act), Artikel 14 und 71
Dieser Beitrag gibt den Stand der genannten Quellen vom 20. November 2026 wieder. Die Zahlen von Veracode sind Angaben des Herstellers; die Nachuntersuchung von 2026 ist noch nicht begutachtet.
Häufige Fragen
Was ist Vibe Coding?
Ein Vorgehen, bei dem man eine Anwendung in natürlicher Sprache beschreibt und ein Sprachmodell den Code schreibt. Korrekturen und neue Wünsche laufen im selben Gespräch. So entstehen Anwendungen in Tagen statt Monaten.
Ist KI-generierter Code unsicher?
Er ist nicht automatisch unsicher, enthält aber häufig Schwachstellen. In der Untersuchung von Veracode aus dem Jahr 2025 enthielt der Code in 45 Prozent der Aufgaben eine Schwachstelle aus den OWASP Top 10. Deshalb gehört eine Prüfung vor den Livegang.
Werden neuere Modelle sicherer?
Beim funktionierenden Code ja, bei der Sicherheit kaum. Laut Veracode schneiden größere Modelle bei der Sicherheit nicht deutlich besser ab als kleinere.
Was sind erfundene Pakete?
Sprachmodelle schlagen manchmal Softwarepakete vor, die es nicht gibt. Registriert ein Angreifer einen solchen Namen, gelangt sein Code bei der Installation in die Anwendung. Jedes Paket sollte deshalb gegen das offizielle Verzeichnis geprüft werden.
Wie lasse ich eine mit KI erstellte Anwendung prüfen?
Mit einer Code-Prüfung durch erfahrene Entwickler und einem Penetrationstest der laufenden Anwendung, am besten auf einer Kopie des Livesystems. Für vertraulichen Code empfiehlt sich eine Prüfung mit lokal betriebenen Modellen, damit der Code im Haus bleibt.