Sicherheitstests für AI und maschinelles Lernen

Ihr AI-Stack hat Angriffsflächen, die Ihr Sicherheitsteam noch nie geprüft hat.

Jede Integration eines Large Language Models, jede GenAI-gestützte Anwendung, jede Pipeline autonomer Agenten und jede MLSecOps-Umgebung, die Sie bereitstellen, führt eine neue Klasse von Schwachstellen ein – eine Klasse, die auf herkömmlichen Checklisten für Penetrationstests nicht vorkommt und die die meisten Teams für offensive Sicherheit nicht beurteilen können.

Evaluris führt adversarielle Sicherheitstests von AI-Systemen, LLM-integrierten Anwendungen und ML-Infrastruktur durch, ausgerichtet auf die OWASP Top 10 for LLM Applications, die OWASP ML Security Top 10 und die MITRE-ATLAS-Bedrohungsmatrix für adversarielles maschinelles Lernen. Unsere Operatoren haben originäre Forschung zu System-Prompt-Poisoning, autonomen APT-Frameworks und AI-gesteuerter Angriffsorchestrierung veröffentlicht und wenden dieses Wissen in jedem Auftrag unmittelbar an.

Kontext

Die Lücke in der AI-Sicherheit 2026

Organisationen stellen AI schneller bereit, als Sicherheitsteams sie bewerten können. LLM-integrierte Kundensupportsysteme, AI-gestützte Sicherheitstools, autonome Agenten mit Zugriff auf interne Datenbanken und APIs sowie GenAI-Pipelines zur Dokumentenverarbeitung laufen bereits produktiv – und praktisch keines davon wurde von einem Angreifer geprüft, der versteht, wie sich diese Systeme manipulieren lassen.

Die OWASP Top 10 for LLM Applications existiert, weil diese Schwachstellen real, durchgängig ausnutzbar und durchgängig übersehen werden von allgemeinen Penetrationstestern, die AI-Systeme mit der Methodik von Webanwendungen angehen. Prompt Injection ist kein Konfigurationsproblem. Modelextraktion ist keine theoretische Sorge. Missbrauch agentischer Tools ist kein Risiko der Zukunft: Es geschieht heute in Produktionsumgebungen.

Evaluris-Operatoren haben gegenüber Behörden offengelegte Forschung zu AI-orchestrierten Angriffen und autonomen APT-Frameworks veröffentlicht. Das ist kein akademisches Wissen, das auf ein neues Problem angewendet wird. Es ist Praxisexpertise, entwickelt an der Frontlinie adversarieller AI-Forschung.

Ansatz

Methodik

1

Architekturprüfung des AI-Systems

Modellidentifikation und Versionsanalyse, Prüfung der Bereitstellungskonfiguration, Abbildung von APIs und Integrationen, Analyse der Datenflüsse durch den AI-Stack sowie Identifikation der Vertrauensgrenzen zwischen AI-Komponenten und nachgelagerten Systemen.

2

Tests auf Prompt Injection

Direkte Prompt Injection gegen Systemanweisungen, indirekte Prompt Injection über externe Datenquellen (RAG-Pipelines, Webbrowsing, Dokumentenverarbeitung), Aufbau mehrstufiger Jailbreak-Ketten und Manipulation des Kontextfensters.

3

Bewertung von Schutzausrichtung und Leitplanken

Systematische Bewertung von Inhaltsfiltern und Kontrollen zur Schutzausrichtung. Tests gegen bekannte und neuartige Umgehungstechniken. Prüfung, ob Schutzkontrollen gegenüber adaptiven adversariellen Strategien robust sind oder bei geringfügigen Umformulierungen brüchig werden.

4

Tests agentischer Pipelines

Missbrauch von Tool-Aufrufen und Auslösen unautorisierter Aktionen, Zielentführung durch Umgebungsmanipulation, Memory-Vergiftung in persistenten Agentenarchitekturen, Ausnutzung des Vertrauens zwischen Agenten in Multi-Agenten-Systemen sowie Rechteausweitung über die Kommunikation von Agent zu Agent.

5

Modelextraktion und Inferenzangriffe

Extraktion von System-Prompts, Fingerprinting und Versionsidentifikation von Modellen, Inferenz der Trainingsdatenzugehörigkeit sowie Versuche zur Modellinversion gegen feinabgestimmte Bereitstellungen.

6

ML-Infrastruktur und Lieferkette

Integrität der Trainingspipeline, Analyse der Oberfläche für Dataset Poisoning, Zugriffskontrolle des Modellregisters, Sicherheit von MLflow und Modellverwaltungsplattformen, Risikobewertung von Abhängigkeiten und der Lieferkette sowie CI/CD-Pipelinesicherheit für Workflows zur Modellbereitstellung.

7

Tests AI-integrierter Anwendungen

Sicherheitsbewertung der umgebenden Anwendungsinfrastruktur: API-Authentifizierung und -Autorisierung, Ratenbegrenzung und Missbrauchsprävention, Verarbeitung von Ausgaben und Einschleusung in nachgelagerte Systeme sowie Abfluss sensibler Daten über Modellantworten.

Umfang

Was wir testen

  • LLM-integrierte Web- und Unternehmensanwendungen
  • Individuell feinabgestimmte Modellbereitstellungen
  • RAG-Pipelines (Retrieval-Augmented Generation)
  • Autonome AI-Agenten mit Tool-Zugriff
  • Multi-Agenten-Orchestrierungssysteme (LangChain, AutoGen, CrewAI, Eigenentwicklung)
  • AI-gestützte Sicherheitstools (SIEM-Copiloten, SOC-Automatisierung, Threat-Intelligence-Plattformen)
  • MLSecOps-Pipelines und Infrastruktur für das Modelltraining
  • Infrastruktur zum Ausliefern von Modellen (API-Endpunkte, Inferenzserver)
  • GenAI-Workflows zur Verarbeitung von Dokumenten und Daten
Regulatorisch

Ausrichtung an der Compliance

FrameworkAnforderung
OWASP Top 10 for LLM ApplicationsVollständige Abdeckung aller 10 Kategorien
OWASP ML Security Top 10Abdeckung ML-spezifischer Schwachstellen
MITRE ATLASAbdeckung der Bedrohungsmatrix für adversarielles maschinelles Lernen
ISO 42001:2023Sicherheitsanforderungen an das AI-Managementsystem
EU AI ActPflichten zu Sicherheitstests für Hochrisiko-AI-Systeme
NIST AI RMFAI-Risikomanagementrahmen, GOVERN, MAP, MEASURE, MANAGE
Ergebnisse

Liefergegenstände

  • Karte der AI-Angriffsfläche, vollständiges Inventar der AI-Komponenten, Datenflüsse, Vertrauensgrenzen und Integrationspunkte
  • Nachweisbericht zu Prompt Injection, dokumentierte Injektionsketten mit Reproduktionsschritten und Wirkungsbewertung
  • Risikobewertung agentischer Pipelines, Szenarien zum Tool-Missbrauch, Pfade zur Zielentführung und Feststellungen zur Rechteausweitung
  • Abdeckungsbericht OWASP LLM Top 10, Testdeckung und Feststellungen, abgebildet auf jede OWASP-LLM-Kategorie
  • MITRE-ATLAS-Abbildung, Feststellungen zugeordnet zu Identifikatoren adversarieller ML-Taktiken und -Techniken
  • Zusammenfassung für die Geschäftsleitung, Narrative zum AI-Sicherheitsrisiko für Führung und Aufsichtsrat
  • Technischer Bericht, vollständige Nachweise, Reproduktionsschritte und Behebungsleitlinien
  • Nachtestfenster, Verifikation nach der Behebung

Bereit, den Umfang dieses Auftrags festzulegen?

Beschreiben Sie Ihre Umgebung, regulatorische Treiber und den Zeitplan. Wir stimmen Methodik, Umfang und Nachweisanforderungen ab, bevor die Tests beginnen.