Mit drei innovativen Ansätzen für die Absicherung von KI-Systemen startet die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) die dritte Phase ihres Forschungsprogramms „Robustes und Sicheres Maschinelles Lernen“. Ziel ist die Entwicklung von Werkzeugen, Anwendungen und Konzepten, die selbst unter feindseligen Bedingungen Sicherheit garantieren können. Die Forschung konzentriert sich auf Anwendungen in kritischen Infrastrukturen, Lagezentren und OSINT und fokussiert im ersten Schritt auf die Absicherung der Datengrundlage neuronaler KI-Systeme.
Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) leitet die dritte Phase ihres Forschungswettbewerbs „Robustes und Sicheres Maschinelles Lernen“ (RSML) ein. Von Dezember 2024 bis November 2025 werden drei ausgewählte Forschungsteams innovative Ansätze zur Sicherung und Robustheit maschineller Lernsysteme erforschen und umsetzen. Für die Phasen 2 bis 5 hat die Cyberagentur ein Budget von insgesamt 25 Millionen Euro bereitgestellt. Eine abschließende Phase 6, die in etwa drei Jahren starten soll, wird an das Forschungsteam mit der innovativsten Forschungsleistung in den Phasen 3-5 und dem überzeugendsten Angebot für Phase 6 vergeben.
„Mit der dritten Phase von RSML starten wir in die Erforschung bahnbrechender Technologien, die nicht nur theoretische Grundlagen schaffen, sondern auch praktische Lösungen für die Sicherheitsbedarfe von morgen liefern können“, erklärt Dr. Daniel Gille, Projektleiter und Referatsleiter für Künstliche Intelligenz bei der Cyberagentur. „Unsere Forschungsteams arbeiten ab sofort an datenzentrischen Lösungen, die Sicherheit und Resilienz in hochsensiblen Anwendungsbereichen wie Lagezentren und kritischen Netzwerkinfrastrukturen sicherstellen sollen.“
Die drei Konsortien widmen sich dabei den folgenden Ansätzen:
1. Modulares Toolkit mit End-to-End-Bewertungsworkflows: Entwicklung neuer Metriken und Tools für die geleitete Entwicklung abgesicherter ML-Systeme.
2. Hybride KI-gestützte Red/Blue-Team-Agenten: Diese Agenten sollen schutzbedürftige Systeme sowie die zugehörigen Sicherungs-KIs wechselseitig testen und absichern.
3. Holistisches Framework für sichere ML-Anwendungen: Ein umfassendes Verifikationssystem mit Bedrohungsmodellierung und einem „RSML Operations Center“ als zentrale Schnittstelle.
„Die Entwicklung und Integration hochgradig verlässlicher KI-Systeme ist eine der größten Herausforderungen unserer Zeit. Gerade in sicherheitskritischen Anwendungen müssen diese Systeme nicht nur zuverlässig, sondern auch nachweisbar manipulationssicher sein“, betont Dr. Gille. „Mit den Ansätzen der dritten Phase richten wir den Fokus auf Daten, die das Fundament aller Deep Learning-Anwendungen sind, darunter Large Language Models und Bildklassifikationssysteme. Oft sind die zum Training verwendeten Daten unvollständig, nicht repräsentativ, schlecht gelabelt oder gar manipuliert. Das ist die Wurzel vieler nachgelagerter Sicherheits- und Verlässlichkeitsprobleme, für die wir Lösungen finden wollen.“
Das Forschungsprogramm RSML verfolgt einen einzigartigen Ansatz, indem es Forschung und Entwicklung über mehrere Phasen hinweg wettbewerbsorientiert finanziert. Die Ergebnisse sollen nicht nur die wissenschaftliche Basis erweitern, sondern auch prototypische Anwendungen hervorbringen, die in realistischen Testumgebungen evaluiert werden.
https://www.cyberagentur.de/rsml/
Bild: Dr. Daniel Gille, Projektleiter und Referatsleiter für Künstliche Intelligenz bei der Cyberagentur. ©Andreas Stedtler Cyberagentur
Quelle: Agentur für Innovation in der Cybersicherheit GmbH
