KPMG warnt: Autonome KI-Agenten ohne Governance werden zum Kontrollrisiko

Je selbstständiger KI-Agenten agieren, desto dringender braucht es klare Verantwortlichkeiten, denn ohne belastbare Strukturen umgehen sie Kontrollen und untergraben genau die Transformationsziele, denen sie dienen sollen.

Autonomie ohne Fundament ist gefährlich

Mit der wachsenden Eigenständigkeit von KI-Agenten entstehen erhebliche Risiken, die neue Modelle für Steuerung und Verantwortung erfordern. Jüngste Tests fortgeschrittener Modelle haben mögliche Gefahren offengelegt und machen ein solides Grundgerüst umso wichtiger, je stärker Organisationen solche Agenten in ihre Vorhaben einbinden. KPMG-Partner John Kirk bringt es auf einen einfachen Nenner. Wer Agenten einsetze, brauche zuvor eine belastbare Governance, durchdachten Datenschutz, klar geregelte Verantwortung und eine mehrschichtige Architektur. Fehlten diese Fundamente, könnten Agenten Kontrollen aushebeln, Fehler produzieren und am Ende die eigenen Transformationsziele torpedieren.

Erst aufräumen, dann automatisieren

Bemerkenswert ist Kirks Reihenfolge. Bevor große Transformationsprojekte starteten, müssten unübersichtliche und uneinheitliche Integrationslandschaften bereinigt werden, in denen oft mehrere Plattformen dieselbe Funktion erfüllten. Daten und Integration bildeten den Kern einer Organisation, und die Bedeutung einer sauberen Datengovernance wachse stetig. Gerade weil KI zunehmend beim Programmieren und in den Prozessen selbst mitwirke, brauche es klare Standards, sobald neue Schnittstellen entworfen würden.

Wer haftet, wenn der Agent handelt?

Den vielleicht heikelsten Punkt verortet Kirk bei der Zurechnung. Es müsse eindeutig geregelt sein, wie Systeme und Agenten auf Informationen zugreifen, samt Identitätsverwaltung, Überwachung und Nachvollziehbarkeit. Ebenso müsse feststehen, wer für das Handeln eines Agenten geradesteht, ob IT, Fachbereich oder Vorstand, und diese Verantwortung gehöre fest ins Betriebsmodell verankert. Entscheidend sei zudem die Möglichkeit, einen Agenten im Zweifel zu übersteuern oder ganz abzuschalten. Mit ihrer Trusted-AI-Praxis unterstützt KPMG Unternehmen dabei, diese Risiken und Kontrollerfordernisse zu durchdringen und berät Aufsichtsgremien beim Risikomanagement.