Markus Ehrenmann, CTO Open Systems, im Interview

von Patrick Gunti

Wie viel Entscheidungsfreiheit darf künstliche Intelligenz erhalten? Während führende Köpfe der Branche vor den Risiken immer leistungsfähigerer Systeme warnen, arbeitet Open Systems bereits mit spezialisierten KI-Agenten für Netzwerk und Cybersicherheit. CTO Markus Ehrenmann erklärt im Interview, weshalb Autonomie kein Alles-oder-nichts-Prinzip ist, wie die KI-Operatorin Lucy Kunden im Alltag unterstützt und was das Unternehmen unter «Autonomous SASE» versteht. Entscheidend seien klar begrenzte Handlungsspielräume, überprüfbare und reversible Aktionen sowie eine lückenlose Protokollierung. Denn Verantwortung, so Ehrenmann, lasse sich nicht an einen Algorithmus delegieren.

Moneycab.com: Herr Ehrenmann, Anthropic-Chef Dario Amodei hat jüngst dazu aufgerufen, die Entwicklung besonders leistungsfähiger KI-Systeme zu verlangsamen und zu regulieren und hat dabei die Unterstützung von Sam Altman oder auch Elon Musk, was für sich schon sehr erstaunlich ist. Teilen Sie die Sorgen der KI-Chefs – oder vermischen sich derzeit reale Risiken, Zukunftsszenarien und Börsenpsychologie?

Markus Ehrenmann: Wir sollten reale Risiken ernst nehmen, ohne heutige Risiken und mögliche zukünftige Entwicklungen gleichzusetzen. Ein Thema, das dabei zunehmend diskutiert wird, ist die sogenannte «Recursive Self-Optimization»: KI-Systeme könnten künftig in der Lage sein, ihre eigene Leistungsfähigkeit zunehmend selbständig zu verbessern. Wie weit und wie schnell sich solche Mechanismen entwickeln werden, ist schwer vorherzusagen.

Deshalb halte ich auch einen klaren regulatorischen Rahmen für sinnvoll. Gerade in Europa haben wir mit dem EU AI Act einen Ansatz, der Anforderungen nach dem jeweiligen Risiko eines Systems differenziert. Regulierung sollte Innovation ermöglichen, aber dort klare Grenzen setzen, wo KI-Systeme weitreichende Entscheidungen treffen oder selbständig handeln können.

Gleichzeitig sehen wir bereits heute sehr konkrete Risiken: KI-Systeme können Fehler machen, falsche Schlussfolgerungen ziehen oder Aktionen empfehlen, deren Konsequenzen nicht ausreichend geprüft wurden. Je mehr Verantwortung wir ihnen übertragen, desto wichtiger werden deshalb klare Leitplanken, Transparenz und Verantwortlichkeit.

Für mich ist die entscheidende Frage deshalb weniger, wie intelligent KI irgendwann sein könnte, sondern welche Entscheidungen wir ihr heute unter welchen Bedingungen überlassen. Guardrails first, autonomy second.

Der Begriff «autonome KI» wird sehr schnell verwendet. Wann handelt eine KI aus technischer Sicht tatsächlich autonom?

Autonomie beginnt dort, wo ein System nicht nur analysiert oder empfiehlt, sondern selbständig eine Entscheidung trifft und daraus eine Aktion ableitet. Dabei ist Autonomie kein binärer Zustand. Ein System kann selbständig Daten analysieren und eine Lösung vorbereiten, für deren Umsetzung aber eine menschliche Freigabe benötigen. Oder es darf klar definierte und reversible Aktionen selbst ausführen, während weitreichende Veränderungen weiterhin einem Menschen vorbehalten bleiben. Deshalb sprechen wir von «bounded autonomy»: Das System erhält Handlungsspielraum, aber innerhalb klar definierter Grenzen.

Amodei warnt davor, dass ganze Schwärme von KI-Agenten schon innerhalb relativ kurzer Zeit hochkomplexe Aufgaben weitgehend selbständig erledigen könnten. KI-Modelle würden sich so schnell entwickeln, dass die Unternehmen nicht mehr in der Lage seien, ausreichende Schutzmechanismen einzubauen. Wie realistisch ist ein solches Szenario aus Ihrer Sicht?

Dass mehrere spezialisierte Agenten gemeinsam komplexe Aufgaben bearbeiten, ist keine Zukunftsmusik. Multi-Agent-Systeme entstehen bereits heute. Daraus folgt aber nicht automatisch, dass diese Agenten unkontrolliert handeln.

Wir können technisch festlegen, auf welche Daten ein Agent zugreifen darf, welche Systeme er verändern kann, welche Aktionen eine Freigabe benötigen und welche grundsätzlich ausgeschlossen sind. Solche Schutzmechanismen müssen Teil der Architektur sein und dürfen nicht erst nachträglich ergänzt werden. Das Risiko liegt deshalb aus meiner Sicht weniger in der Zahl der Agenten als darin, wie klar ihre Kompetenzen, Zugriffsrechte und Verantwortlichkeiten definiert sind.

«Wir können technisch festlegen, auf welche Daten ein Agent zugreifen darf, welche Systeme er verändern kann, welche Aktionen eine Freigabe benötigen und welche grundsätzlich ausgeschlossen sind. Solche Schutzmechanismen müssen Teil der Architektur sein und dürfen nicht erst nachträglich ergänzt werden.»
Markus Ehrenmann, CTO Open Systems

Gibt es KI-Systeme, deren Verhalten selbst ihre Entwickler nicht mehr in jedem Einzelfall zuverlässig vorhersagen können – und ab welchem Punkt wird die Unvorhersehbarkeit zum Sicherheitsproblem?

Unvorhersehbares Verhalten komplexer Systeme ist kein völlig neues Phänomen. Bei modernen probabilistischen KI-Modellen gewinnt es aber eine neue Dimension, weil sich nicht für jede Eingabe deterministisch vorhersagen lässt, welche Antwort entstehen wird. Das ist zunächst eine Eigenschaft der Technologie und nicht automatisch ein Sicherheitsproblem. Zum Sicherheitsproblem wird es, wenn diese Unsicherheit unmittelbar in irreversible oder weitreichende Aktionen übersetzt werden kann. Deshalb muss man bei autonomen Systemen nicht nur das Modell betrachten, sondern vor allem dessen Handlungsspielraum.

Ein Agent kann beispielsweise einen Lösungsweg vorschlagen oder eine Änderung zunächst in einem Digital Twin simulieren. Bevor eine kritische Konfiguration tatsächlich verändert wird, greifen zusätzliche Kontrollen. Mechanismen wie Simulationen, Freigabegrenzen, Rollbacks und Audit-Logging sind deshalb mindestens genauso wichtig wie die Leistungsfähigkeit des zugrunde liegenden Modells.

Open Systems stellt KI ins Zentrum der Entwicklung und des Betriebs seiner Plattform. Herzstück ist die Open Systems AI Matrix. Können Sie uns diese näher erläutern?

Die Grundidee ist Spezialisierung. Statt einer generischen KI für alles setzen wir auf spezialisierte Agenten für unterschiedliche Aufgaben in Netzwerk und Security. Lucy ist unsere zentrale KI-Operatorin und die Schnittstelle zum Nutzer. Eine Anfrage an Lucy kann im Hintergrund an verschiedene Spezialisten gehen, beispielsweise für die Analyse von Netzwerkverkehr, Policies oder Security-Ereignissen. Lucy orchestriert diese Agenten und führt ihre Ergebnisse wieder zusammen.

Der entscheidende Punkt ist aber, welches Wissen wir diesen Agenten mitgeben können. Open Systems betreibt seit 35 Jahren hochkritische Netzwerk- und Security-Infrastrukturen. In dieser Zeit ist enormes operatives Wissen entstanden: aus Incidents, Support-Fällen, Playbooks, Lösungswegen und Millionen operativer Entscheidungen. Dieses Wissen können wir heute für unsere KI nutzbar machen.

Dabei geht es ausdrücklich nicht darum, ein Modell unkontrolliert mit den Rohdaten unserer Kunden zu trainieren. Wir nutzen unser eigenes, über Jahrzehnte aufgebautes operatives Know-how und kombinieren es mit den jeweils autorisierten und isolierten Daten eines Kunden. Das ist für mich ein wesentlicher Unterschied zu einer generischen KI.

«Wir nutzen unser eigenes, über Jahrzehnte aufgebautes operatives Know-how und kombinieren es mit den jeweils autorisierten und isolierten Daten eines Kunden.»

Welche Aufgaben können diese Agenten heute bereits selbständig erledigen – und welche ausdrücklich noch nicht?

Lucy ist bereits heute produktiv im Einsatz und wurde innerhalb weniger Monate von mehr als 60 Prozent unserer Kunden genutzt. Sie kann Fragen in natürlicher Sprache verstehen, Netzwerk- und Security-Probleme analysieren, Konfigurationen und Policies erklären und bei der Fehlersuche unterstützen. Statt zunächst ein Support-Ticket zu eröffnen und auf einen Engineer zu warten, erhält der Kunde unmittelbar eine erste qualifizierte Analyse. Wo menschliche Expertise notwendig ist, kann der Fall mit deutlich mehr Kontext eskaliert werden.

Der nächste Schritt besteht darin, von Analyse und Empfehlung zunehmend in Richtung Aktion zu gehen. Unser Nordstern ist dabei, Menschen von möglichst vielen operativen Routineaufgaben zu entlasten. Aber wir gehen bewusst schrittweise vor. Wir erweitern den Handlungsspielraum unserer Agenten nur dort, wo wir die Auswirkungen verstehen, kontrollieren und gegebenenfalls rückgängig machen können. Autonomie ist für uns kein Selbstzweck – entscheidend ist, dass jeder Schritt einen konkreten Nutzen bringt und sicher beherrschbar bleibt.

Open Systems spricht inzwischen von «Autonomous SASE». Was ist darunter zu verstehen?

Traditionelles SASE integriert Netzwerk- und Security-Funktionen auf einer gemeinsamen Plattform. Autonomous SASE ergänzt diese Plattform um eine Intelligence- und Operations-Ebene, die den laufenden Betrieb zunehmend selbständig unterstützen kann.

Unser Ziel ist, Menschen von immer mehr operativen Routineaufgaben zu entlasten. Dorthin gehen wir bewusst schrittweise: Wir erweitern den Handlungsspielraum unserer Agenten nur dort, wo wir die Auswirkungen verstehen, kontrollieren und gegebenenfalls rückgängig machen können. Autonomous SASE bedeutet für uns deshalb nicht ‹die Maschine übernimmt›, sondern kontrollierte Autonomie mit menschlicher Expertise und klarer Verantwortung.

«Wir erweitern den Handlungsspielraum unserer Agenten nur dort, wo wir die Auswirkungen verstehen, kontrollieren und gegebenenfalls rückgängig machen können.»

Sie haben in einem Bericht geschrieben, dass das klassische «Human-in-the-Loop»-Prinzip an Grenzen stösst, weil Menschen irgendwann dazu neigen können, KI-Vorschläge nur noch abzunicken. Wie muss menschliche Kontrolle stattdessen organisiert werden?

Ein Mensch, der hundertmal hintereinander auf «Approve» klickt, ist technisch gesehen im Loop, aber das ist noch keine wirksame Kontrolle. Der Autor Cory Doctorow bezeichnet eine solche Konstellation als ‹Reverse Centaur›: Statt dass die Maschine den Menschen unterstützt, kehrt sich das Verhältnis um. Die KI gibt Entscheidungen und Tempo vor, während der Mensch sie im Wesentlichen nur noch bestätigt oder ausführt.

Wir müssen deshalb weg von der Vorstellung, dass menschliche Kontrolle bedeutet, jede einzelne Maschinenentscheidung manuell zu bestätigen. Menschen sollten vielmehr den Entscheidungsraum definieren: Was darf das System selbst entscheiden? Welche Schwellenwerte gelten? Welche Aktionen müssen eskaliert werden? Und wo ist eine menschliche Entscheidung zwingend? Der Mensch kontrolliert also zunehmend die Regeln und Grenzen, innerhalb derer die KI handelt. Bei kritischen Entscheidungen muss er weiterhin tatsächlich entscheiden können und die Verantwortung übernehmen.

«Wir müssen weg von der Vorstellung, dass menschliche Kontrolle bedeutet, jede einzelne Maschinenentscheidung manuell zu bestätigen. Menschen sollten vielmehr den Entscheidungsraum definieren.»

Open Systems hält bei kritischen Entscheidungen ausdrücklich an der Verantwortung menschlicher Experten fest. Wie verhindert man aber, dass dieser Mensch am Ende nur noch formal verantwortlich ist für Entscheidungen, die faktisch von einer Maschine vorbereitet und geprägt wurden?

Indem man dem Menschen eine echte Entscheidung ermöglicht. Dazu braucht er Kontext, Alternativen und nachvollziehbare Informationen darüber, wie die KI zu ihrer Empfehlung gekommen ist.
Wenn ein System nur sagt «Approve this», ist das keine sinnvolle menschliche Kontrolle. Es muss zeigen, welche Informationen zugrunde liegen, welche Änderung vorgeschlagen wird, welche Auswirkungen erwartet werden und welche Alternativen bestehen. Das ist auch der Grund, weshalb unsere Level-3-Engineers weiterhin eine wichtige Rolle spielen. KI soll ihre Expertise skalieren, nicht die Verantwortung wegautomatisieren.

Wer trägt die Verantwortung, wenn ein autonomer Agent eine falsche Entscheidung trifft und beispielsweise einen legitimen Netzwerkverkehr blockiert, einen Angriff übersieht oder selbst einen grösseren Ausfall verursacht?

Verantwortung kann man nicht an einen Algorithmus delegieren. Ein KI-Agent kann keine organisatorische Verantwortung übernehmen. Deshalb muss klar definiert sein, wer das System betreibt, wer seine Leitplanken festlegt und welche Entscheidungen automatisiert werden dürfen. Je nach Betriebsmodell liegt die Verantwortung für kritische Entscheidungen bei unseren Experten oder beim Kunden. Das ist für uns ein zentraler Bestandteil von Autonomous SASE: Autonomie und Governance müssen gemeinsam gedacht werden.

Brauchen autonome KI-Systeme grundsätzlich einen sogenannten Kill Switch? Und wäre ein solcher überhaupt noch ausreichend, wenn viele miteinander kommunizierende Agenten gleichzeitig in unterschiedlichen Systemen arbeiten?

Die Möglichkeit, ein System zu stoppen, ist wichtig. Ein grosser roter Ausschalter allein ist aber keine ausreichende Sicherheitsarchitektur.
Bei Multi-Agent-Systemen müssen Kontrolle und Begrenzung auf mehreren Ebenen eingebaut sein. Dazu gehören klar definierte Berechtigungen, Freigabegrenzen, die Möglichkeit, einzelne Aktionen oder Agenten zu stoppen, Dry-Runs, Rollbacks und vollständige Protokollierung. Die wichtigere Frage lautet deshalb nicht nur: «Können wir das System abschalten?», sondern: «Können wir jederzeit kontrollieren, was es tun darf, nachvollziehen, was es gerade tut, und eine Aktion bei Bedarf rückgängig machen?»

Wie lässt sich im Nachhinein nachvollziehen, warum ein KI-Agent eine bestimmte Entscheidung getroffen hat? Wird lückenlose Protokollierbarkeit bei autonomen Systemen künftig ebenso wichtig wie deren eigentliche Leistungsfähigkeit?

Absolut. Je mehr ein System selbständig handelt, desto wichtiger wird Nachvollziehbarkeit. Gleichzeitig müssen wir Observability und Auditierbarkeit bei KI neu denken. Es reicht nicht mehr, nur zu protokollieren, welche Informationen einem System zur Verfügung standen und welche Schritte es ausgeführt hat. Ein Agent kann alle relevanten Informationen erhalten haben und trotzdem zu einer falschen Schlussfolgerung kommen oder halluziniert haben. Deshalb brauchen wir zusätzlich Guardrails, die Ergebnisse und geplante Aktionen überprüfen, bevor daraus Konsequenzen entstehen.

Das gilt nicht nur für einzelne Agenten, sondern für die gesamte Kette. Wenn ein Agent eine Teilaufgabe an einen anderen Agenten delegiert und dessen Ergebnis wiederum Grundlage einer Entscheidung wird, muss auch diese Interaktion nachvollziehbar sein. Observability muss künftig also nicht nur einzelne Systeme, sondern ganze Agentennetzwerke abbilden.

«Viele Prinzipien kennen wir bereits aus Cybersecurity und Zero Trust. Sie müssen nun auf eine Welt übertragen werden, in der neben Menschen und klassischen Anwendungen zunehmend auch autonome Agenten handeln.»

Die wachsenden Sicherheits- und Kontrollprobleme könnten gleichzeitig einen neuen Markt schaffen. Wird die Absicherung autonomer KI-Agenten zu einem eigenen grossen Geschäftsfeld – ähnlich wie Cybersecurity mit der Digitalisierung gewachsen ist?

Davon gehe ich aus. Sobald KI-Agenten nicht mehr nur Texte generieren, sondern auf Unternehmenssysteme zugreifen und Aktionen ausführen, entsteht eine neue Angriffs- und Kontrollfläche. Unternehmen werden wissen müssen: Welcher Agent darf auf welche Daten zugreifen? Welche Aktionen darf er ausführen? Wie authentifiziert er sich? Wie verhindern wir Manipulation? Wie überwachen wir sein Verhalten? Und wie weisen wir im Nachhinein nach, was passiert ist?

Viele Prinzipien kennen wir bereits aus Cybersecurity und Zero Trust. Sie müssen nun auf eine Welt übertragen werden, in der neben Menschen und klassischen Anwendungen zunehmend auch autonome Agenten handeln. Agent Security und Agent Governance werden deshalb zu notwendigen Disziplinen für Unternehmen, die autonome KI produktiv einsetzen wollen.

Wenn Sie vorausblicken: Was bereitet Ihnen mehr Sorgen – dass autonomen KI-Systemen zu schnell zu viel Entscheidungsfreiheit übertragen wird, oder dass aus Angst vor den Risiken ihre Möglichkeiten zu wenig genutzt werden?

Beides wäre ein Fehler. Blinde Autonomie ist genauso wenig sinnvoll wie eine KI, die zwar alles analysieren kann, aber letztlich nichts tun darf.

Wir sollten Autonomie nicht maximieren, sondern gezielt einsetzen. Ein System sollte dort selbständig handeln dürfen, wo Entscheidungen gut abgegrenzt, überprüfbar und reversibel sind. Je grösser die möglichen Konsequenzen werden, desto stärker müssen die Kontrollmechanismen sein.

Die Chance ist enorm. Wir sehen bei Lucy bereits heute, wie schnell Kunden KI annehmen, wenn sie ein konkretes operatives Problem löst. Der nächste Schritt ist, aus dieser Assistenz kontrollierte Autonomie zu machen. Für mich liegt die Herausforderung deshalb nicht in der Wahl zwischen Innovation und Kontrolle. Gute Systeme müssen beides gleichzeitig ermöglichen.