Agentische KI: Warum Unternehmen für Aktionen ihrer Software haften (Gesponsert)

Sprecherin: Diese Folge wurde vom Arbeitgeber des Interviewpartners gesponsert. heise meets … – Der Entscheider-Talk. Wir besprechen kritische, aktuelle und zukunftsgerichtete Themen aus der Perspektive eines Entscheiders. heise business services begrüßt Persönlichkeiten aus Wirtschaft, Wissenschaft und Politik. Immer aktuell und nah am Geschehen.

Sprecher: heise meets … heute mit Robert Wortmann.

Willkommen in Garching. Eigentlich besuche ich dich hier, aber trotzdem willkommen.

Robert Wortmann: Danke. Ich komme auch nur aus Nürnberg, das heißt, wir haben uns hier an einem zentralen Ort getroffen. Es freut mich sehr, heute hier zu sein.

Sprecher: München zum Zeitpunkt des Oktoberfestes. Es kann nicht zentraler sein, aber du sagst schon Garching.

Robert Wortmann: Ja, Garching. Wir sind hier als Trend AI so ein bisschen außerhalb von München, in einem Tech Park in Garching. Aber der Weg nach München ist nicht weit.

Sprecher: Du hast gesagt Trend AI. Als wir diesen Termin vereinbart haben, haben wir immer noch mit Trend Micro geredet. Dann war die Lufthansa nicht ganz unschuldig und die Bahn, und jetzt heißt ihr auf einmal Trend AI? Was steckt dahinter?

Robert Wortmann: Es gibt natürlich weiterhin die Trend Micro, die sehr, sehr viele auch aus den letzten Jahrzehnten, die es uns schon gibt, kennen. Wir haben uns aber Anfang des Jahres umbenannt. Die Enterprise-Sparte von Trend Micro ist jetzt Trend AI. Ich glaube, man kann selbst daraus schließen, wieso das Ganze gemacht wurde. Es wird ja auch ein Thema heute sein. Von dem her, man geht hier mit der Zeit. Ich glaube auch im Allgemeinen kann man sagen, dass die Trend Micro, die man von vor 10 bis 20 Jahren kannte, auch technologisch schon lange nicht mehr das ist, was man damals kannte, und zwar im positivsten Sinne. Man hat sich weiterentwickelt. Man setzt sehr, sehr stark auf das Thema KI-Sicherheit, weil das auch einfach notwendig ist.

Sprecher: Und da reden wir drüber, KI-Sicherheit. Wenn du die Schlagzeilen der letzten Tage so einfach mal durch scrollst, was macht dir Sorgen oder wo sagst du, das ist auf dem richtigen Weg? Kann man das so pauschal sagen?

Robert Wortmann: Ich glaube, das kann man eben nicht so pauschal sagen. Ich saß erst vor zwei Wochen mit einem Betreiber kritischer Infrastruktur in Belgien zusammen, und wir hatten einen ganzen Tag lang Diskussionen über KI-Sicherheit, wo wir jetzt hingehen. Ich habe gleich am Anfang einen Disclaimer vorgestellt und habe gesagt: Die 17 Jahre, die ich diesen Job mache, ich hatte noch nie so wenige Antworten auf so viele Fragen. Und ich glaube gar nicht so sehr, dass das jetzt nur daraus entsteht, dass ich da einfach kein Wissen hätte, sondern dass man in dieser kompletten Branche derzeit wahrscheinlich tagtäglich einfach lernt. Ich glaube, so ein bisschen der Paradigmenwechsel, der stattgefunden hat, ist: Cyber hat sich eigentlich in den letzten 10 bis 15 Jahren gar nicht so stark verändert, wie man immer denkt. Klar, die Angreifer haben mal ein bisschen verschiedene Tools verwendet, die haben die Infrastruktur anders aufgebaut und so weiter. Aber im Grundsatz liefen die Angriffe schon relativ ähnlich ab. Das heißt, man musste sich eigentlich immer nur innerhalb eines bestehenden Rahmens umstrukturieren als Defender. Und jetzt lernt man Dinge komplett neu kennen. Man lernt ein agentisches Verhalten komplett neu kennen. Man lernt, dass da vielleicht ein Eigenleben – man muss wieder vorsichtig sein, das ist ein sehr streitbarer Begriff – aber dass da ein gewisses Eigenleben wahrscheinlich zumindest stattfindet. Und da lernt man tagtäglich. Es gibt Tage, da bin ich sehr begeistert von den technologischen Möglichkeiten, es gibt Tage, da bin ich durchaus auch besorgt über technologische Möglichkeiten. Das ist gerade ein Auf und Ab in mir. Ich kann da keine universelle Antwort geben.

Sprecher: Aber du hast für uns Antworten. Im Gegensatz zu dem Sicherheitsanbieter in Belgien. Du hast für uns viele Antworten, sonst wärst du nicht bei heise meets …

Robert Wortmann: Ich habe Antworten, aber ich kann auch sagen, die werden sich wahrscheinlich, wenn man das Ding sechs Monate später hören sollte, wahrscheinlich werden da manche Antworten auch schon wieder ein bisschen zweifelhaft sein. Aber ich glaube, das gehört dazu.

Sprecher: Und deswegen wissen wir, wir zeichnen das zum Zeitpunkt des Oktoberfestes auf. Das heißt, nach Weihnachten, liebe Hörer, manches kann ganz anders sein. Wir reden über Gefahren von KI. Wo siehst du die größte Bedrohung?

Robert Wortmann: Ich glaube, es gibt nicht die größte Bedrohung. Wenn man die größte Bedrohung würde ich darauf referenzieren, dann wäre es das, was ich eigentlich gerade gesagt habe: dass ganz, ganz viel derzeit eigentlich noch erforscht wird. Das ist für mich die allergrößte Gefahr, dass wir einfach noch nicht genau wissen, wo vieles hingeht, wo wirtschaftliche Möglichkeiten davon hingehen. Ich glaube, es wird im Allgemeinen entweder massiv überschätzt. Also wir reden schon wieder über das Ende der Menschheit, bevor wir überhaupt darüber reden, was wir heute technologisch haben, sauber abzusichern. An anderen Ende haben wir dann wiederum aber auch ganz oft eher eine Verniedlichung von Gefahren. Wenn ich beispielsweise mit Unternehmen spreche, bekomme ich hier im europäischen Raum ganz oft die Frage: Wie können wir verhindern, dass Mitarbeiter ChatGPT benutzen mit Firmengeheimnissen? Verstehe mich nicht falsch. Das ist eine absolut ernstzunehmende Gefahr, und da ist auch noch viel zu viel im Unklaren. Ich will die Gefahr auch 0,0 kleinreden. Aber wenn wir mal auf so einer Skala von 0 bis 10 bei den Gefahren, die heute schon belegbar bestehen, dann ist das wahrscheinlich eher am unteren Ende und eher ein Datenschutzproblem als ein reines Cyber-Security-Problem.

Sprecher: Bevor wir zu der Skala kommen, ich muss noch mal kurz vorher einhaken, als du sagtest, die einen sehen das Ende der Menschheit. Ich habe diese Meldung von Bill Gates auch gesehen, der möglicherweise damit rechnet, dass KI das Ende von einer Milliarde bedeuten könnte. Auf der anderen Seite dachte ich, okay, der Junge hat auch schon mal das Internet ignoriert und meinte, das wird nicht so groß. Also müssen wir das ernst nehmen?

Robert Wortmann: Ich glaube, man muss alles ernst nehmen. Aber am Ende, ich spreche ja hier auch für einen Security-Anbieter, einen Cyber-Security-Anbieter, muss ich auch ganz klar sagen: Das ist erstmal nicht meine Diskussion. Ich glaube, das gehört zur Ehrlichkeit dazu. Für mich steht derzeit im Fokus, wie können wir Deployments von Firmen möglichst sicher gestalten, sodass man die Effizienzgewinne, die ohne Wenn und Aber entstehen können durch KI und durch die Anwendung von KI insbesondere, wahrnehmen können. Aber das sicher gestalten können. Das ist erstmal mein Fokus.

Sprecher: Du hast von der Skala gesprochen, dass Menschen private oder Firmengeheimnisse zu ChatGPT hochladen, und dann hast du die Skala ins Spiel gebracht. Nenn uns mal das Ranking, was du dabei im Hinterkopf hast.

Robert Wortmann: Das Ranking wächst jeden Tag. Ich glaube, das ist das Problem. Aber ich kann ja mal ein paar Beispiele machen. Ein Beispiel ist die Anbindung dieser Tools, ein Large-Language-Modell von OpenAI oder von Anthropic, das ist eigentlich relativ egal. Nehmen wir einfach mal ChatGPT als Beispiel: Diese ChatGPTs kann ich mittlerweile relativ gut an viele unternehmensweite Enterprise-Applikationen anbinden. Zum Beispiel meine HR-Software – und das gab es tatsächlich in dieser Form auch schon bei einem unserer Kunden – hat auf einmal am Morgen, das ist ein Software-as-a-Service-Produkt, ein Pop-up gebracht mit: Du kannst uns jetzt auch an ChatGPT verwenden. Dann wurde einem „Otto-normalen“ Nutzer eine super einfache und natürlich zugängliche Erklärung gegeben, wie man das per sogenannten MCP, Model Context Protocol, anbinden kann und damit dann conversational mit diesem Tool über das ChatGPT-Interface kommunizieren kann. Das war kein Update, was die IT freigegeben hat, weil es ein Software-as-a-Service-Produkt war, und die wussten gar nicht davon, dass man das jetzt per MCP anbinden kann. Die Mitarbeiter hatten gar keinen ChatGPT-Zugang, die haben aber teilweise ihren eigenen, persönlichen, privaten ChatGPT-Zugang verwendet. Und da geht es dann nicht mehr nur darum, dass ein PDF hochgeladen wird, sondern da werden unter der Identität, dem Username, werden teilweise Aktionen in einer Enterprise-Software ausgeführt. Auch das bedeutet noch nicht das Ende der Welt, das kann besser und schlechter abgesichert sein, aber es ist komplette Shadow-IT auf einmal. Das ist zum Beispiel ein Beispiel, was wir immer wieder sehen, was völlig negiert oder nicht negiert wird, aber gar nicht gesehen wird.

Sprecher: Und auf der Skala für dich ganz oben?

Robert Wortmann: Nein, noch nicht ganz oben.

Sprecher: Was ist ganz oben?

Robert Wortmann: Ich glaube, ich habe das Ende der Skala noch nicht entdeckt. Aber ich kann ein weiteres Beispiel nennen, wenn man tatsächlich im Unternehmenskontext ganz bewusst Agenten einsetzt. Auch das kann Sinn machen für administrative Zwecke, die sonst nur Personal binden, aber heute schon ganz gut durch Large-Language-Modelle zum Beispiel gemacht werden können. Wir schauen uns Rechnungsstellung beispielsweise an. Ich will, dass Rechnungen in Zukunft noch mehr automatisiert versendet werden und dass ihnen auch nachgegangen wird, dass bezahlt wird. Das klingt erst mal gut, und man muss auch sagen, in der Regel funktioniert so etwas relativ gut. Aber es birgt natürlich auch Gefahren. So ein Agent braucht ein relativ klares Ziel. Das klare Ziel kann hier zum Beispiel sein: Versende alle Rechnungen und sorge dafür, dass diese Rechnungen am Ende des Monats auch alle bezahlt werden. Wie der Agent zu diesem Ziel kommt, dass die offene Rechnungssumme auf null geht, das sollte man ihm auch sehr genau vorgeben.

Sprecher: Ihr habt einen Test dazu gemacht bei Trend AI. Man muss dazu sagen, es ist tatsächlich nur im Laboratorium, nur ein Lab-Status. Aber wie war der Test?

Robert Wortmann: Wir haben das nicht als Trend AI gemacht. Das muss man, glaube ich, spezifizieren. Sondern ich habe das in Kooperation mit einem Unternehmen gemacht, das wirklich das umsetzen wollte, aber tatsächlich sehr verantwortungsvoll das erst mal im Lab umgesetzt hat. Was die im Grunde genommen gemacht haben, ist: Auf der einen Seite war eben dieser Agent, der dafür zuständig sein soll, dass die offenen Rechnungen am Ende des Monats auf null sind. Auf der anderen Seite waren auch Agenten, und zwar in Form der Kunden, der virtuellen Kunden. Und die sollten völlig verschiedenes Verhalten zeigen. Die einen haben sofort gesagt, wir zahlen, und haben dann auch virtuell das Ganze überwiesen. Dann gab es welche, die gesagt haben, wir haben diesen Monat nicht das Geld, aber nächsten Monat das Geld. Bis hin zu ein, zwei Agenten, die einfach gesagt haben, wir bezahlen es nicht, viel Spaß.

Sprecher: Was hat euer Agent dann gemacht?

Robert Wortmann: Also nochmal, nicht unser Agent, ganz wichtig, sondern der Agent in diesem Labor hat dann auch hier wieder bei 99 Prozent der Rechnungen total gut agiert, so wie man das erwartet. Dann hat er allerdings bei zwei, drei virtuellen Kunden, die gesagt haben, wir können diesen Monat nicht zahlen, hat er ohne Freigabe Discounts gegeben. Dann gesagt: Ja, aber wenn du 20 Prozent weniger zahlen müsstest, könntest du dann diesen Monat bezahlen? Das war nicht abgesprochen mit irgendjemandem. Es wurde nicht freigegeben, gar nichts. Und es ist in ganz vereinzelten Fällen sogar dazu gekommen, dass dieser Agent bei denen, die gesagt haben, wir zahlen einfach nicht, bis hin zu zumindest einigermaßen sanften Drohungen gegangen ist. Jetzt muss man dazu sagen, und das werden auch viele Hörer wahrscheinlich sich denken: Ja, das kann man bis zu einem sehr großen Maße ausschließen, indem man dem Agenten nicht einfach nur das Ziel gibt und sagt, bringe bitte die offenen Rechnungen auf null, sondern auch sagt, was er dabei machen darf, was er dabei nicht machen darf, wo die Grenzen liegen. Das Problem, was ich immer sehe, ist: Wie viele Grenzen sind genug Grenzen? Haben wir an alle Grenzen gedacht? Haben wir nicht an alle Grenzen gedacht? Oder wollen wir vielleicht dazu übergehen, dass dieser Agent das nicht selbstständig machen kann, sondern es einen Human in the Loop, wie man immer so schön sagt, braucht, der sagt, ich gebe diese Aktionen erst frei. Weil am Ende agiert dieser Agent unter einer E-Mail-Adresse des Unternehmens. Es gibt auch mittlerweile genug Gerichtsurteile, die sagen: Das ist nicht irgendein Agent und irgendjemand anders übernimmt diese Verantwortung, wenn der jemanden bedroht, sondern das ist euer Agent.

Sprecher: Du hast zu Recht darauf hingewiesen, das war ein Test, den ihr gemeinsam mit Partnern gemacht habt. In der Praxis gibt es aber Beispiele, ich zitiere mal bloß ein paar: Air Canada mit falschen Auskünften, Leaks bei Microsoft oder Salesforce. Die Tools haben so funktioniert, wie sie gebaut wurden. Ist das das Dilemma?

Robert Wortmann: Also wie sie gebaut wurden in der eigentlichen LLM-Agenten-Logik, muss man dazu sagen, nicht wie sie gebaut wurden vom kommerziellen Anbieter, der damit dann vielleicht selbst Schaden genommen hat. Das Dilemma ist, dass diese Agenten im Grunde genommen das gemacht haben, was ihnen aufgetragen wurde. Ihnen wurde aber nicht genau spezifiziert, wie sie das machen sollen, beziehungsweise der Rahmen vielleicht ein Ticken zu groß war. Das ist, glaube ich, das ganz große Problem, an das man ganz oft stößt. Man sieht ja auch bei dieser ganzen Thematik, die wir vor ein paar Wochen, Monaten jetzt schon wieder hatten, mit den OpenAI-Agenten, die ausgebrochen sind, dass wir natürlich auch infrastrukturelle Anpassungen machen müssen. Da wurde beispielsweise gesagt: Naja, wir haben eine Sandbox-Umgebung, und die sind da ausgebrochen. Dann sage ich auch, naja, aus reiner Security-Logik: Entweder hat man eine Sandbox oder man hat keine Sandbox. Dieses Dazwischen ist ein komischer Kompromiss. Ich glaube, dass ganz viele Dinge, die wir heute gesehen haben, tatsächlich gar nicht unter dieses „Oh, das ist aber was ganz exotisches Verhalten" fallen, wie manchmal von den Firmen getan wird, sondern das sind Dinge, die könnte man relativ gut kontrollieren. Das Problem ist, es gibt noch zu viele fehlende Erfahrungswerte, und man macht vielleicht die Dinge ein bisschen zu schnell. Aber es wird sicherlich auch Dinge geben, in denen Agenten tatsächlich Dinge machen, die man als sehr exotisches Verhalten, was wenig antizipierbar ist, bewerten muss. Das sind die Dinge, vor denen ich eigentlich persönlich – und ich kann jetzt nicht für dieses Unternehmen sprechen, sondern persönlich – die meisten Bedenken habe. Weil ich ganz klar sage: Naja, das wird schwierig, das Ganze dann zu kontrollieren, wenn es nicht antizipierbar ist. Aber, wie gesagt, wir wissen ja als Security-Anbieter, und wir bieten dafür ja auch Technologie, Features und sonstiges an, dass viele von den Dingen, die heute in der Presse stehen, kontrollierbar wären, wenn man die richtigen Dinge macht. Aber das eine schließt das andere nicht aus.

Sprecher: Nimm uns mal ein bisschen mit in die Praxis. Wenn du im Auftrag von Trend AI zu einem Kunden kommst, im In- oder im Ausland, und ihr plant eine Zusammenarbeit und guckt, was können wir wie machen – was sind die ersten Fragen, die du stellst? Was schaust du dir zuerst an, um dir einen Überblick zu verschaffen, um dann möglicherweise zu sagen: Da muss ich ansetzen?

Robert Wortmann: Es sind erstmal auch kulturelle Fragen, das muss man ganz klar dazu sagen. Und das sind Fragen, die eher in den Cyber-Bereich gehen, wie zum Beispiel: Was ist denn überhaupt euer Risikoappetit? Das ist eine ganz legitime Frage, die wir im Bereich Cyber viel zu selten stellen. Wir können nicht ohne jeglichen Risikoappetit derartige Dinge machen. Das muss man ganz klar dazu sagen. Dann frage ich auch immer: Wollt ihr das gerade einfach von der Spitze herab runterdrücken, so ein Projekt, oder wollt ihr damit wirklich einen konkreten Use Case machen? Das ist etwas sehr Wichtiges, weil dieses Top-Bottom bei AI unserer Meinung nach Stand heute relativ selten funktioniert. Dann geht es wirklich daran, auch einem Kunden klarzumachen: Wir müssen hier über die absoluten Basics reden. Wenn ihr zum Beispiel eigene Daten verwenden wollt in diesem Use Case, und das ist ja das, wo ich auch wirklich erst Effizienzgewinne in der Regel habe – nicht wenn ich User Google-Abfragen an ChatGPT stellen lasse, sondern wenn ich das in meine Kernprozesse mit einfüge –, wie stabil ist es denn? Oder bauen wir hier gerade ein wunderschönes Haus, was jeder schön findet, auf einem Sumpfgebiet auf, ohne ordentliches Fundament? Da geht es zum Beispiel um Dinge wie Berechtigungsstrukturen auf Dateien und so weiter. Überhaupt erstmal eine Sichtbarkeit zu schaffen: Was haben wir denn heute schon? Also da machen wir sehr, sehr viel, indem wir Technologie einbringen, überhaupt erstmal Daten, Berechtigungsstrukturen, aber auch schon vorhandene KI-Deployments, die man manchmal gar nicht weiß, die schon herum fleuchen, erstmal überhaupt operativ bekannt und visibel zu machen. Erst wenn ich diese Basis gefixt habe, dann geht es an die nächsten Schritte: die Infrastruktur, die ich dafür brauche, also beispielsweise Linux-Unix-Infrastruktur, DevOps-Infrastruktur, Container-Infrastrukturen, alles das auch sicher aufzubauen. Weil wir hatten schon genug Fälle, in denen gar nicht diese leuchtende, glitzernde KI-Infrastruktur das Anfällige war, sondern teilweise die veraltete, verkonfigurierte Infrastruktur darunter das Problem war, die Cloud-Infrastruktur, die total schlecht konfiguriert war und damit Angreifern relativ einfach ermöglicht hat, Zugriff auf die Infrastruktur darunter zu bekommen. Das heißt wirklich bottom-up, wie man immer so schön in der IT sagt, dieses Projekt anzuziehen, weil die Dinge später wieder einzufangen, wird sehr, sehr schwierig.

Sprecher: Du hast in einem Halbsatz diese Befürchtung angesprochen, die wir schon mal zitiert haben, nämlich: Mitarbeiter nutzen ihren privaten ChatGPT-Account und laden da möglicherweise Firmendaten hoch. Scheint mir persönlich einer der Fälle zu sein, der viel, viel häufiger vorkommt, als wir denken. Ist das so?

Robert Wortmann: Ja, auch hier. Ich glaube, das kommt relativ häufig vor. Was wir als Unternehmen nicht machen und was wir auch niemals machen würden, ist eine Mitarbeiter-per-se-Überwachung. Aber natürlich kann man schauen: Was ist ein Nutzungsverhalten aus einer Infrastruktur heraus gegen ein ChatGPT? Wenn ich ein Unternehmen habe, das per Policy – und darüber kann man natürlich streiten kulturell – die Nutzung von ChatGPT eigentlich verbietet, aber man dann relativ viele URL-Aufrufe in Richtung ChatGPT sieht, und das ist völlig unabhängig, welcher Mitarbeiter das ist – auf diese Ebene gehen wir auch nicht, sondern es geht um das Risikoverständnis für eine Umgebung. Dann passt es natürlich ganz oft nicht zusammen. Man muss natürlich auch dazu sagen: Es geht ja nicht nur darum, dass ein Mitarbeiter beispielsweise irgendein Dokument per se hochlädt, sondern ein Mitarbeiter kann natürlich auch mit Wissen, was er oder sie im Kopf hat, nach Hause gehen und dann eine Abfrage aus dem Kopf heraus eintippen in das eigene Abo. Also es wird auch viele Dinge geben, die können wir technisch gar nicht abfangen, sondern die kann man im Zweifel nur versuchen kulturell abzuschwächen, indem man Alternativen schafft, die ähnlich gut funktionieren – und das ist leider gar nicht so einfach – aber besser für mich kontrollierbar sind.

Sprecher: Jetzt mal Butter bei die Fische. Wie schafft man so eine Alternative?

Robert Wortmann: Indem man erst mal überhaupt die Basics richtig macht. Also das, worüber ich gesprochen habe. Das heißt, eine resiliente Infrastruktur unten drunter aufbaut, sich sehr gute Gedanken macht um das ganze Thema Souveränität und nicht einfach nur sagt: Das muss irgendwo hier in Europa gehostet sein, sondern wirklich: Was machen wir beispielsweise, wenn der Zugriff auf eine Applikation wegfällt? Sind wir noch fähig, unsere Kernprozesse auszuführen? Also dieses große Souveränitätsthema. Und dann geht es meiner Meinung nach, und das ist das, was wir beobachtet haben, in der Regel so, dass man erst mal sehr spezielle Use Cases sich raussucht und nicht sagt: Wir machen jetzt das interne GPT für jeden Mitarbeiter. Weil da hakt es dann ganz oft daran, dass man eine Lösung schafft, die in der Regel nicht so performativ ist wie ein ChatGPT und wie die Leute das gewohnt sind. Das ist ja das große Problem aus dem Alltag, und in der Regel auch deutlich weniger können. Das heißt nicht, dass ich gegen lokale KI-Deployments bin, überhaupt nicht, ich bin total dafür. Aber man muss klein anfangen, man muss das Ding gut planen, man muss in der Regel damit anfangen, erstmal spezifische Use Cases zu suchen. Zum Beispiel Dokumentation ist ein ganz gutes Beispiel in vielen Unternehmen, was schon ganz gut funktioniert. Das heißt, alte Dokumentation wirklich einpflegen, überlappende Handbücher von produzierenden Unternehmen einpflegen, das geht schon relativ gut. Aber sich dieser Illusion hinzugeben, ich baue jetzt einfach mal mit ein paar Ressourcen, monetär wie vielleicht auch menschlich, innerhalb von zwei Tagen lokal das nach, was ein Anthropic da betreibt beispielsweise, das scheitert oft in der Regel. Und das heißt nicht, dass ich den Gedanken dahinter schlecht finde oder es für unmöglich halte.

Sprecher: Und du hast Souveränität schon angesprochen. Das ist ein Thema, was dir sehr unter den Nägeln brennt.

Robert Wortmann: Es brennt mir sehr unter den Nägeln, weil ich sehr dafür bin, dass sich Firmen unabhängig auch machen. Und auch hier wieder, das ist eine sehr persönliche Meinung, das ist keine Firmenmeinung: Souveränität ist deutlich mehr, als einfach nur ein Hosting irgendwo zu haben und zu sagen, das läuft jetzt in Europa oder das läuft jetzt lokal. Sondern Souveränität heißt beispielsweise auch, dass ich auch bei einem Open-Weight-Modell durchaus nachdenke: Was mache ich denn, wenn das morgen nicht mehr in der neuen Version verfügbar ist, wenn da keine neuen Parameter nachkommen? Wenn ich mir auch da durchaus bewusst mache, dass Open-Weight-Modelle nicht Open-Source-Modelle beispielsweise sind, ich weiß zwar und kann einsehen, wie die Gewichtung ist, ich kann aber nicht einsehen, woher die Daten kommen in der Regel bei vielen dieser Open-Weight-Modelle. Dass ich mir Gedanken um operative Abhängigkeit mache: Was ist denn, wenn dieses Modell morgen nicht mehr funktioniert, ich aber, ich hab's vorhin gesagt, die Kernprozesse meiner Firma darauf aufgebaut habe. Das sind alles ganz, ganz wichtige Themen. Dieses Thema, wo es gehostet wird, das ist ein wichtiges Thema, aber das ist ein Bestandteil von ganz vielen. Und auch einfach nur zu sagen, ich nehme jetzt das Beste aus den großen Modellen, indem ich mir ein Modell hoste: Sich auch klarzumachen, ich erbe auch viele Dinge, ich erbe auch Risiken. Ich erbe die Risiken, mit den Identitäten auf einmal umzugehen, ich erbe die Risiken der Infrastruktur-Doppelung und sonstiges. Das sind keine Ausschlusskriterien, um Himmels willen, aber das ist einfach eine Bewusstmachung, dass ich auch Risiken erbe.

Sprecher: Ich habe das Gefühl, wenn du so in eine Firma kommst, das gleicht schon ein bisschen einer Vorlesung im Thema Sicherheit, die unbezahlbar ist. Das Wissen, was du da vermittelst, weckt wahrscheinlich bei vielen erstmal, die nicht so nah in diesem IT-Bereich sind, sondern eher vielleicht auf der Controller-Seite oder möglicherweise ist der Chef selber, weckt erstmal Bewusstsein. Was sind die nächsten Schritte, wenn du dann sagst: Ich würde ihnen das und das empfehlen, wir können das und das machen, sie haben den und den Use Case?

Robert Wortmann: Wie gesagt, erstmal die nächsten Schritte sind, weil gerade sprechen wir stark aus der Theorie und so laufen auch ganz oft die ersten Termine ab. Also durch so ein Briefing, was ich eben gebe – was kann denn potenziell passieren, was kann potenziell funktionieren – das dann erstmal zu mappen mit dem, was Stand heute überhaupt da ist. Also eine praktische Realisierung dessen, und ich habe vorhin darüber gesprochen, das ist das Thema Visibilität. Wir können noch so viel über Schatten-KI sprechen, wir müssen erstmal sichtbar machen, wie viel Schatten-KI bei uns denn heute vorhanden ist. Ich frage dann immer als nächsten Schritt: Was denkt ihr denn, wie viele MCP-Server ihr heute schon habt? Dann bekommt man ganz oft hier in Mitteleuropa die Antwort: null oder bestimmt keinen. Dann bringt man mal Technologie aus, die so etwas erahnen kann oder tatsächlich auch sichten kann, und dann merkt man doch deutlich mehr. Da haben sich schon Leute was aufgebaut, und meistens nicht aus einer bösen Intention, aber ganz oft technisch nicht unbedingt in einem sicheren Kontext. Niemand meint es böse, aber das Endprodukt bleibt halt deswegen risikobehaftet. Das heißt, erstmal das Thema Sichtbarkeit herzustellen, und das funktioniert gleichermaßen prozesstechnisch, aber auch wirklich technisch, technologisch. Dann ist der nächste Schritt, wirklich konkret zu planen, eine Zielsetzung, und zwar nicht Security-technisch, sondern rein aus einem Business-Kontext: Was wollt ihr damit erreichen? Also erstmal das große Ziel zu setzen, was wollt ihr damit erreichen, und dann können wir als Security-Anbieter am Ende sagen, wie können wir das absichern? Wie können wir das, was ihr euch hier ausgedacht habt, zuerst prozessual, managementtechnisch und dann noch technologisch – das machen wir ja auch nicht, wir machen nur Cyber Security als Trend AI –, wie können wir das möglichst sicher gestalten? Wo können wir euch wirklich ein großes Maß an Sicherheit und Kontrollierbarkeit bieten? Und wo müssen wir euch aber auch ganz klipp und klar sagen: Da werdet ihr einen gewissen Risikoappetit haben müssen? Weil wir können am Ende vielleicht absichern, wie ein Modell gehostet wird, wie die Infrastruktur darunter ist. Wir können überprüfen, ob eine sogenannte Prompt Injection vielleicht stattfindet, indem wir die Prompts auch filtern und sonstiges. Das können wir alles machen. Aber wenn wir über diese Endzeit-Szenarien beispielsweise sprechen oder wenn wir darüber sprechen, ein Agent fällt völlig irgendwo aus der Linie, dann sind auch wir natürlich als Anbieter irgendwo an dem Punkt, an dem wir sagen können: Das können wir nicht absichern. Sondern was wir euch sagen können, ist: Ihr geht hier ein größeres oder ein kleineres Risiko ein. Die Entscheidung zu treffen, ob ihr das eingehen wollt, das ist eure.

Sprecher: Der Teufel steckt ja manchmal im Detail, und jeder Geschäftsführer fürchtet wahrscheinlich den Praktikanten, der bei Human Resources nur für zwei Wochen ist und erst mal sich die Liste der Vorstandsgehälter rausholt. Ist gar nicht so selten.

Robert Wortmann: Es ist gar nicht so selten. Auch hier muss man natürlich unterscheiden. Es gibt viele News, die eher auf theoretische Konzepte abzielen, aber es gibt diese Dinge auch. Jetzt muss man gleich mal dazu sagen: Dieses Problem der Shaper-Berechtigung, dass jemand deutlich zu viel kann, was seiner Rolle eigentlich gar nicht zugesteht, das hatten wir in der IT, wenn man ehrlich ist, schon immer. Man konnte in der Regel schon immer auf deutlich mehr zugreifen, als man das eigentlich sollte. Das Problem ist, früher war das eine Sache von: Ich musste die richtige Datei finden oder aus Versehen darüber stolpern und war dann ganz überrascht, dass man eine Excel-Liste mit Gehältern – also ich mache es jetzt mal wirklich so einfach, wie es nur sein kann, Gehälter.xls – gefunden hat. Dann hat man drauf geklickt und: Oh, ich kann das ja öffnen.

Das heißt, wir mussten de facto Dateien im Beispiel finden, und das war, wenn man sich anschaut, wie schlecht Dateisysteme abgelegt und koordiniert waren, gar nicht so einfach. Da lagen oft die Sachen lokal auf einer Festplatte von dem Geschäftsführer, und da kam man eigentlich gar nicht so einfach ran.

Jetzt ist es eine Frage von Erfragen nach Informationen und nicht Finden von Daten. Das heißt, ich habe einen Prompt, und da kann ich einfach eingeben: Finde mir folgende Information. Wenn das Ganze eben so abgelaufen ist, dass jemand – und ich habe es vorhin gesagt – einfach mal KI intern hochgezogen hat und das zum Beispiel so gemacht hat, dass er eine Vektordatenbank aufgebaut hat und da einfach mal alles an Dokumenten reingeschmissen hat, was diese Firma jemals produziert hat, dann ist das oft auch so, wenn man das nicht richtig gemacht hat, dass diese Dinge, die davor schon gefehlt haben, jetzt immer noch fehlen, aber jetzt ein zentraler Abfragemechanismus dazukommt. Das heißt, ich kann auf einmal Informationen – und zwar nicht Daten, sondern Informationen – sichtbar machen durch Erfragen. Das ist dann eben, wie gesagt, ein sehr plastisches Beispiel. In der Regel gibt es da auch noch so ein paar Reasoning-Schritte dazwischen. Aber dass man dann auf einmal Gehälter abfragen kann, weil die eben teilweise in der veralteten Tabelle, muss man auch dazu sagen – weil man kriegt so ein Gefühl dafür – drin waren und die wurde eben in der Vektordatenbank eingepflegt, und auf einmal konnte man die abfragen, weil sich niemand über die Berechtigungsstrukturen von Informationsabfragen Gedanken gemacht hat.

Sprecher: Robert Wortmann, Trend AI, ich lerne ganz viel von dir. Das, wozu ich dich am Ende dieses Podcasts bei heise meets … nötigen möchte, ist der Blick in die Glaskugel. Anfang des vierten Quartals 2026, wenn wir dieses Gespräch in 365 Tagen führen, genau in einem Jahr: Glaubst du, wir werden immer noch die gleichen Themen diskutieren oder hat sich in puncto beispielsweise Souveränität, in puncto Umgang mit Sicherheit, oder hat sich etwas geändert?

Robert Wortmann: Was ich eher glaube, ist, dass die Spanne zwischen den großen, teilweise für uns eher theoretisch wirkenden Diskussionen, die wir ja heute auch geführt haben – wo führt das Ganze hin, was ersetzt das das Ganze – und auf der anderen Seite den praktischen Diskussionen, das heißt der Anwendbarkeit in Firmen, noch weiter auseinandergehen wird. Und das sehe ich derzeit schon. Das wird noch weiter. Also wir werden, glaube ich, in dem Jahr immer noch unglaublich viele mittelständische, große mittelständische, aber auch sehr große Firmen sehen, die immer noch am völligen Anfang ihrer KI-Journeys stehen und immer noch über die gleichen Risiken sprechen, während wir im Großen wahrscheinlich schon über ganz große Risiken sprechen. Also über militärischen Einsatz, der natürlich heute auch schon teilweise möglich ist oder stattfindet. Meine Hoffnung ist, und ich glaube, dass das viel wichtigere ist, dass wir KI nicht nur auf der risikobehafteten Seite sehen – und wie gesagt, wir versuchen als Hersteller dafür Lösungen zu schaffen, diesen Einsatz gleichermaßen effizient, aber auch sicher zu gestalten –, sondern auch die Vorteile, die wir auf Verteidigungsseite haben, noch mehr wahrzunehmen. Also wie kann ich ein gegebenes Security Operation Center damit effizienter machen, weil Menschen nicht mehr ihre Zeit vergeuden müssen, manuelle Arbeit zu machen? Wie kann ich in gewisser Weise Security demokratisieren, indem ich kleinen Teams durch LLM-Usage überhaupt erstmal ermögliche, Security-Betrieb zu machen? Das sehen wir gerade in ganz vielen Fällen auch mit unseren Produkten, dass das überhaupt Menschen möglich ist, ohne dieses unglaubliche Wissen und die vielen menschlichen Ressourcen, 24x7-Betriebe mehr oder weniger aufrechtzuerhalten. Dass wir sehen, dass natürlich Angreifer mittlerweile Schwachstellen finden können und die exploiden können, dass wir aber durch die gleichen Modelle – und da sorgen wir teilweise eben auch zum Beispiel durch unsere „Erzieher“, durch die Schwachstellenerkennung in Code – dass wir erst sicheren Code überhaupt ausliefern und Angreifern gar nicht so viele Möglichkeiten bieten, Schwachstellen zu finden. Ich will damit nicht sagen, wir lösen jedes negative Problem durch die positive Nutzung von KI in der Verteidigung, das wird auch nicht immer möglich sein. Aber dass wir auch da nicht immer nur die Risiken sehen. Ein bestes Beispiel ist – und damit kann ich es, glaube ich, auch abschließen –: Wenn bei uns diese LLM-gestalteten Verteidigungstools angeschaut werden, dann ist ganz oft nicht die erste Reaktion: Cool, da können wir ja endlich mehr machen und endlich vielleicht auch sicherer werden, sondern die erste Reaktion ist ganz oft: Was ist, wenn das Ding halluziniert? Das ist wie immer eine Möglichkeit, die wir betrachten müssen. Das ist eine Risikoanalyse, die wir treffen müssen, und das ist theoretisch möglich. Aber wollt ihr weiterhin nichts machen oder wollt ihr auf die 0,5 Prozent Möglichkeit stützen – und da kann man auch relativ viel kontrollieren –, dass ein Agent vielleicht mal eine falsche Entscheidung trifft? Wie gesagt, ich hoffe, dass wir auch noch viel, viel mehr in der reinen Cyber Security die Chancen darin sehen und nicht nur berechtigterweise die Risiken.

Sprecher: Robert Wortmann von Trend AI, herzlichen Dank für deine Zeit hier bei heise meets … und ich nehme dich beim Wort. In 365 Tagen hören wir uns wieder.

Robert Wortmann: Danke, machen wir.

Sprecherin: Das war heise meets … – Der Entscheider-Talk. Sie wollen mehr erfahren? Dann besuchen Sie uns auf heise-meets.de. Wir freuen uns auf Sie!