Industrial AI: Warum Maschinendaten eine eigene Cloud-Architektur brauchen (Gesponsert)

Sprecherin:  Diese Folge wurde vom Arbeitgeber des Interviewpartners gesponsert.  heise meets …, der Entscheider-Talk. Wir besprechen kritische, aktuelle und zukunftsgerichtete Themen aus der Perspektive eines Entscheiders. heise business services begrüßt Persönlichkeiten aus Wirtschaft, Wissenschaft und Politik. Immer aktuell und nah am Geschehen. 

Sprecher: Lars Neumann, herzlich willkommen bei heise meets … Grüß dich, Lars.

Lars Neumann: Hallo, Matthias. Freut mich, hier zu sein. Danke für die Einladung.

Sprecher: Danke, dass du da bist. Die erste Frage: Ich kann mir so wenig darunter vorstellen. Senior Vice President T-Cloud bei der Deutschen Telekom. Was machst du da den ganzen lieben langen Tag? Gehst du ins Büro und heute mache ich mal einen auf Chef, oder was machst du den ganzen Tag?

Lars Neumann: Die Aufgabe ist ziemlich vielseitig, und das macht sie gerade spannend und interessant. Es geht nicht darum, Chef zu sein, sondern mit einem tollen Team hier im Konzern Deutsche Telekom über verschiedene Bereiche hinweg zusammenzuarbeiten. Im Wesentlichen geht es um unsere Kunden. Dabei geht es nicht darum, Kunden von der Cloud zu überzeugen, sondern zu zeigen, wie der Weg in die Cloud aussieht oder wie der Weg nach vorne aussieht. Was können wir anders machen? Worauf muss man vielleicht achten? Welche Workloads habe ich? Wo liegen sensible Daten? Wie gehe ich damit um? Welche Abhängigkeiten habe ich? Welche Risiken sind drin? Das mache ich mit dem Team.

Wir schauen natürlich auch, wie mein Arbeitstag aussieht. Der sieht jeden Tag komplett anders aus. Er ist sehr umfangreich: Was machen wir im Marketing? Wie sehen unsere Kampagnen aus? Wie wollen wir unsere Produkte weiterentwickeln? Wie machen wir unser Business Development? Wie sieht unsere Delivery-Struktur aus? Mit welchen Technologien arbeiten wir? Also ein sehr umfangreiches Tagesprogramm, glücklicherweise mit einem tollen Team und tollen Teams im ganzen Konzern, mit denen wir arbeiten.

Sprecher: Jetzt hast du viermal gesagt, dass ihr ein tolles Team seid. Herzlichen Glückwunsch. Wir sind übrigens auch ein tolles Team bei heise. Aber nochmal zurück. Du musst keinen mehr überzeugen, dass jemand in die Cloud muss. Selbstverständlich. Aber erklär uns das mal an einem Beispiel. Ich bin Kunde X und rede mit dir und sage: Mensch Lars, ich bin da in der Cloud, aber ich bin nicht glücklich. Was sind so die ersten Fragen, die du stellst? Worauf kommt es für dich an?

Lars Neumann: Es kommt natürlich darauf an, wie der Kunde in die Cloud reingekommen ist. War das überlegtes Handeln? Habe ich mir vorher Gedanken darüber gemacht, welche Architektur ich wähle? Oder bin ich über Schatten-Cloud-Ansätze reingekommen, wo operative Abteilungen einfach angefangen haben und gesagt haben: Wir brauchen da gerade das Tool, das nehmen wir. Wir kaufen ein SaaS-Produkt, meistens eine Applikation, die ziemlich cool aussieht. Da können wir neue Produkte drauf entwickeln, lass mal starten. Das hat dann aber die Bedingung, dass man genau mit diesem einen Anbieter arbeitet.

Und so ist an der einen oder anderen Stelle auch mal ein Wildwuchs entstanden. Das sind dann die Gespräche, in denen man sich anschaut: Okay, welche Workloads, um was geht es eigentlich? Sind das betriebskritische Themen? Wie wirkt das auf euer Unternehmen? Welchen Impact haben diese Clouds, die ihr nutzt, beziehungsweise diese Applikationen? Meistens ist es ja nicht die Cloud allein, sondern ich nutze eine Applikation auf der Cloud. Wie werden die im Unternehmen eingesetzt und wie unternehmenskritisch sind sie?

Das sind die Gespräche, mit denen wir starten. Dann gibt es aber auch andere. Wenn ich an regulierte Industrien denke, sagen die: Lars, folgende Situation, da gibt es jetzt DORA-Anforderungen in der Finanzindustrie. Wie gehen wir damit um? Wenn ich die Standard-AGB eines amerikanischen Unternehmens unterschreibe, dann ist da nicht alles abgedeckt. Wie kann ich denn überhaupt meine Compliance erreichen, die von DORA an mich als Unternehmen herangetragen wird? Also, wie helft ihr mir dabei? Das sind solche Gespräche. Oder im öffentlichen Bereich, wo es jetzt darum geht: Während Corona sind viele erst mal schnell auf eine Lösung gegangen, um die Digitalisierung auch im Schulsystem hinzubekommen, sodass zumindest Unterricht stattfinden konnte.

Jetzt im Nachhinein schaut man sich an: Okay, was passiert eigentlich mit den Daten? Wo werden die gelagert? Wie können wir in der öffentlichen Verwaltung Dinge anders tun? Wie können wir digitaler werden? Wie können wir auf europäische Anbieter zurückgreifen, bei denen wir wissen, wo es dann auch um Datenhoheit geht - in dem Fall.

Sprecher: Du hast die amerikanischen Anbieter schon angesprochen. Die tummeln sich da draußen, und jetzt kommst du mit dem Besen und sagst: Passt auf, ihr müsst darauf aufpassen, ihr müsst darauf aufpassen und ihr müsst darauf aufpassen. Ist es so?

Lars Neumann: Nein, nein, nein. Also mit den amerikanischen Anbietern arbeiten wir sehr, sehr gerne zusammen. Die sind sehr innovativ, sehr flexibel, sind skalierbar. Wir nutzen die sehr stark, auch selber in Kundenprojekten, in denen wir Lösungen anbieten. Wir weisen nur darauf hin, dass halt gewisse regulatorische Anforderungen in Industrien gegeben sind. Da muss man einfach beachten, was mit meinen Daten passiert. Das ist der eine Punkt.

Zum anderen müssen wir uns in Europa natürlich auch auf uns selber besinnen an der Stelle. Wir sehen gerade, was in der Welt passiert. Auch das muss man an dieser Stelle kritisch betrachten. Dann muss man sich schon überlegen: Was ist mein Backfile-Szenario, falls jemand meinen Zugang sperrt oder ich auf die Daten nicht mehr zugreifen kann? Wie kann ich dann trotzdem meine Unternehmensprozesse weiterführen? Wie kann ich mein Unternehmen aufrechterhalten?

Ich glaube, wir haben hier in Europa eine gute Berechtigung. Ich arbeite viel mit Start-ups zusammen, die sowohl mit europäischen als auch mit amerikanischen Unternehmen zusammen arbeiten. Die sagen: Ich möchte einfach beide Optionen haben, weil es Kunden gibt, für die das wichtig ist, und andere, die sagen: Nein, mir ist eine hohe Flexibilität, eine hohe Geschwindigkeit und ein hoher Innovationszyklus wichtiger. Es ist also nicht als Abschottung oder als „wir gegen die“ gedacht, sondern es ist wirklich ein enges Zusammenspiel. Man muss einfach drauf schauen: Wo macht eine Zusammenarbeit Sinn und wo ist die Gefahr eines Lock-ins zu groß? Wo sollte man sich vielleicht auch mal wieder mehr auf die Open-Source-Community besinnen, die gerade in Europa sehr, sehr stark wieder entsteht? Wie sollte man sich darauf besinnen und diese mehr nutzen?

Da passiert gerade sehr viel. Man sieht sogar europäische Regierungen, die sich jetzt darauf besinnen und sagen: Wir wollen auch mehr Technologie wieder in Europa ansiedeln. Das hat weitreichende Konsequenzen. Wo ist die Technologie? Haben wir Zugriff darauf? Entwickeln wir sie noch? Ich glaube, wir haben da ein gutes Recht, das zu tun. Ich habe mit vielen Start-ups gesprochen, die gerade so in dem Bereich sind, wo sie neue Dinge entwickeln. Die haben unfassbar gut trainierte Leute, eine gute Ausbildung von den Universitäten. Da entstehen viele neue Ideen, die Plattformen brauchen, auf denen sie arbeiten und wo sie diese Ideen in Europa vorantreiben wollen. Da wollen wir natürlich auch helfen.

Sprecher: Also Souveränität der Daten ist ein Stichwort für mich, oder?

Lars Neumann: Souveränität der Daten, ja, das ist eins. Aber es geht am Ende des Tages auch darum, selbst entscheiden zu können. Souveränität heißt für mich, dass man selber darüber entscheiden kann. Und das geht vom Unternehmen bis hin zur Regierung. Können wir selber darüber entscheiden, wie wir uns weiterentwickeln, wo unsere Daten sind, wer mit diesen Daten umgeht?

Das geht ja auch mir persönlich so. Es gibt viele Diskussionen: Was passiert mit meinen privaten Daten da draußen im Netz? Jetzt ging durch die Presse das Beispiel, dass, glaube ich, einer der Hyperscaler oder eine große amerikanische Firma Daten von einer Fluglinie gekauft hat, E-Mails et cetera, um Modelle zu trainieren. Das muss man sich alles mal überlegen. Ist einem das alles bewusst, was da passiert? Habe ich da meine Hoheit? Habe ich da selber noch die Wahl, darüber zu entscheiden, was mit meinen Daten passiert?

So ist es natürlich auch für Unternehmen, gerade in der Industrie, im Mittelstand. Es ist wichtig zu verstehen: Was passiert mit meinen Industriedaten, Produktionsdaten? Das sind Weltmarktführer, die auch Intellectual Property haben. Da muss man sich genau überlegen: Will ich, dass damit Modelle trainiert werden, die ich dann nicht mehr kontrolliere, bei denen ich gar nicht weiß, was damit passiert? Kann das jemand anders nutzen, um daraus meine IP auszulesen? Deswegen muss man sich schon darüber Gedanken machen.

Man muss sich Gedanken machen: Welche Möglichkeit habe ich, von Anbieter zu Anbieter zu wechseln? Wie portabel ist das? Habe ich mich auf Services festgelegt, die vendor-spezifisch, also anbieterspezifisch sind? Habe ich überhaupt eine Möglichkeit eines Exits? Denn rein geht es immer schnell. Aber diese Portabilität zwischen den verschiedenen Umgebungen - das hinzubekommen, das ist nicht einfach. Und das unter dem Aspekt, dass ich selber noch die Wahlfreiheit habe. Das ist doll wichtig.

Sprecher: Ich muss da nochmal einhaken. Laut Definition ist Souveränität die Macht und das Recht, frei nach eigenem Ermessen zu entscheiden, ohne dabei das Recht anderer zu verletzen. Du hast schon Beispiele genannt, was mit der Fluglinie oder beispielsweise mit dem deutschen Mittelständler, dem Weltmarktführer, passiert ist. Was bedeutet Souveränität wirklich in der Praxis? Auf welche Situationen stoßt ihr und sagt: Wir haben da die und die Lösung für euch?

Lars Neumann: Es geht zum einen erst mal darum, wo die Daten sind, also in welchem Land sie angesiedelt sind. Habe ich Zugriff darauf, auch physischen Zugriff? Das ist, glaube ich, eine Ebene. Die nächste ist dann: Wer macht eigentlich den Betrieb? Wo sind die Mitarbeiter, zu wem gehören sie, zu welchem Konzern, zu welchem Unternehmen? Wo sitzen die? Sitzen sie in Europa, sitzen sie außerhalb Europas? Das ist ein Fakt.

Und dann natürlich noch das ganze rechtliche Thema: Gibt es eine Möglichkeit für Regierungen, sich Zugriff zu verschaffen, weil sie sich einfach rechtlich dazu in die Lage gesetzt haben? Ein Beispiel ist der Cloud Act glaub ich, den mittlerweile jeder kennt, wo faktisch jemand Zugriff erzwingen kann. Das ist für mich, was Souveränität bedeutet. Und natürlich darunter liegend immer auch die Wahlfreiheit, die Entscheidungsfreiheit, selber darüber entscheiden zu können und die Möglichkeit überhaupt zu haben, diese verschiedenen Optionen wählen zu können.

Sprecher: Jetzt haben wir einen Widerspruch. Du hast am Anfang gesagt: Wir arbeiten gerne mit den Konzernen aus Übersee zusammen. Auf der anderen Seite sagst du: Wir müssen das und das beachten als Europäer: Wollen wir unsere Daten hergeben und so weiter? Jetzt stehe ich da und sage: Der Lars Neumann von der Telekom ist ja ein toller Fisch, aber was mache ich denn jetzt mit meinem Unternehmen? Lars, hast du darauf eine Antwort?

Lars Neumann: Ja, dazu muss man sich anschauen: Über welche Workflows rede ich? Um welche Daten geht es da eigentlich? Geht es um unternehmenskritische Daten oder um Daten, die eh öffentlich verfügbar sind? Danach kann man sich aussuchen, wie man mit diesen Daten umgeht.

Deswegen kann es schon sinnvoll sein: Wenn ich zum Beispiel für einen Chatbot, für normale Kommunikation, oder wenn ich an Werbung denke, Sachen machen möchte, die eh öffentlich werden, dann kann ich auf Systeme zugreifen und auch Hyperscaler nutzen, wo die sind sehr innovativ, haben tolle Lösungen und tolle Softwareprodukte. Da sage ich: Ja, nutzt diesen Mehrwert, nutzt diese schnelle Skalierbarkeit und diese Innovationskraft.

Es gibt aber – mein Beispiel – Maschinendaten, wo ich mir genau überlegen muss: Möchte ich, dass diese Daten halt dort gehostet werden, wo ich im Zweifel vielleicht den Zugriff verliere, weil irgendetwas abgeschaltet wird? Oder wo ich nicht sicher weiß, wer Zugriff darauf hat? Ist das die Security, so wie ich sie mir vorstelle? Genau diese Architekturentscheidungen muss man sich vorher überlegen. Daher kann es beide Wege gehen, und daher sage ich: Man sollte das nicht als Abschottung sehen. Das ist für mich kein Widerspruch, sondern ein ergänzendes Thema.

Sprecher: Also ich habe kapiert: Auf der einen Seite ist Feinmechanik ein No-Go, weil wichtige Daten dahinterstehen. Auf der anderen Seite ist der Chatbot sowieso öffentlich, den kann man machen. Was könnt ihr als Telekom anbieten, was andere nicht können?

Lars Neumann: Ich glaube, was wir zusammenbringen, ist sowohl die Infrastruktur als auch der Betrieb, als auch die Integration. Und das nicht nur über die Cloud-Lösung, sondern wir haben auch die Security, wir haben die Connectivity und mittlerweile halt auch KI-Kapazitäten verfügbar. Es ist eine Sache, darüber zu reden, aber eine andere, GPU-Kapazitäten tatsächlich zur Verfügung zu haben, diese operativ zu betreiben und dann auch den Stack anbieten zu können.

Bei KI geht es genau das Gleiche. Wie mache ich es, wenn ein Workflow oder Workload da ist, dass diese Daten in einem Fall in einem Modell, das von mir trainiert wurde, auf meinen eigenen Servern oder in einer Cloud liegen? Wie stelle ich sicher, dass der Workload dort in einem KI-Modell bearbeitet wird? Und wie kann ich in einem anderen Fall sagen: Jetzt möchte ich gerade für diese Daten – weil sie nicht so kritisch sind – aktuell das modernste Modell nutzen, das es da draußen gibt, und das für die Bearbeitung einsetzen.

Dafür bauen wir Lösungen, weil wir den kompletten Stack haben: vom Netzwerk über Security, über die Cloud-Infrastruktur inklusive KI, dann aber auch die AI-Foundation-Services bis zum AI-Hub, wo wir wirklich vom Workload ausgehend verschiedene KIs, sowohl im Selbsthosting als auch dann bei den Hyperscalern, Workloads bearbeiten können. Das ist das, was wir können.

Das ist schon sehr umfangreich. Wenn ich an meinen Maschinenbauer denke: Ich muss mich darum kümmern, wie die Daten von der Maschine über ein Campus-Netzwerk, über Glasfaser in die Cloud kommen. Wie schaffe ich das mit möglichst wenig Latenz? Denn da geht es auch um Geschwindigkeit. Es gibt Daten, die muss ich sogar lokal bearbeiten, deswegen brauche ich auch eine Edge-Lösung, im Zweifel in der Fabrik. Bis hin zu: Ich brauche eine möglichst geringe Latenz in die Modelle rein, die zentral irgendwo in Clouds liegen.

Sprecher: Dieses Zusammenspiel von Cloud, Connectivity und Security ist sowieso Risikomanagement.

Lars Neumann: Das ist quasi das gesamte Betriebsmodell, das ich damit anspreche. Wie helfen wir Unternehmen dabei, dieses gesamte Betriebsmodell abdecken zu können und dabei aufzuzeigen, wo die Risiken sind und wie sie Compliance sicherstellen? Das können wir, das machen wir seit Jahrzehnten als Unternehmen. Das ist, glaube ich, das, wo wir uns gerade ausgezeichnet aufstellen, weil wir jetzt alles zusammenbringen. Wir haben uns natürlich in der Vergangenheit natürlich sehr stark auf Mobilfunk und Festnetz fokussiert. Jetzt geht der Fokus viel, viel stärker auf das gesamte Thema Cloud und Infrastruktur.

Sprecher: Nimm uns mal mit auf die Reise. Ihr habt vor ungefähr einem halben Jahr diese Industrial AI Cloud in München gestartet. Jetzt im Sommer: Wie sieht die Bilanz nach rund sechs Monaten aus?

Lars Neumann: Also die Bilanz nach sechs Monaten – ich muss sagen, es ist jetzt knapp ein bisschen mehr als ein Jahr, seit wir überhaupt gestartet sind. Das war im Juni letzten Jahres. Ein halbes Jahr später war die Öffnung der KI-Cloud, das war im Februar.

Sprecher: Die große Öffnung, deswegen ein halbes Jahr.

Lars Neumann: Genau, die große Öffnung in München mit einigen, die dort waren und uns dabei unterstützt haben. Das geht nur mit lokalen Partnern. Das Ganze war zu dem Zeitpunkt, an dem es live ging, bereits zu mehr als einem Drittel ausgelastet, also schon von Kunden angenommen und in der Nutzung. Seitdem sind wir dabei, die nächste Ebene einzuziehen. Das sagt, glaube ich, etwas darüber, wo wir bei der Auslastung stehen.

Wir sind jetzt gerade dabei, die nächste und auch die neue Generation aufzubauen. Wir haben die Blackwell-Prozessoren, die sind gut, bei 100 im Bildungseinsatz, aber auch RTX. Und jetzt kommen nochmal die B300, die Rubin-Version von Nvidia, die wir gerade installieren und live schalten, sodass wir den Bedarf, der da ist, überhaupt decken können. Der ist gewaltig.

GPU – und ich spreche jetzt nur die Hardware-Krise an – erlebt gerade der eine oder andere. Was mit den Speicherpreisen passiert, erleben wir auch selber. Das führt auch zu Preiserhöhungen, die ich schon bei Wettbewerbern gesehen habe. Da passiert gerade viel im Markt. Allein der Zugang ist ein Thema. Wir erleben es: Das ist wirklich ein Run auf das Thema. Ich kann sagen, die Systeme laufen stabil. Man muss die Betriebsprozesse dafür auch beherrschen, und die Connectivity dazu.

Da spielt jetzt viel zusammen zwischen der Industrial AI Cloud in München und auch der zentralen Cloud, der Public Cloud, die wir haben. Die Connectivity muss da sein, das muss eng zusammenspielen. Das haben wir jetzt seit einem halben Jahr am Laufen. Ich muss sagen, wir sind sehr, sehr zufrieden damit und sind, wie gesagt, dabei auszubauen. Dann schauen wir, wie der nächste Schritt aussieht.

Sprecher: Ja, dann nimm uns mal mit auf die Reise. Wie sieht denn der nächste Schritt aus? Darfst du das schon verraten?

Lars Neumann: Nein, ich meine, ich glaube, jeder weiß, dass aktuell die Ausschreibung zur Gigafactory veröffentlicht wurde. Die bewerten wir natürlich auch, wie viele andere. Dann schauen wir mal. Ich kann nur so viel sagen: Wir sammeln zumindest jetzt seit einem halben Jahr Erfahrung. Wir arbeiten mit Kunden zusammen, die sehr stark nutzen.

Wir trainieren da zum Beispiel das SOFI, das erste Open-Source-Modell aus Europa. Das ist schon mit mehr als 30 Milliarden Parametern in einer Version da. Ziel sind 100 Milliarden Parameter, es soll ungefähr im September fertig sein. Da passiert gerade sehr, sehr viel produktiv. Wir lernen dabei natürlich und entwickeln, wie ich gerade beschrieben habe, an dem Stack auch weitere Services on top.

Das ermöglicht uns, für den nächsten Schritt gut vorbereitet zu sein. Wir müssen uns jetzt natürlich überlegen, wie wir als Konzern vorgehen, ohne jetzt zu viel zu verraten. Ich glaube, das ist auch nicht mein Turf.

Sprecher: Völlig klar. Aber da sind wir wieder bei dem Thema: Du hast gesagt, echte Souveränität entsteht durch die Architektur. Ihr bietet das. Insofern ist diese Souveränität nicht allein durch die Zertifikate, die wir alle kennen – NIS2 und EU AI Act und wie sie alle heißen – gegeben? Oder verstehe ich das falsch?

Lars Neumann: Allein durch ein Zertifikat ist noch keine Souveränität gegeben. Das ist ja nur ein Hinweis zu einem Stichtag, eine Prüfung: Hat man generell die Voraussetzungen dafür geschaffen? Das kann auch kein Anbieter abnehmen, sondern das liegt immer im Unternehmen. Ich muss mir die Gedanken darüber machen: Welche Architektur habe ich? Welche Betriebsprozesse habe ich, sowohl für meine Cloud als auch für die KI? Was sind meine Sicherheitskonzepte? Wer hat Zugriff auf die Cloud? Wie trainiere ich Daten? Wie trainiere ich die KI? Mit welchen Daten? Wie stelle ich sicher, dass ich weiter darauf Zugriff habe und keinen unbefugten Zugriff zulasse?

Da gibt es natürlich Hinweise durch die Zertifikate. Die sind auch wichtig, aber ich muss mir natürlich dann schon mal …