KI im Unternehmen: Was Token mit Kosten-Explosionen zu tun haben (Gesponsert)

Shownotes

Die Kosten für künstliche Intelligenz explodieren in vielen Firmen. Verbrauchsorientierte Abrechnungsmodelle, der einfache Zugang zu leistungsstarken Modellen und das sogenannte „Token-Maxxing“ hebeln klassische Einkaufsprozesse aus. AI Tokenomics soll das ändern: Es geht darum, mit jedem Token einen echten Mehrwert zu erzeugen.

Frederik Marx, Senior Advisor IT Financial Management bei IBM Apptio, beschreibt im Gespräch mit „heise meets …“ einen klaren Dreiklang aus Transparenz, Optimierung und Governance. Zunächst müssen Unternehmen wissen, wer welche Modelle wofür nutzt. Tools wie IBM Cloudability identifizieren die AI-Kosten in den Cloud-Rechnungen und ordnen sie den Business-Einheiten zu. So entsteht Verantwortlichkeit, die Grundlage jeder Optimierung.

Doch die reinen Tokenkosten machen nur 15 bis 30 Prozent einer AI-Initiative aus – Personal-, Trainings- und Integrationskosten schlagen deutlich stärker zu Buche. Erst eine Vollkostensicht liefert CIO und CFO die Basis, um den Wertbeitrag einer Initiative zu bewerten: gesteigerter Umsatz, höhere Kundenzufriedenheit oder eingesparte Fremdleistungen wie externe Übersetzungsservices.

Zur Steuerung dienen Budgetlimits, Model-Gateways und Autorouting, das Anfragen automatisch an das günstigste geeignete Modell weiterleitet. Erste Provider gehen bereits einen Schritt weiter und bieten Outcome-Priced-Modelle an, bei denen nicht mehr Tokens, sondern gelöste Tickets abgerechnet werden.

Im Podcast erfahren Sie außerdem,

  • warum die Kostenkurve bei KI der Cloud-Entwicklung stark ähnelt,
  • wie Tagging zur Königsdisziplin im AI-Controlling avanciert und
  • welche Rolle die Tokenomics Foundation künftig spielen wird.

Keine Folge verpassen: Abonnieren Sie jetzt den Podcast heise meets… – Der Entscheider-Talk auf Apple Podcasts, Spotify und Deezer oder per RSS.

Transkript anzeigen

Sprecherin: Diese Folge wurde vom Arbeitgeber des Interviewpartners gesponsert. heise meets … – Der Entscheider-Talk. Wir besprechen kritische, aktuelle und zukunftsgerichtete Themen aus der Perspektive eines Entscheiders. heise business services begrüßt Persönlichkeiten aus Wirtschaft, Wissenschaft und Politik. Immer aktuell und nah am Geschehen.                                                                                                                                  Sprecher: heise meets … – Der Entscheider-Talk mit Frederik Marx von IBM.

Guten Morgen Frederik, grüße dich.

Frederik Marx: Guten Morgen Matthias.

Sprecher: Lass uns zuerst einmal fragen, weil wir dich noch nicht so gut kennen: Du sitzt in der Nähe von Frankfurt und du bist bei IBM - was?

Frederik Marx: Genau, ich bin Senior Advisor bei IBM Apptio im Bereich IT Financial Management. Wir beschäftigen uns mit der Transparenz über die IT-Kosten in größeren Unternehmen. Wie viele Kosten gibt es im Unternehmen in der IT insgesamt? Wofür werden diese aufgewendet? Und wer nutzt die IT eigentlich am Ende im Unternehmen? Und wie können wir die Kosten verbrauchsorientiert den Empfängern oder den Business-Einheiten zuordnen? Darauf hat sich IBM Apptio spezialisiert. Genau.

Sprecher: Und wenn man jetzt denkt, du bist ein langweiliger Zahlen-Fuchs, dann kann ich das völlig dementieren. Erstens hatten wir ein tolles Vorgespräch und zweitens reden wir über AI-Tokenomics. Diesen Begriff haben vielleicht noch nicht alle gehört. Es lohnt sich, darüber zu sprechen. Was steckt genau dahinter, Frederik?

Frederik Marx: In AI-Tokenomics stecken zwei Wörter: Token und Economics. Es geht darum, wie ich die Tokens, die ich im Unternehmen einsetze, möglichst wirtschaftlich nutzen kann. Das heißt: Wie kann ich mit einem Token einen Mehrwert für das Unternehmen generieren? Ein Token ist eine Input-Folge oder eine Output-Folge, die ich nutze, um die AI anzusteuern und meinen Output zu sehen. Inzwischen ist das eine Abrechnungseinheit. Wie eine Kilowattstunde Strom oder eine CPU-Stunde gibt es auch Tokenkosten.

Sprecher: Wie nutzt ihr das bei IBM selbst? Wie sieht es bei euch mit den Kosten aus?

Frederik Marx: IBM hält uns, wie auch andere Großkonzerne, gerade sehr stark an, uns mit AI auseinanderzusetzen. Wir haben eigene AI-Tools, die wir selbst nutzen sollen für die Vorbereitung unserer Kundengespräche, für Beratungsansätze, aber auch in der Code-Entwicklung. IBM selbst hat das Problem der Tokenkosten relativ früh erkannt. In unserem Code-Entwicklungstool sehe ich live, wie viele Token ich selbst verbrauche und wo mein Limit liegt. Wir haben auch andere Plattformen, die die Token-Nutzung aktiv steuern. Da heißt es dann: Nutze für diesen Prompt das günstige Modell. Wir bekommen auch Informationen, welche Modelle wir für welche Aktivitäten nutzen sollen. Und wenn man in den fortgeschrittenen Tools unterwegs ist, gibt es solche feinen Sachen wie Autorouting. Da muss ich mir als Endanwender gar keine Gedanken mehr darüber machen, ob ich das zu teure Modell nutze. Das Modell routet mich auf Basis meiner Anfrage zu einem günstigeren.

Sprecher: Das heißt, Big Brother is watching you, oder?

Frederik Marx: Zum Teil ja. Wobei Big Brother sich nicht mit den Inhalten größer beschäftigt und die Inhalte nicht rechtfertigt oder analysiert. Er schaut da rein technisch drauf: Welche Anfrage geht idealerweise wohin?

Sprecher: Das ist der Idealzustand, den du beschrieben hast. Wir können ruhig die Namen nennen: Microsoft, Uber – solche Unternehmen waren in den Schlagzeilen und haben dreistellige Beträge für KI ausgegeben. Wie ist der Ist-Zustand jetzt, nachdem sie gemerkt haben: Ups, war doch ein bisschen viel?

Frederik Marx: Das ist in einigen Unternehmen passiert. Es gab dieses Token Maxxing. Das hat der NVIDIA-CEO ja auch gesagt. Die Entwickler wurden zum Teil danach gemessen, wie viele Token sie nutzen. Entsprechend gab es da ein bisschen einen Race. Ich bin jetzt nicht im Detail bei Microsoft und Uber drin, aber wenn man die Nachfolgeberichte liest, haben die sich sehr intensiv mit der Optimierung und der Governance auseinandergesetzt. Die Unternehmen durchlaufen einen kleinen Reifegrad von Innovation, Adoption und Growth. Dann explodieren die Kosten. Dann wachen die CFOs auf einmal auf und sagen: Wir müssen uns damit beschäftigen. Dann geht man in die Optimierung und die Governance. Uber hat, glaube ich, sehr viel in technische Optimierung investiert, in Routing und in automatisierte Optimierung. Bei Microsoft gab es Berichte, dass sie entsprechende Budget-Limits eingeführt haben.

Sprecher: Und wenn dann sie merken, es wird zu teuer, dann kommt Frederik von IBM mit dem großen Rotstift und ist der Freund des Chief Financial Officers, oder?

Frederik Marx: Wir kommen nicht mit dem Rotstift. Was wir mit unseren Tools im Unternehmen zu erreichen versuchen: Wir schaffen erst einmal Transparenz über die KI-Kosten. Mit zwei unserer Tools, IBM Cloudability und IBM Apptio Costing, versuchen wir einerseits relativ schnell Transparenz herzustellen: Welche LLMs werden im Unternehmen mit welchen Kosten genutzt? Wir können das den entsprechenden Business-Einheiten oder Entwicklerteams zuordnen. So entsteht im ersten Schritt Accountability, also Verantwortlichkeit. Die Leute werden sensibilisiert: Welche Kosten erzeuge ich überhaupt? Auf dieser Information kann man dann anfangen zu optimieren und darüber nachzudenken, ob die Kosten denn adäquat sind. Da kommen wir ins Spiel. Die AI-Kosten sind erst einmal nur die Lizenzkosten. An den Tokenkosten beschäftigen wir uns dann auch mit der Frage: Was sind eigentlich die Vollkosten? AI-Kosten machen in der Regel nur 15 bis 30 Prozent der gesamten Kosten einer AI-Initiative aus. Dazu gehören natürlich die Personalkosten der Entwickler, die Trainingskosten und die Integrationskosten. Wir versuchen dann, den Entscheidern die Vollkosten aufzuzeigen. Und im dritten Schritt geben wir dem CIO und dem CFO die Möglichkeit, einer AI-Initiative auch den Wert gegenüberzustellen. Wie viel Revenue generieren jetzt wir damit? Wie viel Kundenzufriedenheit erreichen wir? Wie viele Kosten konnten wir senken? Das ist das Umfeld, in dem wir uns bewegen. Weniger den Rotstift ansetzen, als vielmehr Transparenz und Optimierungsmöglichkeiten aufzeigen.

Sprecher: Das hast du aber schön gesagt. Ich erinnere mich ein bisschen. Es kommt mir vor wie damals, als die Cloud ins Spiel kam. Die Kosten waren erst einmal unkontrolliert. Ist der Vergleich richtig oder hinkt der?

Frederik Marx: Der Vergleich ist sehr richtig. Es treten die gleichen Symptome auf. Die klassischen Einkaufsprozesse werden ein bisschen ausgehebelt. Es gibt einen relativ einfachen Zugang zu den Modellen. Wir haben eine verbrauchsorientierte Abrechnung. Dazu kommt, dass die Tools natürlich toll sind. Ich denke, sowohl du als auch ich nutzen die Tools sehr gerne und profitieren davon. Das Gleiche passiert natürlich in den Unternehmen. Entsprechend explodieren dann bei verbrauchsorientierten Abrechnungsmodellen die Kosten. Wir sehen jetzt das gleiche Pattern im Management: Nach der Growth-Phase und der Kostenexplosion kommt die Optimierung und die Governance. Wie in der Cloud mit der FinOps Foundation, die sich vor allem mit den FinOps-Kosten beschäftigt hat, gibt es jetzt auch eine Tokenomics Foundation. Die setzt sich damit auseinander, wie kann ich Standards und Handlungsempfehlungen definieren damit Unternehmen tatsächlich wirtschaftlich mit Token umgehen und die Kostenexplosion in den Griff bekommen.

Sprecher: Wie kann ich Handlungsempfehlungen geben? Wie kann ich das optimieren, um die Kosten in den Griff zu bekommen?

Frederik Marx: Wir haben es vorhin schon angesprochen. Zuerst muss ich Transparenz schaffen. Ich muss wissen, wo AI im Unternehmen von wem und für welchen Zweck genutzt wird. Dann kann ich mir Gedanken machen: Muss jetzt jeder Zugang zu allen Modellen haben? Ich kann den Zugang beschränken. Ich kann innerhalb des Zugangs Limits für die gesamte Budgetnutzung setzen. Auch die AI-Provider bieten inzwischen die Möglichkeit, Limits in ihren Tools zu hinterlegen und früh Warnungen zu bekommen, wenn man sich dem Token-Limit nähert. Ich kann die Kontextinformationen limitieren oder optimieren. Da gibt es mittlerweile einige Möglichkeiten. Es empfiehlt sich, sich damit frühzeitig auseinanderzusetzen und auch die Augen und Ohren offenzuhalten. Was passiert bei der Tokenomics Foundation oder auch anderen? Welche Empfehlungen gibt es?

Sprecher: Ich brauche also einen Dreiklang, wenn ich dich richtig verstehe: Du brauchst erstens die Transparenz, zweitens musst du optimieren und dann drittens Governance.

Frederik Marx: Genau. Das ist idealerweise der Flow. Ich brauche die Transparenz über das, was im Unternehmen eingesetzt wird, beispielsweise mit unserem IBM Cloudability, wo ich sehr schnell und sehr schön alles sehen kann. Dann kann ich optimieren. Hier muss ich mich mit Themen auseinandersetzen: Wie kann ich den Zugang beschränken? Wie kann ich dafür sorgen, dass günstige Modelle benutzt werden? Und im Bereich Governance muss ich zusehen, dass ich die Optimierung, die ich einmal entwickelt habe, auch nachhalte und durchsetze. Vielleicht auch technisch durchsetze, indem ich Model-Gateways einbaue, die dafür Sorge tragen, dass nur die entsprechenden Modelle genutzt werden, für die sie vorgesehen sind.

Sprecher: Frederik, du bist viel unterwegs, du bist bei vielen Kunden, du bist in vielen Unternehmen. Was sind die ersten Fragen, die dir gestellt werden, wenn es darum geht: Hey, wir wollen von unseren hohen KI-Kosten runterkommen?

Frederik Marx: Die ersten Fragen sind genau da, wo der Dreiklang anfängt. Die erste Frage ist: Wie kann ich die AI-Kosten überhaupt erfassen? Wir sind noch ein bisschen am Anfang dieser Bewegung. Wir bekommen aktuell von vielen Unternehmen die Frage: Wir müssen erst einmal Transparenz über die AI-Kosten bekommen. Und da setzen wir an. Einerseits geht das gut im Cloud-Umfeld, weil die Cloud-Provider neben der Rechnung auch die Usage-Files bereitstellen. Damit gewinnt man sehr schnell Transparenz. Es gibt aber auch viele Themen, die nicht über die Cloud-Kosten kommen. Hier ist es ein bisschen auch klassisches Controlling: Man bewegt sich durch die Eingangsrechnungen und Eingangsdaten und identifiziert die AI-Kosten. Da haben wir gerade die meisten Anfragen. Die Kunden sind aktuell dabei, dieses AI-Controlling aufzubauen.

Sprecher: Was sind deine Tipps, wenn du die Frage bekommst: Hey, wir brauchen diese Transparenz? Welche Tipps gibst du, um zu sagen: Ihr müsst darauf schauen, erstens, zweitens, drittens?

Frederik Marx: Aus meiner Sicht ist es der einfachste Case und erwischt wahrscheinlich einen großen Teil der AI-Kosten. Ich würde tatsächlich über das bestehende FinOps-Tooling versuchen, in den Cloud-Rechnungen die AI-Kosten zu identifizieren. Über Azure, AWS und GCP wird ja auch viel AI bezogen. Damit erreiche ich wahrscheinlich einen hohen Abdeckungsgrad der Cloud-Kosten. Es ist im Vergleich zum Durchgehen der Datenbasis sehr einfach, an die Daten zu kommen. Das wäre meine erste Empfehlung. Ein FinOps-Tool wie unser IBM Cloudability nutzen, um diese Transparenz herzustellen. Darauf aufbauen und sich mit den Daten auseinandersetzen. Was nutzen wir überhaupt? Wo sind die Kostentreiber? Was sind die teuren Modelle? Ist es richtig, dass diese Gruppe in unserem Unternehmen das teure Modell benutzt? Oder müssen wir mit denen sprechen und es einschränken? Dann bin ich an dem Punkt, wo ich sage: Wie kann ich das nachhalten? Macht es für uns Sinn, ein Model-Gateway einzubauen, das dafür sorgt, dass sich dieser Fehler nicht wiederholt?

Sprecher: Aber du machst nicht immer Freunde mit deinen Ratschlägen. Umsetzen müssen es die Unternehmen, eure Kunden. Wenn es um Transparenz geht und man schaut, wer welches Modell nutzt und wer welche Kosten verursacht, dann werden die Entwickler sicherlich mehr haben als die Marketingabteilung. Wenn dann klar ist: Hey, ihr im Marketing, ihr müsst ein bisschen zurückschrauben – dann ist es wahrscheinlich eine große Hürde, das für ein Unternehmen umzusetzen. Denn du musst am Ende etwas beschneiden, oder?

Frederik Marx: Es geht nicht darum, dass die Abteilungen keine KI mehr nutzen dürfen. Es geht nur darum zu sagen: Welche Modelle sind für euch adäquat? Am Ende müssen es die Stakeholder im Unternehmen entscheiden, die das Budget verantworten. Das sind ja nicht wir. Und ich kann das auch gegenüber meinen Vorgesetzten rechtfertigen, dass wir mit diesen Ausgaben einen Mehrwert generieren, der höher ist als die Einkaufskosten der Tokens. Es ist klar, dass ein Engineering Department, das neue Tools entwickelt, komplexe Tools und Code-Entwicklungstools braucht, die vielleicht auch teurer sind als das, was für einen normalen Mitarbeiter im Controlling ausreicht, dem vielleicht ein normaler Copilot oder ein anderer Chat genügt.

Sprecher: Du hast es schon angesprochen: Wenn ich mehrere KI-Anbieter im eigenen Betrieb habe, dann gucke ich, wer was nutzt, und versuche natürlich, die kostengünstigere Variante anzubieten. Wie läuft das in der Praxis?

Frederik Marx: Es geht darum, dass man sich mit den Einzelpreisen auseinandersetzt. Das würde man beispielsweise in IBM Cloudability sehen. Da sieht man, welches LLM welche Kosten verursacht und die Kosten pro Token. Dann brauche ich eine gewisse Abteilung, die sich mit AI-Governance auseinandersetzt oder sich dahin entwickelt. Die muss auch in der Lage sein, ein bisschen zu recherchieren, welches Modell hier adäquat und günstiger wäre. Es gibt inzwischen im Internet auch tolle Preis-Vergleichstabellen für Token. Da kann man sehen, was mich ein Input- oder ein Output-Token kostet. Entsprechende Informationen haben wir auch durch die realen Daten zur Verfügung. Ein Unternehmen kann dann entscheiden: Wollen wir die Vielfalt an Modellen reduzieren? Was sind die günstigeren Modelle? Und in die Diskussion gehen: Würde es das für euren Aufgabenbereich nicht auch tun? Das haben wir im FinOps-Umfeld auch gesehen. Da haben die Leute in der Cloud verschiedene Instanzen und Storages deployt und genutzt. Bei der Vermessung sieht man dann: Das ist nicht alles optimal genutzt, wir können auch auf günstigere Varianten umschalten.

Sprecher: Was ist mit Budgetwarnungen seitens der Provider?

Frederik Marx: Das wird inzwischen angeboten. Die Provider bieten das in ihrem Tooling für Projekte, Teams oder auch Agenten an. Da kann man durch eigene Kennzeichnungen über eine Kostenstellenhierarchie, Department Names oder Initiativen-Namen nachhalten und nachvollziehen, wer welche KI im Unternehmen nutzt. Tagging ist – wie sich auch im FinOps-Umfeld gezeigt hat – ist die Königsdisziplin. Um aus diesen Millionen von Rechnungszeilen wieder schlau zu werden, muss ich die entsprechenden Tags setzen, um dann die Kosten zuordnen zu können.

Sprecher: Jetzt mal im Detail zu eurem Angebot. Du hast schon gesagt, wir haben das eine oder andere in petto. Wir als IBM stellen unseren Kunden gerne etwas zur Verfügung. Wie funktioniert das im Detail? Erzähl es uns.

Frederik Marx: Wir haben zwei Portfolien. Es gibt einerseits eine IBM watsonx AI Governance Plattform, die sich mit den Themen Observability, KI-Agenten-Aufbau, aber auch Model-Routing beschäftigt. Das ist nicht genau der Themenbereich, in dem ich mich bewege. Wir sind im Bereich IBM Apptio unterwegs: Kostentransparenz, Vollkostentransparenz und Wirtschaftlichkeit von Tokens. IBM Cloudability ist unsere FinOps-Lösung, in der wir historisch gesehen vor allem die Cloud-Kosten gemanagt haben. Genau dieses Instrumentarium bietet sich aber auch hervorragend an, um die LLM-Kostentransparenz herzustellen, wie ich es bereits vorher erläutert habe. Die Informationen kommen oftmals von denselben Providern. Wir können innerhalb der großen Cloud-Rechnung und der Usage-Files auch identifizieren, was die AI-Kosten und die AI-Positionen sind, und diese separieren und entsprechend darstellen. Das ist eines der Grundlagentools: IBM Cloudability. Wenn wir darüber nachdenken, dass nur rund 10 bis 30 Prozent der AI-Kosten die Tokenkosten oder Lizenzkosten sind, dann brauche ich eine Vollkostensicht auf die AI-Initiativen. Ich muss sehen: Wie viele Entwickler arbeiten an dieser Initiative? Was sind die Integrationskosten in meinem Unternehmen? Was kosten die Schnittstellen, die ich aufbauen muss, um die Tools in die Bestandstools einzubauen? Was sind die Trainingskosten für die Mitarbeiter, die später mit den Tools arbeiten sollen? Dafür haben wir IBM Apptio Costing. Das ist unser Standardprodukt, mit dem wir die IT-Produktion im Unternehmen abbilden, über alle Wertschöpfungsstufen: vom Einkauf, von Netzwerken und Data Centern über Applikationen bis zur Service-Sicht der Anbieter. Dort sind wir auch gut in der Lage, die Vollkosten für KI-Services zu modellieren und aufzuzeigen. Das ist IBM Costing. Damit bekommt der CIO tatsächlich die Vollkostensicht auf seine AI-Initiativen.

Sprecher: Und wenn ihm das nicht passt, dann kann er die entsprechenden Schritte einleiten?

Frederik Marx: Dann kann er die entsprechenden Schritte einleiten. In der Regel sollte er noch einen dritten Schritt machen: Er sollte den Vollkosten die Wertschöpfung gegenüberstellen. Erst dann kann ich beurteilen, ob die Initiative trägt. Habe ich Umsatz gesteigert? Habe ich die Kosten gesenkt? Dann bin ich im Bereich der sogenannten Return-on-Invest-Betrachtungen von AI. Ich gehe gesamthaft durch meine Initiativen durch und sage: Welche dieser Initiativen sind nachhaltig wertschaffend für das Unternehmen? Und welche sind vielleicht nur kostengenerierend? Die soll ich natürlich nicht weiterverfolgen.

Sprecher: Völlig klar. Das ist der dritte Schritt. Was ist der Nutzen? Was kommt hinten an? Was ist neben den Kosten noch da? Da gebt ihr mir auch eine Hilfestellung, wenn ich der Entscheider bin?

Frederik Marx: Genau. Das nutzt auch unser Standardmodul IBM Apptio Costing. Da haben wir ein spezielles Modul aufgebaut, das nennt sich AI ROI and Value. Da tracken wir genau die AI-Initiativen und stellen sie den Vollkosten gegenüber. Man kann tatsächlich nachvollziehen, welche Initiativen über die Zeit einen höheren Wertbeitrag schaffen. Die Business-Entscheider, die die Kosten am Ende aus ihren Budgets finanzieren müssen, können entscheiden: Möchte ich dieses Projekt weiterverfolgen? Oder ist es ein Projekt, das eventuell nicht trägt?

Sprecher: Gib uns mal ein Beispiel, wenn Erfolge und Nutzen beziffert werden sollen. Könnten das Übersetzungskosten sein oder Überstunden? Was ist das, was dir am häufigsten begegnet?

Frederik Marx: Ein einfaches Beispiel: Wenn ich dem Unternehmen einen AI-Chatbot zur Verfügung stelle, der automatisch übersetzen kann, dann brauche ich keinen externen Übersetzungs-Service mehr. Da würde ich wahrscheinlich den Fremdvertrag kündigen oder das spezielle Tool, das ich vorher im Einsatz hatte, nicht mehr nutzen. Damit hätte ich in meiner Gewinn- und Verlustrechnung einen Effekt: Ich kann externe Kosten zurückfahren. Ein anderes Thema wäre: Ich baue einen Agenten in mein Ticketing-System ein. Der Kunde hat eine Beschwerde, und der Agent ist in der Lage, automatisiert das Ticket schnell zu schließen. Hier würden wir eher über Kundenzufriedenheit sprechen. Im Ticketsystem gibt es meistens eine Abfrage. Man würde sehen, dass hier die Kundenzufriedenheit steigt.

Sprecher: Kundenzufriedenheit ist wichtig.

Frederik Marx: Genau. Es zeigt eine Wirkung. Der Impact ist eher indirekt, oder? Einerseits würde man vielleicht später einen höheren Umsatz sehen. Andererseits kann man sagen: Gibt es die Möglichkeit, dass im eigenen Service-Desk keine Überstunden mehr notwendig sind, weil die Mitarbeiter mit den Bestandsressourcen jetzt besser hinkommen? Dann hätte ich auch einen kleinen Kosteneffekt an einer anderen Stelle. Diese würde ich dann den AI-Kosten gegenüberstellen.

Sprecher: Und im Idealfall muss ich dann nicht gleich meinen Kardiologen anrufen, wenn die Rechnung kommt.

Frederik Marx: Im Idealfall sollte das nicht mehr vorkommen, dass die Kosten explodieren. Ich behalte durch gesetzte Budget-Limits die Kontrolle. In den Edge-Cases setze ich eventuell Workflows auf, die es erlauben, auch mal ein Limit aufzuheben, wenn ich sage: Das hat so einen Mehrwert. Aber diese Kostenexplosion, diese Überraschung, sollte ich mit einem Toolsset – wie wir es im Dreiklang gesagt haben: Transparenz, Optimierungsbemühungen und nachhaltige Governance – in den Griff bekommen und in eine etablierte AI Practice überführen können.

Sprecher: Frederik, lass uns abschließend gemeinsam in die Zukunft gucken. Wir führen dieses Gespräch im Frühherbst 2026. Wenn wir 365 Tage nach vorn schauen: Was glaubst du, wie wird sich die Situation, wenn es um Tokenomics geht, geändert haben? Was sind die Erfahrungen? Was sind die Trends? Was siehst du?

Frederik Marx: Das ist für mich ein bisschen ein Blick in die Glaskugel. Was man aufgreifen kann, sind die Studien von Goldman Sachs oder Gartner, die weiterhin nach vorne ein wahnsinniges Wachstum prognostizieren. Wir werden sehen, dass die IT-Kosten im IT-Budget einen zunehmend größeren Anteil einnehmen. Alle Unternehmen befinden sich im Reifegrad vielleicht noch in einer Innovation-, Adoption- und Growth-Phase. Ich denke, wir werden 2027 verstärkt in die Phasen der Optimierung und der Governance kommen. Themen, die wir jetzt eher am Anfang hören – Model-Gateways, Routing-Gateways, Optimierungen – werden wahrscheinlich verstärkt in den Unternehmen etabliert werden. Es werden sich wahrscheinlich auch gewisse Modelle durchsetzen. Es wird nicht mehr so eine breite Streuung geben. Das sind Dinge, die ich erwarte. Was weiterhin schwer einzuschätzen ist: Wie dynamisch entwickelt sich der Markt? Wie verschieben sich die Pricing-Modelle? Es gibt jetzt auch die ersten Outcome-Priced-Modelle, die auch spannend sind. Da wird der AI-Provider nicht mehr dafür bezahlt, wie viele Token man benutzt hat, sondern wie viele Tickets er gelöst hat. Auch die Provider denken um: Wie kann ich mein Pricing Richtung Wertschöpfung und Geschäftserfolg ummünzen? Damit geht das Risiko auch Richtung des AI-Providers und nicht nur Richtung des Unternehmens, das es einsetzt. Das sind Themen, die wir gerade sehen. Ich bin selbst gespannt, wenn wir uns vielleicht in einem Jahr wiedersprechen, Sprecher, wie die Welt dann aussieht und welche Tools wir beide auch nutzen werden.

Sprecher: Bitte gerne, das wird spannend.

Frederik Marx: Ich bin mir ziemlich sicher, dass die AI Governance einen neuen Reifegrad erhalten wird. Meine Empfehlung für eure und unsere Hörer wäre: die Augen offen halten und das Ohr auf die Straße legen. Was passiert bei der Tokenomics Foundation, die noch sehr jung ist? Welche Empfehlungen geben die heraus? Davon kann man als Unternehmen profitieren und die Kosten in den Griff bekommen. Und natürlich gerne auch bei uns anrufen.

Sprecher: Ja, wollte ich gerade sagen. Ihr habt bestimmt noch das eine oder andere Tool perfektioniert und sagt dann: Hey, wir stehen bereit, wenn ihr eine Lösung sucht. IBM ist dabei.

Frederik Marx: Genau, wir entwickeln uns ja auch ständig weiter. Ich glaube, das ist auch nochmal der Vorteil gegenüber eigenentwickelten Softwarelösungen wie einem kleinen LLM-Dashboard. Wir haben die Möglichkeit, Konnektoren standardisiert zu den Providern aufzubauen und Optimierungsmöglichkeiten, die wir sehen, in die Tools zu bringen. Wir werden auch weiterhin neue Ideen einbringen, die in die Tools fließen.

Sprecher: Perfekt, dann haben wir den Werbeblock am Ende auch noch. Frederik Marx, IBM, wir haben über AI-Tokenomics gesprochen. Ich nehme dich jetzt schon beim Wort, Frederik: nicht zum letzten Mal ;-)

Frederik Marx: Sehr gerne. Wir sollten das festhalten für das nächste Jahr und dann schauen, ob die Marktprognosen da gelandet sind, wo sie aktuell erwartet werden.

Sprecher: Ich schreibe die alle nochmal für mich auf. Beziehungsweise das lasse ich dann die KI machen, das nochmal zusammenfassen. Dann gucke ich genau, was der Frederik gesagt hat und ob es stimmt. Oder lagen wir beide beim Blick in die Glaskugel vielleicht noch falsch? Kann ja auch sein.

Frederik Marx:Super, vielen Dank Matthias für die Möglichkeit.

Sprecher: Ich danke dir für deinen Besuch bei heise meets … – Der Entscheider-Talk. Du musst zum nächsten Kunden, weil ihr seid nachgefragt. Und wie gesagt: Wir hören uns. Danke Frederik. Sprecherin: Das war heise meets … – Der Entscheider-Talk. Sie wollen mehr erfahren? Dann besuchen Sie uns auf heise-meets.de. Wir freuen uns auf Sie.

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.