EY spart 60 Prozent KI-Kosten mit smartem Router

Ein Router im Hintergrund lenkt Mitarbeitende automatisch zum passenden KI-Modell und hat den Token-Verbrauch in einzelnen EY-Bereichen um bis zu 60 Prozent gesenkt, so EY-KI-Chef Dan Diasio gegenüber Business Insider.

Steuerung statt freier Modellwahl

Seit April läuft bei EY hinter ausgewählten spezialisierten KI-Tools, etwa in Steuer- und Risikobereichen, ein Router, der Anfragen nicht ungefiltert an die leistungsstärksten Modelle durchreicht, sondern das jeweils passende Modell wählt. Mitarbeitende merken davon nichts, sie geben ihren Prompt wie gewohnt ein, oft sogar mit kürzeren Antwortzeiten, da aufwendigere Modelle mehr internes "Nachdenken" brauchen. Der allgemeine Microsoft-Copilot-Chatbot ist davon ausgenommen.

Kostendruck durch nutzungsbasierte Abrechnung

Hintergrund ist der wachsende Kostendruck durch token-basierte Preismodelle: Zwischen Februar und Juni stellten OpenAI, Anthropic und GitHub von Pauschalpreisen auf nutzungsabhängige Abrechnung um. Laut dem EY-US-Report "AI Pulse" (534 befragte US-Entscheidungsträger, April/Mai) sorgen sich 82 Prozent der Führungskräfte um ihren Token-Verbrauch. Diasio zufolge verursachen meist nur die obersten ein bis zwei Prozent der Belegschaft durch falsche Toolwahl die größten Kostenüberraschungen.

Budgets als nächster Schritt

EY hat rollen- und abteilungsspezifische Token-Budgets eingeführt, zusätzliche Kontingente lassen sich per Freigabeverfahren beantragen. 64 Prozent der Befragten gaben an, ihr Unternehmen überwache den Verbrauch bereits mit klaren Budgetvorgaben, ein Wert, den Diasio binnen sechs Monaten auf rund 90 Prozent steigen sieht. Langfristig soll der Fokus jedoch von reiner Kostenkontrolle auf den geschäftlichen Mehrwert wandern.