Nvidia kündigt den vollständigen Produktionsstart von Groq 3 LPX an, Vera Rubin bietet eine vielfache Steigerung der Inferenz-Effizienz, SpaceXAI intensiviert Fokus auf Agenten und Weltraum-KI

Nvidia beschleunigt den Wettlauf um KI-Infrastrukturen und verlagert den Fokus vom traditionellen Modelltraining und den Inferenzleistungen hin zu einer neuen Phase, in der die Geschwindigkeit der Token-Generierung, Energieverbrauch und Kosten rund um Agentic AI im Mittelpunkt stehen.

Am Montag, dem 24. US-Ostküstenzeit, kündigte Nvidia die vollständige Produktion des Groq 3 LPX für interaktive KI-Inferenz an. Als wichtiger Bestandteil der Vera Rubin-Plattform setzt Groq 3 LPX auf ultraschnelle Token-Generierung mit extrem geringer Latenz. Nvidia berichtet, dass im Artificial Analysis-Test unter Verwendung des Gemma 4 31B-Modells und eines Kontextes von 100.000 Token, Groq 3 LPX 3400 Token pro Sekunde ausgab und damit einen Rekord für dieses Modell aufstellte. Bei latenzkritischen Workloads wie Agentenprogrammierung sei die Antwortgeschwindigkeit bis zu viermal schneller als bei konkurrenzfähigen Plattformen.

Gleichzeitig veröffentlichte Nvidia neue Testergebnisse für Vera Rubin NVL72 bei realen Agenten-Workloads: Basierend auf dem AgentX-Workload von SemiAnalysis und dem DeepSeek V4 Pro-Modell erreicht Vera Rubin eine Durchsatzleistung pro Megawatt (MW), die bis zu 30-mal höher ist als die der vorherigen GB300 NVL72-Generation, während die Token-Kosten um den Faktor 35 sinken. Nvidia betont, dass Agentenaufgaben sich von klassischen Chat- oder Zusammenfassungsaufgaben unterscheiden, da sich der Kontext über hunderte Schritte hinweg ansammelt und sogar Zehntausende von Token erreichen kann.

Am gleichen Tag gab Nvidia zudem bekannt, dass SpaceXAI die Vera CPU zur Beschleunigung der nächsten Generation von Agentic AI-Anwendungen einsetzen wird und den Aufbau von Plattformen auf Grundlage von Vera Rubin ausweitet, wobei die Rechenleistung auf mehrere GW skaliert wird. Darüber hinaus plant SpaceXAI, die optimierte Vera Rubin NVL72 bis ins All zu bringen und in der ersten Generation von Starmind AI-Satelliten einzusetzen.

Groq 3 LPX geht in die Vollproduktion – Nvidia schließt die "letzte Meile" für AgentenkI ab

Nvidia bringt Groq 3 LPX nun in die Vollproduktion. Das Ziel ist nicht, mit spezialisierten Inferenz-Chips die GPU zu ersetzen, sondern die Vera Rubin-Plattform durch die Bereitstellung von Fähigkeiten für Token-Generierung mit geringer Latenz zu ergänzen, die traditionelle GPU-Architekturen bislang nicht vollständig abdecken.

Für Agenten bedeutet eine Aufgabe meist nicht nur ein "Frage-Antwort"-Dialog: Der Agent muss Dateien lesen, Tools aufrufen, Code ausführen, Ergebnisse überprüfen und auf Basis dieser Ergebnisse weiter argumentieren – oftmals in hunderten oder sogar tausenden Schritten. Dabei beeinflusst die Geschwindigkeit, mit der die Token pro Schritt generiert werden, die Gesamtdauer der Aufgabe.

Nvidia erklärt, dass Agentic AI zwei verschiedene Rechen-Herausforderungen mit sich bringt: Einerseits das effiziente Handling von ständig wachsenden, umfangreichen Kontexten, andererseits die kontinuierliche Generierung von Token mit extrem niedriger Latenz. Vera Rubin NVL72 übernimmt das Training, die Inferenz sowie die Kontextverarbeitung, während Groq 3 LPX speziell auf Geschwindigkeit bei der Interaktion eines einzelnen Nutzers optimiert ist und die Token-Generierungsrate erhöht.

Neueste Tests von Nvidia zeigen, dass Groq 3 LPX unter Gemma 4 31B mit 100K Kontext 3400 Token pro Sekunde ausgibt; bei Agenten-Aufgaben und anderen latenzsensiblen Workloads beträgt die Antwortgeschwindigkeit das bis zu Vierfache von Konkurrenzplattformen. Dieses Tempo ermöglicht durchgehende Aufgaben wie das Schreiben von Code, Testen, Tool-Aufrufe und Ergebnisverifikation deutlich schneller.

Im kommerziellen Bereich wird Nebius, ein KI-Cloud-Serviceanbieter, als erster Cloud-Anbieter Groq 3 LPX einsetzen und plant, es auf seiner Nebius Token Factory Plattform bereitzustellen. Groq selbst wird zu den ersten Anwendern dieser Plattform gehören.

Mit dem Übergang von Groq 3 LPX in die volle Produktion beginnt die von Nvidia durch die Übernahme der Groq-Technologie erworbene Kompetenz, tatsächlich im Datenzentrum-Produktfamilie von Vera Rubin eingebettet zu werden.

30-fache Effizienz: Mehr Agentenarbeit pro Megawatt, nicht nur 30-fache Geschwindigkeit

Im Vergleich zu Einzelwerten wie 3400 Token/Sekunde ist das Augenmerk von Nvidia vor allem auf die Durchsatzleistung pro Megawatt und die Token-Kosten richtungsweisend.

Die von Nvidia veröffentlichten Testergebnisse zeigen, dass Vera Rubin NVL72 beim SemiAnalysis AgentX-Workload bis zu 30-fachen Durchsatz pro Megawatt im Vergleich zu GB300 NVL72 erzielt und die Token-Kosten bis zu 35-mal sinken. Der Test verwendet realistische Agenten-Programmingszenarien und behält den tatsächlichen Kontextzuwachs, Toolaufrufe und die Generierung von Sub-Agenten bei.

Die Steigerung der Durchsatzleistung um das 30-fache pro MW ist also ein Ausdruck der deutlich gestiegenen Effizienz bei KI-Inferenz und bedeutet nicht einfach eine 30-fache Erhöhung der Chip-Geschwindigkeit.

Dieser Wert ist vor allem für KI-Rechenzentren von großer Bedeutung.

Klassische große Modelle fokussieren stärker auf die Verzögerung und den Durchsatz pro Anfrage, während Agenten-Workloads kontinuierlich Token verbrauchen. Nvidia verweist auf OpenRouter-Daten und legt dar, dass Agentic AI-Workloads bis zu 15-mal mehr Token benötigen als einfache Chat-Anfragen. Ein Agent kann zunächst eine Datenbank abfragen, dann Nachrichten und Dateien recherchieren, Sub-Agenten für Analysen aufrufen, Code ausführen und wiederholt validieren – der Kontext wächst kontinuierlich.

Daher entstehen neue Bewertungsmaßstäbe für die Wirtschaftlichkeit der KI-Infrastruktur: Wie viele effektive Agentenaufgaben können mit einer Megawatt Leistung erledigt werden?

Da Strom und Rechenzentrumskapazitäten zunehmend zum Engpass für KI-Expansion werden, ist die Erhöhung der Anzahl der Token pro Energieeinheit oft wichtiger als die reine Steigerung der Spitzenleistung.

Vera Rubin: Vom „GPU-Plattform“ zum vollständigen KI-Fabriksystem

Architektonisch ist Groq 3 LPX nicht als Einzelprodukt zu sehen, sondern Teil der "ultimativ koordinierten Entwicklungsstrategie" von Nvidia für Vera Rubin.

Nvidia hat Vera Rubin bereits als KI-Fabrik-Plattform für das Zeitalter von Agentic AI definiert. Das System besteht nicht nur aus GPUs, sondern ist auf Kooperation von Rechenleistung, Netzwerk, Speicher und Software ausgelegt und integriert Rubin GPU, Vera CPU, Groq 3 LPX, BlueField-4 DPU, Spectrum-6 SPX und weitere Komponenten.

Rubin GPU übernimmt groß angelegtes Training, Inferenz und Kontextverarbeitung; Groq 3 LPX produziert Token mit hoher Geschwindigkeit; Vera CPU verarbeitet die CPU-intensiven Aufgaben, die zwischen den Modellanfragen von Agenten entstehen, einschließlich Toolkoordination, Codeausführung, Datenhandling und Simulation.

Laut Nvidia erfolgt die Entwicklung der Vera Rubin-Plattform durch sieben Chips und fünf dedizierte Rack-Arten, sodass jede Hardware ihre jeweilige Aufgabe übernimmt anstatt einzelne Prozessoren das gesamte KI-Workload bewältigen zu lassen.

Das bedeutet, dass Nvidia KI-Infrastruktur vom „GPU-Cluster“ zu einem heterogenen Rechensystem weiterentwickelt.

Für KI-Cloudanbieter ermöglicht diese Architektur, Ressourcen gezielt für Training, langkontextuelle Inferenz, Token-Generierung und Toolaufrufe zuzuweisen – so wird die Effizienz und Wirtschaftlichkeit des gesamten Rechenzentrums erhöht.

SpaceXAI setzt auf Vera: Agentic AI vom Datenzentrum ins All

Mit der Einführung von Groq 3 LPX in die Vollproduktion erweitert auch SpaceXAI den Einsatz der Nvidia Vera Rubin-Lösung.

Nvidia gab am 24. August bekannt, dass SpaceXAI die Vera CPU für Anwendungen der nächsten Agenten-KI-Generation einsetzt. Vera ist speziell für CPU-Workloads außerhalb der KI-Modell-Inferenz konzipiert, wie Toolaufrufe, Codeausführung, Datenverarbeitung, Aufgabenkoordination und Simulation.

Vera nutzt 88 von Nvidia selbst entwickelte Olympus-Kerne und ist mit hochbandbreitigem LPDDR5X-Speicher ausgestattet, dessen Bandbreite bis zu 1.2TB/s beträgt. Laut Nvidia ist die Aufgabenperformanz im Bereich Agentic AI, Reinforcement Learning und Datenverarbeitung bis zu 1,8-mal schneller als x86-CPUs.

Für SpaceXAI geht Vera über die Verbesserung der CPU-Leistung hinaus.

Während der Agentenausführung finden viele Aufgaben zwischen KI-Inferenzphasen statt, darunter Codeausführung, Datenverarbeitung, Toolaufrufe und Agentenkoordination. Wird dies nicht ausreichend schnell von CPUs erledigt, warten die GPUs und die Effizienz der gesamten KI-Fabrik sinkt.

SpaceXAI möchte deshalb mit Vera diese „non-model tasks“ schneller abwickeln, sodass GPUs sich stärker auf Training und Inferenz konzentrieren und die Gesamteffizienz verbessert wird.

Zugleich plant SpaceXAI den Ausbau seiner Grok KI-Infrastruktur auf Vera Rubin-Basis: Die Rechenkapazität wächst auf GW-Niveau und die optimierte Vera Rubin NVL72 soll auch auf den ersten Starmind AI-Satelliten zum Einsatz kommen.

Damit wird die beschleunigte Rechenplattform von Nvidia aus dem Boden-Datenzentrum ins Orbit ausgedehnt.

Von „Chatbot“ zu „autonomer Ausführung“: Das KI-Leistungsparadigma wandelt sich

Von der Vollproduktion des Groq 3 LPX, über die 30-fache Throughput-Leistung pro Megawatt in Vera Rubin, bis zur Ausweitung auf Starmind-Satelliten durch SpaceXAI, deuten die von Nvidia gebündelt veröffentlichten Informationen auf einen grundlegenden Wandel: KI-Anwendungen entwickeln sich von der generativen Ausgabe hin zur autonomen Aufgabenabwicklung.

Im Chat- und Zusammenfassungsszenario reicht es meist, dass ein Modell schnell einen Text ausgibt; im Agenten-Szenario hingegen wird dauerhaft argumentiert, Tools aufgerufen, Code ausgeführt, externe Daten abgerufen und Ergebnisse wiederholt validiert.

Das heißt, die Kernmetriken von KI-Infrastrukturen könnten sich künftig verschieben – vom bisherigen Fokus auf „immer größere Modelle trainieren“ hin zu wie viele effektive Token pro Energieeinheit erzeugt werden, wie viele Aufgaben pro Kosteneinheit abgeschlossen werden und wie lange ein Agent für die Ausführung komplexer Aufgaben benötigt.

Nvidia integriert Groq 3 LPX, Vera CPU und Rubin GPU in eine KI-Fabrik, um genau auf diesen Wandel zu reagieren und die Infrastruktur neu zu konzipieren.

SpaceXAI liefert einen visionären Anwendungspfad: Wenn dieses System von Boden-Datenzentren ins Orbit erweitert wird, ist der KI-Computing-Raum nicht mehr auf traditionelle Serverräume beschränkt.