Nvidia hat jahrelang den KI-Markt mit einem einzigen Produkt dominiert: der GPU. Jetzt macht das Unternehmen etwas, das es noch nie getan hat. Laut einem Bericht des Wall Street Journal vom 28. Februar 2026 entwickelt Nvidia einen dedizierten Inferenz-Prozessor, der auf der Technologie des Startups Groq basiert. Die Enthüllung wird für die GTC-Konferenz am 16. März in San Jose erwartet. OpenAI hat sich bereits als größter Kunde positioniert und 3 Gigawatt dedizierte Inferenz-Kapazität gesichert — das entspricht der Leistung von drei Großkraftwerken.
Für B2B-Entscheider, die KI-Infrastruktur planen oder betreiben, ist das mehr als eine Produktankündigung. Es ist ein strategischer Kurswechsel des mächtigsten Chip-Herstellers der Welt.
Warum Nvidia plötzlich über den GPU-Tellerrand schaut
GPUs sind brillant im Trainieren von KI-Modellen. Tausende Rechenkerne verarbeiten parallel riesige Datenmengen — genau das, was man braucht, um ein Sprachmodell mit Hunderten Milliarden Parametern zu bauen. Beim sogenannten Inferenz-Betrieb — also wenn das fertig trainierte Modell tatsächlich Antworten generiert — sieht die Sache anders aus.
Das Problem liegt im Arbeitsspeicher. GPUs nutzen sogenannten HBM-Speicher (High Bandwidth Memory), der physisch neben dem Prozessor sitzt und über einen vergleichsweise schmalen Bus kommuniziert. Nvidias H100 erreicht hier rund 3,35 Terabyte pro Sekunde. Klingt viel, ist aber während der Inferenz der größte Flaschenhals: Der Chip verbringt den Großteil seiner Zeit damit, auf Modellgewichte aus dem Speicher zu warten, statt zu rechnen. Laut Awesome Agents liegt die tatsächliche Auslastung von GPUs bei Inferenz-Aufgaben bei nur 30 bis 40 Prozent.
Genau hier setzt die Konkurrenz an. Amazon bewirbt seine Inferentia-2-Chips als 30 bis 40 Prozent energieeffizienter als Nvidias GPUs. Google positioniert seine Ironwood-TPUs als leistungsfähiger pro Watt. Cerebras und SambaNova bauen spezialisierte Inferenz-Hardware. Nvidia kontrolliert zwar noch über 90 Prozent des GPU-Markts für KI-Training — aber beim Inferenz-Betrieb, der mit dem Boom von KI-Agenten exponentiell wächst, drohte Marktanteilsverlust.
Was Groqs LPU anders macht
Groq, gegründet von Ex-Google-Ingenieur Jonathan Ross, hat einen völlig anderen Ansatz gewählt: die sogenannte Language Processing Unit (LPU). Der entscheidende Unterschied: Statt externem HBM-Speicher nutzt die LPU direkt auf dem Chip verbauten SRAM-Speicher als primären Datenspeicher — nicht als Zwischenspeicher (Cache), sondern als Hauptspeicher für die Modellgewichte.
Das Ergebnis ist drastisch. Ein einzelner LPU-Chip liefert laut technischen Analysen rund 80 Terabyte pro Sekunde interne Speicherbandbreite — das ist über 20-mal mehr als ein H100. Dazu kommt ein zweiter Vorteil: deterministische Befehlsausführung. Während eine GPU zur Laufzeit dynamisch entscheidet, welche Berechnungen wann und wo ausgeführt werden (was zu unvorhersagbaren Verzögerungen führt), plant der Groq-Compiler alles im Voraus — jeden Speicherzugriff, jede Berechnung, jedes Datenpaket. Es gibt keine Cache-Misses, keine Sprungvorhersagefehler, keine Überraschungen.
Der Nachteil: Ein einzelner LPU-Chip speichert nur rund 230 Megabyte. Für ein großes Sprachmodell braucht man Hunderte davon, die über Groqs eigenes RealScale-Netzwerk verbunden werden. Laut einer technischen Analyse von TSPA Semiconductor plant Nvidia, bis zu 256 LPUs pro Rack zu integrieren, die sich wie ein einziger großer Speicher verhalten.
Der 20-Milliarden-Dollar-Deal
Im Dezember 2025 schloss Nvidia einen Lizenzvertrag über 20 Milliarden US-Dollar mit Groq ab — den größten Deal dieser Art in der Firmengeschichte. Es handelt sich nicht um eine klassische Übernahme, sondern um eine nicht-exklusive Lizenz kombiniert mit einem sogenannten Acqui-Hire: Gründer Jonathan Ross, Präsident Sunny Madra und der Großteil des Engineering-Teams wechselten zu Nvidia. Die Struktur als Lizenzvertrag statt Akquisition diente laut Wikipedia vermutlich dazu, aufwändige kartellrechtliche Prüfungen zu umgehen.
Jensen Huang, Nvidias CEO, verglich die Rolle von Groq mit der von Mellanox — dem Netzwerk-Spezialisten, den Nvidia 2019 für 7 Milliarden Dollar übernahm und dessen Technologie heute das Rückgrat von Nvidias NVLink-Verbindungen bildet. Groq soll analog dazu laut WCCFTech die Nvidia-Architektur um eine Inferenz-Beschleunigungsschicht erweitern.
OpenAI als Ankerkunde — und die Vorgeschichte
OpenAI ist nicht zufällig der erste Großkunde. Intern hatte das Unternehmen massive Probleme mit der Inferenz-Performance seines Codex-Programmiertools. Die GPU-basierte Inferenz war zu stromhungrig und zu langsam für die latenzempfindlichen Echtzeit-Workloads, die Codex erfordert. OpenAI begann aktiv nach Alternativen zu suchen und führte Gespräche mit Cerebras, SambaNova und eben Groq.
„NVIDIA has long been one of our most important partners, and their chips are the foundation of AI computing. Their upcoming generations should be great.“ — Sam Altman, CEO von OpenAI, via WCCFTech
Mit der Zusage von 3 Gigawatt dedizierter Inferenz-Kapazität signalisiert OpenAI, dass der neue Chip die Anforderungen erfüllt. Zum Vergleich: 3 GW ist die Leistung von drei großen Atomkraftwerken. Das unterstreicht, wie viel Rechenleistung moderne KI-Agenten verschlingen — und warum Energieeffizienz bei Inferenz geschäftskritisch geworden ist.
Was das für den KI-Hardwaremarkt bedeutet
Die strategische Bedeutung geht weit über einen einzelnen Chip hinaus. Nvidia schichtet seine Rechenzentrumsarchitektur in mehrere Ebenen um:
- Blackwell/Grace — Allrounder für Training und Inferenz
- Vera Rubin — HBM4-basierte GPUs für lange Kontexte und hohe Bandbreite
- LPX (Groq-basiert) — Ultra-niedrige Latenz für Echtzeit-Inferenz und KI-Agenten
- CPX — GDDR7-basiert für Prefill-Berechnungen bei langen Kontexten
Das ist ein Paradigmenwechsel. Statt einen Chip für alles zu verkaufen, bietet Nvidia künftig eine Palette spezialisierter Prozessoren an — jeder optimiert für eine bestimmte Phase des KI-Workflows. Für Groq bedeutet die Partnerschaft, dass seine Technologie über Nvidias gigantisches Vertriebsnetz skaliert wird. Für die Konkurrenz — Cerebras, SambaNova, Amazons Inferentia — wird es deutlich schwerer, gegen einen Nvidia-Chip anzutreten, der die Vorteile spezialisierter Inferenz-Hardware mit Nvidias Software-Ökosystem und Marktmacht kombiniert.
Einordnung für B2B-Entscheider
Was bedeutet das konkret für Unternehmen, die KI-Infrastruktur aufbauen oder skalieren?
- Inferenz wird zum Hauptkostentreiber. Mit dem Boom von KI-Agenten, die Tausende Inferenz-Aufrufe pro Aufgabe generieren, verschiebt sich der Kostenanteil dramatisch weg vom Training hin zum Betrieb. Spezialisierte Inferenz-Hardware ist keine Nische mehr.
- Energieeffizienz wird zum Wettbewerbsfaktor. 3 GW für einen einzelnen Kunden zeigt die Dimension. Unternehmen, die KI im großen Stil betreiben, müssen ihre Stromkosten und Nachhaltigkeitsbilanz im Blick behalten.
- Die Multi-Chip-Ära beginnt. Die Vorstellung, dass ein GPU-Typ alles abdeckt, ist überholt. Zukunftsfähige Architekturen werden verschiedene Prozessortypen für verschiedene Workloads kombinieren.
- Abwarten lohnt sich — aber nicht zu lange. Der GTC-Termin am 16. März wird konkrete Spezifikationen liefern. Wer gerade Infrastruktur-Entscheidungen trifft, sollte diese Daten abwarten, bevor er sich langfristig bindet.
Nvidias Schritt zeigt: Selbst der unangefochtene Marktführer erkennt, dass GPUs allein die nächste Phase der KI-Revolution nicht tragen können. Die Frage ist nicht mehr, ob spezialisierte Inferenz-Hardware kommt — sondern wie schnell sie den Markt verändert.
Quellen
- Wall Street Journal — Originalbericht über Nvidias neuen Inferenz-Prozessor (28.02.2026)
- WCCFTech — OpenAI als größter Kunde mit 3 GW Inferenz-Kapazität (28.02.2026)
- Awesome Agents — Technische Analyse der SRAM-Architektur und des Nvidia-Groq-Chips (02.03.2026)
- TSPA Semiconductor — Detaillierte technische Analyse der LPX-Rack-Architektur (01.03.2026)
- WCCFTech — Jensen Huangs Einordnung der Groq-Integration (26.02.2026)
- Wikipedia: Groq — Hintergrundinformationen zum Lizenzvertrag