Supermicro erzielt Bestwerte bei MLPerf Inference v5.0-Benchmarks
San Jose, Kalifornien – Super Micro Computer, Inc. (NASDAQ: SMCI), ein führender Anbieter von IT-Komplettlösungen mit Fokus auf KI/ML, HPC, Cloud, Datenverarbeitung und 5G/Edge-Technologien, meldet sehr gute Ergebnisse bei den neuesten MLPerf Inference v5.0-Benchmarks. Die Systeme des Unternehmens mit NVIDIA HGX™ B200 8-GPU zeigen beeindruckende Leistungssteigerungen gegenüber der vorherigen Generation – unter anderem eine mehr als dreifache Token-Generierung pro Sekunde.
Bis zu dreifache Leistung im Vergleich zur Vorgängergeneration
Supermicro berichtet, dass seine luft- und flüssigkeitsgekühlten Systeme in ausgewählten Benchmarks, darunter Llama2-70B und Llama3.1-405B, mehr als dreimal so viele Tokens pro Sekunde generieren konnten wie Modelle mit NVIDIA H200 8-GPU. Hervorzuheben ist hierbei auch das neue B200-System, das bei der Ausführung des Modells Llama3.1-405B über 1.000 Token/Sekunde erreicht – ein signifikanter Anstieg gegenüber älteren GPU-Systemen.
Einzigartiger Anbieter für luft- und flüssigkeitsgekühlte Benchmark-Systeme
Supermicro bleibt derzeit der einzige Systemanbieter, der MLPerf-Inferenzleistungen für beide Kühllösungen – luft- und flüssigkeitsgekühlt – veröffentlicht hat. Die Benchmarks wurden mit den Modellen SYS-421GE-NBRT-LCC und SYS-A21GE-NBRT durchgeführt, jeweils ausgestattet mit acht NVIDIA B200-SXM-180GB GPUs. Bei der Inferenz des Mixtral 8x7B-Modells (Mixture of Experts) wurde eine Spitzenleistung von 129.000 Token/Sekunde gemessen.
Optimierte Systeme und Software für maximale Effizienz
Die Ingenieure von Supermicro haben sowohl Hardware als auch Software umfassend optimiert – im Einklang mit den Spezifikationen von MLCommons, die Wert auf reproduzierbare, überprüfbare und öffentlich zugängliche Benchmarkergebnisse legen. Dabei zeigte das luftgekühlte System innerhalb der getesteten Betriebsbereiche die gleiche Leistung wie das flüssigkeitsgekühlte Pendant. Die optimierten Systeme wurden bereits vor Veröffentlichung der Benchmarks an Kunden ausgeliefert.
MLCommons würdigt Leistungsfortschritte
David Kanter, Head of MLPerf bei MLCommons, kommentierte die Ergebnisse: „MLCommons gratuliert Supermicro zu ihrer Teilnahme am MLPerf Inference v5.0-Benchmark. Wir freuen uns, dass ihre Ergebnisse im Vergleich zu früheren Systemgenerationen erhebliche Leistungssteigerungen aufweisen. Die Kunden werden von den erzielten Verbesserungen begeistert sein, die durch die neutralen, repräsentativen und reproduzierbaren MLPerf-Ergebnisse bestätigt werden.“
Neue Generation von Kühlung und Rack-Design
Zur Maximierung der Performance und Effizienz setzt Supermicro auf ein neues Kühlplattendesign sowie auf eine innovative 250-kW-Kühlmittelverteilungseinheit (CDU), die im 4U-Formfaktor mehr als die doppelte Kühlleistung gegenüber der Vorgängergeneration bietet. Die Rack-Scale-Systeme wurden ebenfalls weiterentwickelt: Dank vertikaler Kühlmittelverteiler (CDM) beanspruchen diese keine zusätzlichen Rackeinheiten. In einem 42U-Rack finden bis zu acht Systeme mit insgesamt 64 NVIDIA Blackwell-GPUs Platz, in einem 52U-Rack maximal 12 Systeme mit 96 Blackwell-GPUs.
Innovatives 10U-Design für luftgekühlte Systeme
Das neue luftgekühlte 10U-System auf Basis von NVIDIA HGX B200 nutzt acht GPUs mit je 1000W TDP. Das optimierte Gehäuse ermöglicht einen größeren thermischen Spielraum. Pro Rack lassen sich vier dieser Systeme installieren, sodass die gleiche Dichte wie bei der Vorgängergeneration erreicht wird – bei gleichzeitig bis zu 15-facher Inferenz- und 3-facher Trainingsleistung.
Breites KI-Portfolio und Unternehmensmission
Supermicro bietet ein umfassendes KI-Systemangebot mit über 100 GPU-optimierten Lösungen, sowohl luft- als auch flüssigkeitsgekühlt. Die Systeme sind mit unterschiedlichen CPUs skalierbar – von Single-Socket- bis hin zu 8-Wege-Multiprozessorkonfigurationen. Das Unternehmen verfolgt das Ziel, als Innovationstreiber in Bereichen wie Unternehmens- und Cloud-IT, künstlicher Intelligenz sowie 5G/Edge eine Vorreiterrolle einzunehmen.
„Unsere Bausteinarchitektur ermöglicht es uns, als Erste auf dem Markt mit einer Vielzahl von Systemen zu sein, die für verschiedene Arbeitslasten optimiert sind“, sagte Charles Liang, Präsident und CEO von Supermicro. „Wir arbeiten weiterhin eng mit NVIDIA zusammen, um unsere Systeme zu optimieren und eine Führungsposition bei KI-Workloads zu sichern.“
Über Super Micro Computer, Inc.
Supermicro wurde in San Jose, Kalifornien, gegründet und entwickelt sowie produziert seine Lösungen unternehmensintern in den USA, Taiwan und den Niederlanden. Dabei setzt das Unternehmen auf Skalierbarkeit, Effizienz und Nachhaltigkeit („Green Computing“). Das preisgekrönte Produktportfolio basiert auf dem Konzept der Server Building Block Solutions® und unterstützt eine Vielzahl an Formfaktoren, Prozessoren, Speicherlösungen, Netzwerktechnologien und Kühlsystemen – von konventioneller Luftkühlung über freie Luftkühlung bis hin zu Flüssigkühlung.