Speicherleistung bei KI-Chips richtig beurteilen
Ein KI-Beschleuniger kann auf dem Datenblatt beeindruckende Rechenleistung besitzen und trotzdem nur langsam auf Anfragen reagieren. Häufig liegt die Ursache nicht bei den Rechenwerken, sondern bei den Datenwegen. Ein Modell muss zunächst in den verfügbaren Speicher passen. Danach müssen Gewichte, Zwischenergebnisse und Eingaben schnell genug zu den Recheneinheiten gelangen. Speicherkapazität, Speicherbandbreite und tatsächliche Modellgeschwindigkeit sind drei verschiedene Größen. Wer sie verwechselt, vergleicht KI-Hardware anhand der falschen Zahlen.
High Bandwidth Memory, kurz HBM, ist für besonders hohe Datenraten ausgelegt. Der Speicher sitzt in modernen Hochleistungsbeschleunigern nahe am Rechenchip und ist über eine sehr breite Schnittstelle angebunden. Das macht ihn für bestimmte KI-Aufgaben attraktiv, sagt aber allein noch nichts über die Leistung eines kompletten Systems aus. Dieser Ratgeber konzentriert sich deshalb auf die praktische Bewertung: Wie viel Speicher braucht ein Modell? Wann wird Bandbreite zum Engpass? Welche Kennzahlen helfen beim Kauf oder bei der Planung eines KI-Servers?
Wer zuerst den grundsätzlichen Aufbau gestapelter Speicherchips verstehen möchte, findet diese Erklärung im eigenständigen HBM-Grundlagenartikel. Hier geht es vor allem um die Entscheidung anhand messbarer Anforderungen.
Kapazität: Passt das KI-Modell überhaupt in den Speicher?
Die Speicherkapazität beantwortet zunächst eine einfache Frage: Können die Gewichte des Modells und die während der Berechnung benötigten Daten vollständig auf dem Beschleuniger liegen? Bei einem Sprachmodell mit sieben Milliarden Parametern benötigen die reinen Gewichte bei 16 Bit pro Parameter rechnerisch rund 14 Milliarden Byte, also etwa 14 GB. Das ist jedoch noch kein realistischer Gesamtbedarf. Hinzu kommen Speicher für Zwischenergebnisse, Laufzeitumgebung und den sogenannten KV-Cache, der bei der Textgenerierung Informationen über bereits verarbeitete Textteile bereithält.
Eine geringere Zahlenpräzision kann den Bedarf deutlich reduzieren. Werden Gewichte beispielsweise mit vier Bit statt 16 Bit gespeichert, sinkt ihr theoretischer Platzbedarf auf etwa ein Viertel. Die reale Datei und der tatsächliche Speicherverbrauch können wegen Skalierungsfaktoren, Metadaten und nicht quantisierten Teilen höher ausfallen. Zudem verträgt nicht jedes Modell jede Quantisierung gleich gut. Eine kleine Speicherangabe auf einer Modellseite ist deshalb kein Garant dafür, dass die Anwendung mit genau dieser Menge Grafikspeicher stabil läuft.
Entscheidend ist die Spitzenbelegung während der tatsächlichen Nutzung. Ein Modell, das mit einer kurzen Eingabe problemlos startet, kann bei langem Kontext oder mehreren gleichzeitigen Nutzern erheblich mehr Speicher benötigen. Bei Bildmodellen hängen die Anforderungen unter anderem von Auflösung, Verarbeitungsschritten und Stapelgröße ab. Beim Training kommen zusätzlich Gradienten und Optimierungszustände hinzu; der Bedarf kann dann weit über die Größe der Modellgewichte hinausgehen.
Reicht der lokale Speicher nicht aus, müssen Daten ausgelagert, zwischen Geräten verteilt oder Teile des Modells auf langsameren Speicher verlegt werden. Das kann funktionieren, kostet jedoch oft Geschwindigkeit. Mehr HBM-Kapazität hilft daher insbesondere dann, wenn sie einen solchen Engpass beseitigt. Zusätzliche Gigabyte beschleunigen ein bereits vollständig passendes Modell dagegen nicht automatisch.
Bandbreite: Wie schnell gelangen Gewichte zu den Rechenwerken?
Speicherbandbreite bezeichnet die theoretisch übertragbare Datenmenge pro Sekunde. Bei der Generierung einzelner Textabschnitte kann ein Sprachmodell häufig dadurch begrenzt sein, wie schnell seine Gewichte gelesen werden. Ein einfaches Gedankenexperiment verdeutlicht den Zusammenhang: Müssen für einen Verarbeitungsschritt 12 GB Modelldaten bewegt werden und stehen effektiv 600 GB pro Sekunde zur Verfügung, ergibt sich allein für diese Datenbewegung eine Untergrenze von 0,02 Sekunden. Das entspricht rechnerisch höchstens 50 solchen Schritten pro Sekunde, bevor weitere Kosten berücksichtigt werden.
Diese Rechnung ist keine Vorhersage der tatsächlichen Tokenrate. Reale Systeme erreichen nicht dauerhaft die nominelle Bandbreite. Daten können im Zwischenspeicher liegen, mehrfach genutzt werden oder zusätzliche Übertragungen verursachen. Auch die Rechenoperationen selbst, die Software, die Eingabelänge und die Verarbeitung mehrerer Anfragen beeinflussen das Ergebnis. Der Rechenweg ist dennoch nützlich: Er zeigt, weshalb ein Chip mit vielen Recheneinheiten bei geringer Speicherbandbreite ausgebremst werden kann.
Bei großen Eingabestapeln oder beim Training lassen sich Rechenwerke oft besser auslasten, weil dieselben Gewichte für mehrere Berechnungen verwendet werden. Dann kann die reine Rechenleistung stärker ins Gewicht fallen. Bei interaktiver Textgenerierung mit kleinen Stapeln ist hingegen die Datenbewegung häufig besonders wichtig. Deshalb kann die Rangfolge zweier Beschleuniger je nach Anwendung wechseln.
HBM erreicht hohe Bandbreiten durch breite, kurze Verbindungen zwischen Speicher und Beschleuniger. Der praktische Vorteil hängt jedoch davon ab, ob die Anwendung diese Bandbreite tatsächlich nutzt. Wer Produkte vergleicht, sollte nicht nur den höchsten Wert aus dem Datenblatt übernehmen, sondern möglichst Messungen mit dem eigenen Modell und einer vergleichbaren Eingabelänge suchen.
Latenz, Durchsatz und die Zahl gleichzeitiger Nutzer
Die Geschwindigkeit einer KI-Anwendung besteht aus mehreren Komponenten. Bei einem Chatdienst fällt zuerst die Zeit bis zum ersten ausgegebenen Token auf. Danach zählt, wie viele Token pro Sekunde folgen. Für einen Dienst mit vielen Nutzern ist zusätzlich wichtig, wie viele Anfragen das System insgesamt bearbeiten kann. Diese drei Messgrößen lassen sich nicht durch eine einzige Bandbreitenzahl ersetzen.
Ein System kann beispielsweise einen hohen Gesamtdurchsatz erzielen, indem es viele Anfragen bündelt. Für den einzelnen Nutzer verlängert sich dabei möglicherweise die Wartezeit. Umgekehrt kann eine Konfiguration sehr schnell auf eine einzelne Anfrage reagieren, aber bei steigender Nutzerzahl rasch an Grenzen stoßen. Der KV-Cache wächst mit dem Kontext und der Zahl paralleler Sitzungen; dadurch sinkt der Speicher, der für weitere Anfragen verfügbar bleibt.
Bei der Planung eines KI-Servers sollten deshalb mindestens die erwartete Modellgröße, typische Eingabelänge, gewünschte Antwortgeschwindigkeit und gleichzeitige Nutzerzahl feststehen. Erst dann ist sinnvoll zu beurteilen, ob zusätzliche HBM-Kapazität, mehr Bandbreite oder ein weiterer Beschleuniger den größeren Nutzen bringt. Eine schnellere Speichertechnologie ersetzt keine passende Kapazitätsplanung.
Datenblatt lesen: Welche Angaben wirklich zusammengehören
Für einen belastbaren Vergleich müssen mehrere technische Angaben gemeinsam betrachtet werden. Die folgende Tabelle zeigt, welche Fragen sie beantworten. Sie ersetzt keinen Anwendungstest, verhindert aber typische Fehlschlüsse bei der Auswahl.
| Kennzahl | Wofür sie wichtig ist | Typischer Denkfehler |
|---|---|---|
| Speicherkapazität | Modellgewichte, Kontext, Zwischendaten und parallele Anfragen | Mehr Gigabyte bedeuten immer mehr Geschwindigkeit |
| Speicherbandbreite | Versorgung der Rechenwerke mit Daten | Der theoretische Spitzenwert wird immer erreicht |
| Rechenleistung | Operationen bei geeigneter Zahlenpräzision | TOPS oder FLOPS allein bestimmen die Modellgeschwindigkeit |
| Unterstützte Zahlenformate | Speicherbedarf, Rechenpfad und Modellqualität | Jede Software nutzt jedes angebotene Format |
| Verbindung zwischen Beschleunigern | Verteilung größerer Modelle auf mehrere Geräte | Speicherkapazitäten lassen sich ohne Zusatzkosten addieren |
| Leistungsaufnahme | Stromkosten, Kühlung und Dauerbetrieb | Der Chipverbrauch entspricht dem Verbrauch des Gesamtsystems |
Gerade beim Zusammenschalten mehrerer Beschleuniger sind die Verbindungen wichtig. Ein Modell, das auf zwei Geräten verteilt wird, benötigt zusätzliche Kommunikation. Eine hohe HBM-Bandbreite innerhalb eines Beschleunigers garantiert nicht, dass Daten zwischen zwei Geräten ebenso schnell übertragen werden können. Der langsamste relevante Datenweg kann die gesamte Verarbeitung begrenzen.
Praxisbeispiel: Drei Anwendungen, drei Speicherentscheidungen
Ein einzelner Arbeitsplatz mit lokalem Sprachmodell
Eine Person möchte Dokumente lokal zusammenfassen und gelegentlich Fragen an ein Sprachmodell stellen. Das Modell soll vollständig auf einem Gerät laufen. Hier ist zuerst zu prüfen, ob die gewählte Modellversion einschließlich Kontext und Laufzeitbedarf in den verfügbaren Speicher passt. Ist das der Fall, entscheiden Bandbreite, Softwareunterstützung und Rechenleistung über die Antwortgeschwindigkeit. Ein größerer HBM-Beschleuniger kann überdimensioniert sein, wenn ein kleineres Modell auf vorhandener Hardware die Aufgabe bereits zuverlässig erledigt.
Ein interner Assistent für viele Mitarbeitende
Ein Unternehmen möchte gleichzeitig zahlreiche Anfragen beantworten. Nun wird der Speicherbedarf für parallele Sitzungen wesentlich. Die Auslastung verändert sich über den Tag; längere Kontexte können die Kapazität zusätzlich beanspruchen. Eine Konfiguration sollte deshalb mit realistischen Lastspitzen getestet werden. Mehr HBM kann die Zahl gleichzeitig verarbeitbarer Anfragen erhöhen, ohne dass jedes einzelne Gespräch spürbar schneller wird.
Training und Anpassung von Modellen
Beim Training sind Modellgewichte nur ein Teil der Speicherrechnung. Gradienten, Aktivierungen und Optimierungszustände benötigen zusätzlichen Platz. Techniken wie gemischte Präzision, Aktivierungsberechnung bei Bedarf oder verteiltes Training verändern die Anforderungen. Hier müssen Speicherbedarf, Rechenleistung und Verbindung zwischen Geräten gemeinsam geplant werden. Die optimale Lösung kann sich deutlich von einer Konfiguration für reine Textgenerierung unterscheiden.
Diese Beispiele zeigen, weshalb die Frage „Wie viel HBM ist gut?“ zu ungenau ist. Die richtige Frage lautet: Welche Speicheranforderung verursacht meine konkrete Arbeitslast?
HBM, GDDR und Arbeitsspeicher: Die praktische Auswahl
HBM ist nicht die einzige Möglichkeit, KI-Modelle auszuführen. Leistungsfähige Grafikkarten verwenden häufig GDDR-Speicher, während kleinere lokale Modelle auch auf Systemen mit gemeinsam genutztem Arbeitsspeicher betrieben werden können. Die Unterschiede liegen unter anderem in Bandbreite, Kapazität, Energiebedarf, Preis und Softwareunterstützung. Keine Speicherart ist für sämtliche Anwendungen automatisch überlegen.
Ein Rechner mit großem gemeinsam genutztem Speicher kann beispielsweise ein Modell aufnehmen, das nicht in den Speicher einer kleineren Grafikkarte passt. Die Ausführung kann dennoch langsamer sein, wenn Bandbreite oder Rechenleistung geringer ausfallen. Umgekehrt nützt eine sehr schnelle Grafikkarte wenig, wenn das gewünschte Modell ständig Daten aus langsameren Speicherbereichen nachladen muss.
HBM ist vor allem dort interessant, wo hohe Bandbreite und große lokale Datenmengen zusammenkommen. Die Herstellung und Integration sind aufwendig; die Technik ist deshalb kein pauschales Kaufargument für normale Bürorechner. Für private Nutzer kann eine passende GDDR-Grafikkarte wirtschaftlicher sein. In professionellen Umgebungen zählt zusätzlich, wie viele Anfragen pro Watt, pro Gerät oder pro Euro zuverlässig verarbeitet werden.
Wer zwei Systeme vergleicht, sollte die gleiche Modellversion, die gleiche Quantisierung, ähnliche Kontextlängen und identische Messgrößen verwenden. Andernfalls werden nicht die Speicherlösungen verglichen, sondern unterschiedliche Arbeitsbedingungen.
Ein sinnvoller Leistungstest für die eigene KI-Anwendung
Ein aussagekräftiger Test beginnt mit einer klaren Arbeitslast. Bei einem Sprachmodell sollte die verwendete Modellversion feststehen, ebenso die Quantisierung und die Laufzeitumgebung. Danach werden mehrere typische Eingaben mit kurzen und langen Kontexten ausgeführt. Sinnvoll sind Messungen der Zeit bis zum ersten Token, der Geschwindigkeit während der Ausgabe und des höchsten Speicherverbrauchs. Für einen Mehrnutzerbetrieb kommen Tests mit steigender Zahl paralleler Anfragen hinzu.
Messungen sollten wiederholt werden, weil Hintergrundprozesse, Aufwärmphasen, Temperatur und wechselnde Auslastung die Ergebnisse beeinflussen können. Der Mittelwert allein kann Probleme verschleiern; auch langsame Einzelanfragen sind relevant. Wer einen Server plant, sollte deshalb nicht nur Bestwerte notieren, sondern prüfen, ob die Antwortzeiten unter realistischer Last stabil bleiben.
Für die wirtschaftliche Bewertung gehören Stromverbrauch und Anschaffungskosten dazu. Eine sehr schnelle Lösung ist nicht automatisch die günstigste, wenn sie nur selten ausgelastet wird. Umgekehrt kann ein teurer Beschleuniger sinnvoll sein, wenn er dauerhaft viele Anfragen verarbeitet und dadurch weniger Geräte benötigt werden.
Der beste Nachweis für ausreichend HBM ist nicht das Datenblatt, sondern ein stabiler Test mit dem eigenen Modell. Erst wenn die Messung zeigt, ob Kapazität oder Bandbreite begrenzen, lässt sich eine gezielte Verbesserung ableiten.
Häufige Fragen zur Speicherleistung von KI-Chips
Wird ein KI-Modell durch mehr HBM automatisch schneller?
Nein. Mehr Kapazität hilft vor allem, wenn ein Modell sonst nicht vollständig in den schnellen Speicher passt oder wenn zusätzliche parallele Anfragen Platz benötigen. Ist bereits genügend Speicher vorhanden, können Rechenleistung, Bandbreite oder Software die Geschwindigkeit begrenzen.
Ist die HBM-Bandbreite wichtiger als die Rechenleistung?
Das hängt von der Anwendung ab. Einzelne Schritte bei der Textgenerierung können stark von der Datenübertragung abhängen. Training oder größere Eingabestapel können Recheneinheiten stärker auslasten. Beide Werte müssen zum tatsächlichen Einsatz passen.
Kann man die HBM-Kapazität mehrerer Chips einfach addieren?
Die physisch vorhandenen Kapazitäten lassen sich summieren. Ob ein einzelnes Modell sie gemeinsam nutzen kann, hängt jedoch von der Software und der Verteilung des Modells ab. Kommunikation zwischen den Geräten verursacht zusätzlichen Aufwand.
Warum unterscheiden sich Messwerte trotz gleicher HBM-Ausstattung?
Chiparchitektur, Rechenleistung, Laufzeitumgebung, Quantisierung, Modellgröße, Kontext und thermische Grenzen können verschieden sein. Die gleiche Speicherkapazität oder Bandbreite führt deshalb nicht zwangsläufig zu gleichen Ergebnissen.
Wann lohnt sich HBM für einen privaten Rechner?
Entscheidend ist die gewünschte Anwendung. Für alltägliche KI-Dienste im Browser wird lokal oft kein spezieller HBM-Beschleuniger benötigt. Wer größere Modelle selbst betreibt, sollte zunächst deren tatsächlichen Speicherbedarf und die Kosten alternativer Hardware vergleichen