Eine TPU (Tensor Processing Unit) ist ein spezialisierter Prozessor für Berechnungen, die bei maschinellem Lernen besonders häufig vorkommen. Anders als eine allgemeine CPU oder eine vielseitig programmierbare GPU ist eine TPU auf bestimmte mathematische Operationen und deren effiziente Ausführung ausgelegt. Das bedeutet jedoch nicht, dass jede KI-Anwendung auf einer TPU automatisch schneller läuft. Entscheidend sind das Modell, die verwendete Software, die Größe der Daten und die Art des Einsatzes.
Was eine TPU von anderen Prozessoren unterscheidet
Bei der Verarbeitung neuronaler Netze werden sehr viele Zahlen miteinander multipliziert und addiert. Solche Operationen lassen sich in Matrizen organisieren. Eine TPU stellt dafür spezialisierte Recheneinheiten bereit und ist darauf ausgelegt, große Mengen dieser Operationen mit möglichst wenig unnötigem Datenverkehr auszuführen. Der Begriff Tensor beschreibt dabei eine mehrdimensionale Anordnung von Zahlen. Ein einzelner Wert ist ein Tensor ohne Achse, eine Zahlenreihe besitzt eine Achse und eine Matrix zwei. Moderne KI-Modelle arbeiten auch mit höherdimensionalen Tensoren.
Die Spezialisierung ist der wesentliche Unterschied: Eine CPU muss sehr unterschiedliche Programme, Verzweigungen und Betriebssystemaufgaben bewältigen. Eine GPU kann viele Berechnungen parallel ausführen und eignet sich neben KI auch für Grafik, Simulation und andere Rechenaufgaben. Eine TPU konzentriert ihre Architektur stärker auf typische Arbeitsmuster neuronaler Netze. Spezialisierung schafft Effizienz, schränkt aber die Flexibilität ein. Ob dieser Vorteil im Alltag ankommt, hängt stark davon ab, ob das Modell zur Hardware passt.
TPUs sind insbesondere mit der KI-Infrastruktur von Google verbunden. Die Bezeichnung steht deshalb nicht für einen allgemeinen Standard, nach dem beliebige KI-Chips unterschiedlicher Hersteller automatisch kompatibel wären. Auch wenn andere Anbieter vergleichbare Matrixbeschleuniger entwickeln, unterscheiden sich Befehlssätze, Speicherarchitektur und Softwarezugang erheblich.
Wie eine TPU Matrixberechnungen verarbeitet
Ein einfaches Beispiel ist eine Schicht eines neuronalen Netzes: Eingabewerte werden mit Gewichten multipliziert, die Ergebnisse aufsummiert und anschließend weiterverarbeitet. Bei Millionen oder Milliarden Gewichten wiederholt sich dieses Muster sehr häufig. Die Herausforderung besteht nicht nur darin, möglichst viele Multiplikationen pro Sekunde auszuführen. Die Werte müssen auch rechtzeitig an die Recheneinheiten gelangen.
Für solche Aufgaben nutzen TPU-Architekturen spezialisierte Matrixeinheiten. Eine verbreitete Idee ist die systolische Verarbeitung: Zahlen bewegen sich in einem regelmäßigen Muster durch ein Feld von Rechenelementen. Zwischenergebnisse werden weitergereicht, statt jeden einzelnen Wert wiederholt aus einem entfernten Speicher abzurufen. Dadurch kann die Datenbewegung innerhalb des Rechenfeldes reduziert werden. Die genaue Umsetzung unterscheidet sich zwischen TPU-Generationen.
Ein solcher Aufbau funktioniert besonders gut, wenn viele passende Matrixoperationen anstehen und die Recheneinheiten kontinuierlich beschäftigt werden. Kleine Aufgaben, ungewöhnliche Operatoren oder häufige Wechsel zwischen unterschiedlichen Rechenschritten können diesen Vorteil schmälern. Dann entstehen Wartezeiten, obwohl die theoretische Spitzenleistung hoch ist.
Zahlenformate und Rechengenauigkeit
KI-Berechnungen benötigen nicht immer dieselbe numerische Genauigkeit. Für bestimmte Schritte können kompaktere Zahlenformate sinnvoll sein, weil weniger Daten übertragen werden müssen und spezialisierte Recheneinheiten sie effizient verarbeiten. Das ist jedoch kein Freibrief, sämtliche Berechnungen mit möglichst wenigen Bits auszuführen. Training, Normalisierung, Summierung und Modellqualität stellen unterschiedliche Anforderungen. Ein geeignetes Format muss sowohl von der TPU als auch von der Software unterstützt werden.
Deshalb ist ein Vergleich allein anhand von TOPS oder einer maximalen Rechenleistung irreführend. Ohne Angabe des Zahlenformats, der Modellart und der tatsächlich erreichten Auslastung sagt ein Spitzenwert wenig darüber aus, wie schnell eine konkrete Anwendung arbeitet.
Speicher und Datenwege bestimmen die tatsächliche Leistung
Selbst eine leistungsfähige Matrixeinheit kann nur rechnen, wenn Gewichte und Zwischenergebnisse rechtzeitig bereitstehen. Die Speicherkapazität bestimmt unter anderem, welche Modellteile und Zwischendaten gleichzeitig vorgehalten werden können. Die Speicherbandbreite beschreibt dagegen, wie schnell Daten übertragen werden. Beides ist wichtig, aber nicht austauschbar.
Ein vereinfachtes Rechenbeispiel: Ein Modell mit sieben Milliarden Parametern benötigt allein für seine Gewichte bei zwei Byte pro Parameter ungefähr 14 Milliarden Byte. Das sind rund 14 GB in dezimaler Rechnung, noch ohne Zwischenergebnisse, Verwaltungsdaten oder zusätzlichen Speicherbedarf während des Betriebs. Durch andere Zahlenformate kann sich dieser Wert verändern. Beim Training kommt erheblicher zusätzlicher Speicher für Gradienten, Optimierungszustände und Aktivierungen hinzu.
Wenn Gewichte ständig zwischen Speicher und Recheneinheit transportiert werden müssen, kann die Datenübertragung zum Engpass werden. Bei großen Systemen kommt außerdem die Kommunikation zwischen mehreren Beschleunigern hinzu. Eine TPU sollte deshalb immer als Teil eines Gesamtsystems aus Rechenwerk, Speicher, Netzwerk und Software betrachtet werden.
Training und Inferenz: Zwei unterschiedliche Einsatzfälle
Beim Training passt ein System die Modellgewichte anhand vieler Beispiele an. Neben der eigentlichen Vorwärtsberechnung müssen Fehler zurückgeführt und Parameter aktualisiert werden. Das erfordert zusätzliche Rechenschritte, Speicher und häufig eine Abstimmung zwischen mehreren Beschleunigern. Große Trainingsaufgaben können von hochgradig parallelen TPU-Systemen profitieren, sofern die verwendeten Modelle und Werkzeuge dafür geeignet sind.
Bei der Inferenz verwendet ein bereits trainiertes Modell seine Gewichte, um Ergebnisse zu erzeugen. Hier zählen je nach Anwendung andere Kennzahlen: Bei einem interaktiven Assistenten ist die Antwortzeit wichtig, bei der Verarbeitung vieler Anfragen der Durchsatz und bei dauerhaft laufenden Diensten auch die Kosten pro Anfrage. Ein Beschleuniger, der bei großen Stapeln von Eingaben hervorragend arbeitet, ist nicht zwangsläufig die beste Wahl für einzelne kurze Anfragen.
Besonders bei generativen Sprachmodellen verändert sich das Rechenprofil während der Verarbeitung. Die erste Verarbeitung einer Eingabe und die anschließende schrittweise Erzeugung neuer Textteile beanspruchen Rechenleistung und Speicherbandbreite unterschiedlich. Wer TPU-Angebote vergleicht, sollte deshalb auf Messungen mit einer ähnlichen Modellgröße, Eingabelänge und Anzahl gleichzeitiger Nutzer achten.
TPU oder GPU: Welche Lösung passt zur Aufgabe?
Die Frage lässt sich nicht allein durch die Prozessorarchitektur beantworten. Eine GPU ist oft attraktiv, wenn unterschiedliche Modelle ausprobiert, eigene Erweiterungen entwickelt oder Anwendungen mit bereits vorhandenen GPU-Werkzeugen betrieben werden. TPUs können besonders interessant sein, wenn eine passende Trainings- oder Inferenzumgebung verfügbar ist und die Arbeitslast gut zu den spezialisierten Recheneinheiten passt.
| Kriterium | TPU | GPU |
|---|---|---|
| Schwerpunkt | Spezialisierte KI- und Matrixoperationen | Vielseitige parallele Berechnungen |
| Software | Kompatibilität mit unterstützten KI-Werkzeugen prüfen | Breites Angebot an KI- und Rechenwerkzeugen, abhängig vom Hersteller |
| Flexibilität | Stärker auf unterstützte Arbeitsmuster ausgerichtet | Häufig leichter für unterschiedliche Rechenaufgaben nutzbar |
| Typischer Zugang | Vor allem über geeignete Cloud- und Infrastrukturangebote | Lokale Rechner, Server und Cloud |
| Entscheidender Test | Modellkompatibilität und Kosten pro erledigter Aufgabe | Modellkompatibilität, Speicher und Kosten pro erledigter Aufgabe |
Für einen privaten Rechner ist die TPU daher gewöhnlich keine direkte Alternative zu einer üblichen Grafikkarte. Wer lediglich einen Online-KI-Dienst verwendet, muss außerdem keine eigene TPU besitzen: Die Berechnung findet beim jeweiligen Dienst statt. Eine Kaufentscheidung für lokale Hardware ist eine andere Frage als die Auswahl eines Beschleunigers in der Cloud.
Ein konkreter Vergleich sollte dasselbe Modell, dieselbe Eingabe, eine vergleichbare Genauigkeit und eine realistische Anzahl gleichzeitiger Anfragen verwenden. Erst dann lassen sich Antwortzeit, Durchsatz und Betriebskosten sinnvoll gegenüberstellen. Ein theoretischer Leistungsvorteil ist noch kein wirtschaftlicher Vorteil.
Softwareunterstützung und praktische Grenzen
Die Hardware allein führt noch kein KI-Modell aus. Benötigt werden Compiler, Laufzeitumgebungen, passende Bibliotheken und eine Möglichkeit, die Operationen des Modells auf die TPU abzubilden. Je nach Werkzeug können Modelle angepasst oder bestimmte Berechnungen anders umgesetzt werden müssen. Nicht unterstützte Operationen, häufige Datenübertragungen oder unpassende Eingabeformen können die Geschwindigkeit deutlich beeinflussen.
Auch die Portierung einer bestehenden Anwendung verursacht Aufwand. Ein Team muss prüfen, ob Training und Inferenz auf der gewünschten Plattform unterstützt werden, wie Fehler untersucht werden können und ob die erforderlichen Fachkenntnisse vorhanden sind. Ein gut funktionierendes GPU-System sollte deshalb nicht allein wegen einer höheren theoretischen TPU-Leistung ersetzt werden.
Bei Cloud-Angeboten kommen weitere Fragen hinzu: Ist die benötigte Beschleunigerklasse in der gewünschten Region verfügbar? Wie werden Nutzungszeiten abgerechnet? Welche Kosten entstehen für Speicher, Datenverkehr und die Bereitstellung der Anwendung? Können die Modelle und Daten ohne unverhältnismäßigen Aufwand auf eine andere Plattform übertragen werden? Diese Punkte entscheiden oft stärker über den praktischen Nutzen als ein einzelner Messwert.
TPUs in großen KI-Systemen
Bei umfangreichen Modellen reicht ein einzelner Beschleuniger möglicherweise nicht aus. Dann müssen Daten oder Modellteile auf mehrere Geräte verteilt werden. Beim Datenparallelismus bearbeiten mehrere Einheiten unterschiedliche Teile eines Datensatzes; die Ergebnisse ihrer Berechnungen müssen anschließend abgestimmt werden. Beim Modellparallelismus werden Teile des Modells auf unterschiedliche Einheiten verteilt. Beide Ansätze stellen Anforderungen an das Netzwerk und die Software.
Mit zunehmender Anzahl an Beschleunigern wächst nicht automatisch die Leistung im gleichen Verhältnis. Kommunikation, Synchronisation und unausgelastete Recheneinheiten verursachen Verluste. Deshalb sind bei größeren TPU-Installationen die Verbindungen zwischen den Geräten und die Organisation der Arbeitslast entscheidend. Auch Stromversorgung, Kühlung und Verfügbarkeit gehören zur Planung, werden aber auf Ebene der gesamten Infrastruktur gelöst.
Der Vorteil spezialisierter Hardware zeigt sich folglich nur dann vollständig, wenn Modell, Speicher, Netzwerk und Software zusammenpassen. Ein schneller Chip allein macht noch kein schnelles KI-System.
Eine TPU sinnvoll auswählen: Ein Praxisbeispiel
Angenommen, ein Unternehmen möchte täglich viele Dokumente automatisch klassifizieren. Zunächst sollte es die tatsächlich benötigte Modellqualität und die Anzahl der Dokumente messen. Danach wird geprüft, ob die vorhandene Anwendung mit einer TPU-Umgebung kompatibel ist. Ein kurzer Testlauf mit echten, datenschutzkonform ausgewählten Beispieldaten zeigt, wie viele Dokumente pro Minute verarbeitet werden können und wie lange einzelne Anfragen dauern.
Erst im nächsten Schritt werden die Kosten verglichen: Beschleunigerzeit, Vorbereitung der Daten, mögliche Softwareanpassungen, Speicher und laufender Betrieb. Eine TPU kann bei gut passenden Stapelverarbeitungen eine attraktive Lösung sein. Wenn die Anwendung jedoch viele nicht unterstützte Operationen enthält oder nur selten ausgeführt wird, kann eine bestehende GPU- oder CPU-Umgebung wirtschaftlicher bleiben.
Für ein Forschungsteam mit großen Trainingsläufen gelten andere Maßstäbe. Dort spielen die Unterstützung des Trainingsverfahrens, die Skalierung über viele Geräte, die Reproduzierbarkeit und die Zeit bis zum fertigen Modell eine größere Rolle. Die richtige Hardware ergibt sich deshalb aus dem konkreten Arbeitsablauf, nicht aus einer pauschalen Rangfolge.
Häufige Fragen zur TPU
Ist eine TPU grundsätzlich schneller als eine GPU?
Nein. Das hängt von Modell, Zahlenformat, Speicherbedarf, Softwareunterstützung und Arbeitslast ab. Für einen fairen Vergleich müssen beide Systeme dieselbe Aufgabe unter ähnlichen Bedingungen ausführen.
Kann man eine TPU in einen gewöhnlichen PC einbauen?
Die großen TPU-Systeme für KI-Rechenzentren sind keine üblichen PC-Steckkarten. Es gibt unterschiedliche spezialisierte Produkte und Zugangsmodelle; für die meisten privaten KI-Anwendungen sind CPU, GPU oder eine integrierte NPU die naheliegenderen Optionen.
Benötigt jede KI-Anwendung eine TPU?
Nein. Viele KI-Modelle laufen auf CPUs, GPUs oder NPUs. Eine TPU ist eine mögliche spezialisierte Ausführungsplattform, keine Voraussetzung für künstliche Intelligenz.
Was ist bei einem TPU-Test am wichtigsten?
Neben der korrekten Modellausgabe sollten Antwortzeit, Durchsatz, Speicherbedarf, Softwareaufwand und Gesamtkosten gemessen werden. Theoretische Spitzenwerte allein reichen nicht aus.