Die Quantisierung von KI-Modellen ist eine Technik zur Modelloptimierung, bei der bestimmte Modellwerte, meist Gewichte, Aktivierungen oder beides, in Zahlenformaten mit geringerer Präzision dargestellt werden. Statt jeden Wert in einem hochpräzisen Format zu speichern und zu berechnen, nutzt ein quantisiertes Modell eine kompaktere Darstellung, sofern dieser Kompromiss vertretbar ist.
Für Ingenieurinnen, Ingenieure und Produktteams geht es dabei nicht um mathematische Eleganz. Entscheidend ist die Bereitstellung: kleinere Artefakte, geringerer Speicherdruck, weniger Speicherbandbreite und manchmal schnellere Inferenz. Diese Ergebnisse stellen sich jedoch nicht automatisch ein. Wie Google AI Edge in seinen Ausführungen zur Post-Training-Quantisierung als Modelloptimierung festhält, hängen die Abwägungen zwischen Größe, Geschwindigkeit und Genauigkeit von der Hardware und den Eigenschaften des Modells ab. Die torchao-Dokumentation von PyTorch beschreibt Quantisierung ebenfalls als Nutzung von Darstellungen mit geringerer Präzision und behandelt Workflows statt eines einzigen allgemeingültigen Rezepts.
Nachrechnen: Rundungsfehler und Begrenzung
Diese eigens erstellte Skalarübung verwendet scale = 0,1, zero point = 0 und den Ganzzahlbereich −127 bis 127. Sie wandelt kein neuronales Netz um und misst keine Geräteleistung. Berechnen Sie q = clip(round(x / 0.1), −127, 127), anschließend x̂ = q × 0.1. Bei genau halben Werten wird in dieser Übung von null weg gerundet.
| Original x | Gespeichertes q | Rekonstruiertes x̂ | Absoluter Fehler |
|---|---|---|---|
| −0.26 | −3 | −0.30 | 0.04 |
| −0.04 | 0 | 0 | 0.04 |
| 0.04 | 0 | 0 | 0.04 |
| 0.26 | 3 | 0.30 | 0.04 |
| 12.8 | 127 | 12.7 | 0.10 |
Für die ersten vier Werte beträgt der mittlere quadratische Fehler (0,04² × 4) / 4 = 0,0016. Beim letzten Wert ergibt 12,8 / 0,1 zunächst 128, doch die Obergrenze ist 127: Rekonstruiert werden 12,7. Ein vorab gewählter maximaler absoluter Fehler von 0,05 würde die ersten vier Umwandlungen akzeptieren und den begrenzten Fall ablehnen. Diese Grenze ist eine Übungsvorgabe, keine Empfehlung für den Einsatz.
Vier float32-Werte benötigen 16 reine Datenbytes, vier int8-Werte 4. Skalen, Metadaten, unveränderte Tensoren und Laufzeitspeicher fehlen in dieser Rechnung; sie beschreibt keine Kompressionsrate des gesamten Modells. Skalarfehler bestimmen weder Klassifikationsgenauigkeit noch Latenz. Vor einem Einsatz sind repräsentative Kalibrierungsdaten und Messungen auf dem Zielgerät erforderlich.
Mit Python 3 nachrechnen
Das Skript nutzt nur die Standardbibliothek, ohne Netzwerk- oder Modellaufrufe. In allen Sprachen gelten dieselben Übungslabels.
from decimal import Decimal, ROUND_HALF_UP
def quantization():
scale = Decimal('0.1')
for text in ['-0.26', '-0.04', '0.04', '0.26', '12.8']:
x = Decimal(text)
q = int((x / scale).to_integral_value(rounding=ROUND_HALF_UP))
q = max(-127, min(127, q))
restored = Decimal(q) * scale
error = abs(restored - x)
print(f'x={x} q={q} restored={restored} abs_error={error:.2f}')
quantization()
Ausgabe der Berechnung
x=-0.26 q=-3 restored=-0.3 abs_error=0.04
x=-0.04 q=0 restored=0.0 abs_error=0.04
x=0.04 q=0 restored=0.0 abs_error=0.04
x=0.26 q=3 restored=0.3 abs_error=0.04
x=12.8 q=127 restored=12.7 abs_error=0.10
Google AI Edge: 8-bit quantization specification
Was ist KI-Modellquantisierung?
Bei der Quantisierung von KI-Modellen werden ausgewählte Modelldaten oder Berechnungen von numerischen Darstellungen mit höherer Präzision in solche mit geringerer Präzision umgewandelt. In der Praxis bedeutet das häufig, je nach Framework, Bereitstellungsruntime und Zielhardware die Präzision von Modellgewichten, Aktivierungen oder beidem zu verringern.
Ein neuronales Netz enthält viele Zahlenwerte. Gewichte sind die im Modell gespeicherten gelernten Parameter. Aktivierungen sind Zwischenwerte, die entstehen, während das Modell eine Eingabe verarbeitet. Quantisierung verändert die Darstellung einiger dieser Werte, damit das Modell effizienter gespeichert oder ausgeführt werden kann.
Das entscheidende Wort ist „ausgewählte“. Ein quantisiertes Modell quantisiert nicht immer jeden Tensor, jede Operation oder jede Ausführungsphase. Manche Workflows quantisieren nur Gewichte. Andere quantisieren zusätzlich Aktivierungen. Wieder andere belassen empfindliche Operationen in höherer Präzision, weil der Genauigkeitsverlust zu groß wäre oder das Bereitstellungs-Backend keinen effizienten Pfad mit geringerer Präzision unterstützt.
Warum ein KI-Modell quantisieren?
Quantisierung ist besonders nützlich, wenn Bereitstellungsbeschränkungen eine Rolle spielen. Häufige Gründe sind:
- Kleinere Modelldateien für Paketierung, Downloads oder Speicherung auf dem Gerät.
- Geringerer Speicherverbrauch während der Inferenz.
- Geringerer Bedarf an Speicherbandbreite, was wichtig sein kann, wenn Modellwerte zwischen Speicher und Recheneinheiten übertragen werden.
- Potenziell niedrigere Latenz, wenn Inferenzruntime und Hardware das gewählte Format mit geringerer Präzision effizient unterstützen.
- Praktikablere Bereitstellung auf Edge-Geräten, Mobilgeräten, eingebetteten Systemen oder in anderen ressourcenbeschränkten Umgebungen.
Die letzten beiden Punkte müssen vorsichtig formuliert werden. Quantisierung kann den Speicher- und Bandbreitenbedarf senken, garantiert aber keine schnellere Inferenz. Wenn die Zielhardware oder die Laufzeitumgebung die quantisierten Operationen nicht effizient unterstützt, kann sich die Latenz nur geringfügig verbessern, gar nicht verbessern oder wegen Umwandlungsaufwand sogar verschlechtern. Deshalb sollte Quantisierung als Bereitstellungsexperiment verstanden werden, das in der Zielumgebung validiert werden muss, nicht als verlässlicher Hebel für mehr Leistung.
Wie Quantisierung im Grundsatz funktioniert
Auf konzeptioneller Ebene bildet Quantisierung Werte aus einem Bereich höherer Präzision auf eine Darstellung mit geringerer Präzision ab. Das System braucht eine Möglichkeit, zwischen dem ursprünglichen Zahlenbereich und der kompakten Darstellung zu übersetzen. Das geschieht in der Regel über Skalierungsinformationen und, je nach Verfahren, über Offsets oder andere Metadaten.
Vereinfacht lässt sich der Ablauf so verstehen:
- Prüfen Sie die darzustellenden Werte, etwa eine Menge von Gewichten oder Aktivierungsbereiche.
- Wählen Sie eine Darstellung mit geringerer Präzision, die vom Framework und von der vorgesehenen Bereitstellungsumgebung unterstützt wird.
- Ordnen Sie die ursprünglichen Werte mithilfe von Skalierungsinformationen diesem Raum mit geringerer Präzision zu.
- Führen Sie die Inferenz dort mit der quantisierten Darstellung aus, wo sie unterstützt wird.
- Vergleichen Sie das quantisierte Modell mit dem ursprünglichen Modell anhand von Genauigkeit, Latenz, Speicherbedarf und Modellgröße.
Dieser Prozess kann je nach Modell einfach oder komplex sein. Manche Modelle kommen mit geringerer Präzision gut zurecht. Andere sind empfindlich, weil kleine numerische Änderungen ihre Ausgaben auf eine Weise verändern können, die für die jeweilige Aufgabe relevant ist.
Gängige Quantisierungsabläufe
Verschiedene Frameworks verwenden unterschiedliche APIs und Begriffe, doch die meisten praktischen Abläufe lassen sich in zwei große Kategorien einteilen.
Quantisierung nach dem Training
Die Quantisierung nach dem Training wird angewendet, nachdem ein Modell bereits trainiert wurde. Das trainierte Modell wird in eine quantisierte Form umgewandelt, ohne den Trainingsprozess von Grund auf neu aufzubauen. Google AI Edge beschreibt die Quantisierung nach dem Training als Ansatz zur Modelloptimierung und betont, dass die Abwägungen von den Eigenschaften des Modells und der Hardware abhängen.
Dies ist oft der erste Ablauf, den man ausprobiert, wenn das Modell bereits gute Ergebnisse liefert und das Bereitstellungsproblem bei Größe, Speicherbedarf oder Latenz liegt. Der Ansatz ist attraktiv, weil er sich schneller bewerten lässt als ein erneutes Training. Dennoch muss das Modell nach der Umwandlung validiert werden, weil sich die Genauigkeit ändern kann.
Quantisierungsbewusste Abläufe
Manche Abläufe berücksichtigen die Quantisierung schon früher bei der Modellvorbereitung oder beim Training. Ziel ist es, das Modell robuster gegenüber den numerischen Auswirkungen geringerer Präzision zu machen. Der Quantisierungsüberblick von PyTorch torchao behandelt Quantisierung im Zusammenhang mit Darstellungen geringerer Präzision und Arbeitsabläufen. Das erinnert sinnvoll daran, dass Quantisierung kein universeller Einzelschritt ist.
Eine praktische Entscheidungsregel lautet:
- Probieren Sie zuerst die Quantisierung nach dem Training aus, wenn Bereitstellungsbeschränkungen eine Rolle spielen und eine kleine Veränderung der Genauigkeit akzeptabel wäre.
- Wechseln Sie zu einem fortgeschritteneren quantisierungsbewussten Ablauf, wenn die Quantisierung nach dem Training bei repräsentativen Validierungsdaten zu starke Einbußen verursacht.
- Belassen Sie Teile des Modells in höherer Präzision, wenn Framework und Laufzeitumgebung dies zulassen und diese Teile für einen inakzeptablen Qualitätsverlust verantwortlich sind.
Veranschaulichendes Beispiel: Quantisierung eines kleinen Bildklassifikators
Das folgende Beispiel ist hypothetisch. Es ist kein Benchmark und beweist nicht, wie sich ein reales Modell verhalten wird.
Konkrete Ausgangsdaten
Angenommen, ein Team hat Folgendes:
- Einen trainierten Bildklassifikator, der für die Inferenz auf dem Gerät verwendet wird.
- Modellgewichte, die derzeit in einem Format höherer Präzision gespeichert sind.
- Einen Validierungssatz, der die realen Bilder widerspiegelt, die die App voraussichtlich verarbeiten soll.
- Ein Zielgerät und eine Inferenz-Laufzeitumgebung, die zumindest einige Operationen mit geringerer Präzision unterstützen.
- Ein Bereitstellungsziel: den Speicherbedarf senken und zugleich die Aufgabengenauigkeit nahe genug an den Produktanforderungen halten.
Anwendbare Regel
Verwenden Sie die Quantisierung nach dem Training als erstes Experiment, weil das Modell bereits trainiert ist und die Bereitstellungsbeschränkungen der Anlass sind. Das folgt dem allgemeinen Optimierungsrahmen, den Google AI Edge beschreibt: Quantisierung kann Größe, Geschwindigkeit und Genauigkeit gegeneinander abwägen, und das Ergebnis hängt von Hardware- und Modelleigenschaften ab.
Schritte
- Behalten Sie das ursprüngliche Modell als Ausgangsbasis bei.
- Wandeln Sie ausgewählte Tensoren, etwa Gewichte, mithilfe des vom gewählten Framework unterstützten Ablaufs in eine Darstellung mit geringerer Präzision um.
- Wenn der Ablauf Kalibrierungsdaten erfordert, verwenden Sie repräsentative Beispiele statt einer zufälligen oder unrealistischen Stichprobe.
- Führen Sie das quantisierte Modell mit demselben Validierungsdatensatz aus, mit dem auch das ursprüngliche Modell bewertet wurde.
- Messen Sie das für die Bereitstellung relevante Verhalten auf der Ziel-Laufzeitumgebung und der Zielhardware, nicht nur auf einem Entwicklungs-Laptop.
- Vergleichen Sie Modellgröße, Speicherverhalten, Latenz und Aufgabengenauigkeit mit den zuvor festgelegten Akzeptanzkriterien.
Referenzantwort
Eine sinnvolle Referenzentscheidung könnte lauten: Das quantisierte Modell wird nur akzeptiert, wenn es das Speicherziel der App erfüllt und die Validierungsgenauigkeit innerhalb des vom Team zugelassenen Toleranzbereichs bleibt. Liegt die Genauigkeit außerhalb dieses Bereichs, sollte das quantisierte Modell nicht unverändert ausgeliefert werden. Versuchen Sie eine weniger aggressive Konfiguration, belassen Sie empfindliche Operationen, sofern unterstützt, in höherer Präzision oder prüfen Sie einen quantisierungsbewussten Workflow.
Warum dieses Ergebnis folgt
Quantisierung verändert numerische Darstellungen. Das kann Speicherplatz und Speicherdruck verringern, aber auch Unterschiede in den Modellausgaben verursachen. Die einzig sinnvolle Entscheidung ist, ob diese Unterschiede für die konkrete Aufgabe, die Daten, die Laufzeitumgebung und die Hardware relevant sind.
Grenzfall
Wenn der Validierungsdatensatz nicht repräsentativ ist, kann das Experiment in die Irre führen. Ein quantisierter Bildklassifikator kann bei sauberen, häufigen Bildern akzeptabel wirken, aber bei schwach beleuchteten oder unscharfen Bildern oder bei seltenen Klassen versagen, die im Produktivbetrieb wichtig sind. Das Bestehen einer eng gefassten Validierungsprüfung ist kein Beleg dafür, dass das quantisierte Modell für jede Eingabeverteilung sicher ist.
Zielkonflikte: Größe, Geschwindigkeit und Genauigkeit
Quantisierung ist eine Abwägung zwischen Speicherplatz, Arbeitsspeicher, Latenz und Modellqualität.
Größe
Werte mit geringerer Präzision können den Platzbedarf der tatsächlich quantisierten Tensoren verringern. Es wäre jedoch unseriös, für Quantisierung eine allgemeingültige Kompressionsrate anzugeben. Die endgültige Größe hängt vom ursprünglichen Modellformat ab, davon, welche Tensoren quantisiert werden, welche Metadaten benötigt werden und welche Teile des Modells in höherer Präzision verbleiben.
Wenn beispielsweise die Werte eines einzelnen Tensors mit weniger Bits dargestellt würden, würde der Rohspeicherbedarf für diese Werte sinken. Diese Rechnung beschreibt aber nicht automatisch das gesamte Modellpaket, da das Modell nicht quantisierte Tensoren, Laufzeitmetadaten oder andere Komponenten enthalten kann.
Geschwindigkeit
Quantisierung kann die Inferenzgeschwindigkeit verbessern, wenn Hardware und Laufzeitumgebung die Operationen mit geringerer Präzision effizient ausführen. Sie hilft möglicherweise nicht, wenn dem Backend optimierte Kernel für das gewählte Format fehlen oder wenn das Modell den Großteil der Zeit in Operationen verbringt, die nicht quantisiert wurden.
Deshalb sollte die Latenz in der vorgesehenen Bereitstellungsumgebung gemessen werden. Eine Beschleunigung, die in einer Laufzeitumgebung oder Geräteklasse beobachtet wurde, sollte nicht für eine andere vorausgesetzt werden.
Genauigkeit
Der Einfluss auf die Genauigkeit hängt vom Modell und von der Aufgabe ab. Manche Modelle vertragen Quantisierung mit kaum spürbaren praktischen Änderungen. Andere können sich deutlich verschlechtern, insbesondere wenn ihre Ausgaben empfindlich auf kleine numerische Verschiebungen reagieren oder wenn Aktivierungsverteilungen Ausreißer enthalten, die sich nur schwer kompakt darstellen lassen.
Die einzig belastbare Schlussfolgerung ist empirisch: Vergleichen Sie das quantisierte Modell mit dem ursprünglichen Modell anhand repräsentativer Validierungsdaten und aufgabenspezifischer Metriken.
Wann Quantisierung eine gute Wahl ist
Quantisierung ist in folgenden Fällen ein aussichtsreicher Ansatz:
- Das Modell ist für die Zielumgebung der Bereitstellung zu groß.
- Die Speicherbandbreite oder die Speichernutzung zur Laufzeit ist ein Engpass.
- Die Inferenzlatenz ist wichtig und die Zielhardware unterstützt das Format mit geringerer Präzision effizient.
- Die Anwendung kann eine kleine, gemessene Veränderung der Modellqualität tolerieren.
- Das Team verfügt über repräsentative Validierungsdaten und kann auf der Ziel-Laufzeitumgebung testen.
Weniger attraktiv ist sie in folgenden Fällen:
- Das Modell erfüllt die Anforderungen an Größe und Latenz bereits.
- Die Aufgabe reagiert äußerst empfindlich auf kleine Änderungen der Ausgaben.
- Das Deployment-Backend unterstützt die gewünschten quantisierten Operationen nur unzureichend.
- Das Team kann das quantisierte Modell nicht mit realistischen Daten validieren.
- Jede Verschlechterung der Genauigkeit wäre ohne erneutes Training oder zusätzliche Schutzmaßnahmen inakzeptabel.
Realistischer Fehlerfall
Betrachten wir einen Klassifikator, der in einem Prüfprozess mit hohen Risiken eingesetzt wird. Das ursprüngliche Modell liefert bei vielen Eingaben Werte, die nahe an der Entscheidungsschwelle liegen. Nach einer aggressiven Quantisierung verschieben kleine numerische Unterschiede genügend Grenzfälle auf die falsche Seite dieser Schwelle.
Auch wenn die Modelldatei kleiner ist, kann dieses Ergebnis inakzeptabel sein. Das Problem besteht nicht darin, dass Quantisierung schlecht wäre; das Problem ist der Einsatz einer Optimierung, die Ausgaben in einer Aufgabe verändert, bei der kleine Änderungen wichtig sind. In einer solchen Situation sollte das Team das quantisierte Modell entweder ablehnen, einen weniger aggressiven Quantisierungsansatz ausprobieren, die Entscheidungsschwelle mit ordnungsgemäßer Validierung überarbeiten oder einen Workflow verwenden, der Quantisierung bereits bei der Modellvorbereitung berücksichtigt.
Ein ähnliches Problem kann auftreten, wenn Aktivierungen ungewöhnliche oder stark ausreißerlastige Verteilungen haben. Wenn das gewählte Quantisierungsschema häufige Werte gut darstellt, seltene Extremwerte aber schlecht behandelt, kann das Modell im Durchschnitt ausreichend funktionieren und zugleich bei wichtigen Randfällen versagen.
Wie ein quantisiertes Modell validiert wird
Ein sinnvoller Validierungsplan vergleicht das quantisierte Modell mit dem ursprünglichen Modell sowohl bei der ML-Qualität als auch beim Verhalten in der Bereitstellung.
Bewerten Sie mindestens vier Fragen:
- Qualität: Erfüllt das quantisierte Modell dieselben aufgabenspezifischen Kennzahlen, die auch vom ursprünglichen Modell verlangt werden?
- Robustheit: Verhält es sich bei wichtigen Untergruppen, seltenen Klassen oder schwierigen Beispielen weiterhin akzeptabel?
- Eignung für die Bereitstellung: Erreicht es die Ziele für Modellgröße, Speicherbedarf und Latenz auf der Zielhardware und in der vorgesehenen Inferenzlaufzeitumgebung?
- Betriebsrisiko: Konzentrieren sich Ausgabenverschiebungen in der Nähe von Entscheidungsschwellen oder sicherheitskritischen Klassen?
Die Akzeptanzkriterien sollten vor dem Experiment festgelegt werden. Ohne einen Schwellenwert für eine akzeptable Veränderung der Genauigkeit können Teams sich selbst davon überzeugen, ein kleineres Modell auszuliefern, das den tatsächlichen Qualitätsmaßstab des Produkts nicht mehr erfüllt.
Wichtige Erkenntnisse
KI-Modellquantisierung stellt ausgewählte Modellwerte mit Zahlen geringerer Präzision dar, um Speicherplatz und Speicherbelastung zu reduzieren und potenziell die Inferenzlatenz zu verbessern. Je nach Workflow und Deployment-Backend zielt sie üblicherweise auf Gewichte, Aktivierungen oder beides ab.
Die Vorteile sind real genug, dass Quantisierung für viele Teams zu den ersten Optimierungen gehört, die sie prüfen, insbesondere beim Deployment am Edge und in ressourcenbeschränkten Umgebungen. Das Ergebnis ist jedoch nicht allgemeingültig. Größe, Geschwindigkeit und Genauigkeit hängen vom Modell, den Daten, der Quantisierungsmethode, der Laufzeitumgebung und der Zielhardware ab.
Der praktische Weg ist klar: Beginnen Sie mit der Quantisierung nach dem Training, wenn die Rahmenbedingungen sie rechtfertigen, validieren Sie das Ergebnis anhand repräsentativer Daten gegen das ursprüngliche Modell, messen Sie in der vorgesehenen Bereitstellungsumgebung und wechseln Sie erst dann zu fortgeschritteneren Abläufen, wenn der einfache Ansatz die Anforderungen an Genauigkeit oder Leistung nicht erfüllt.
