Eine generative KI-Anwendung zu bewerten, ist nicht dasselbe, wie eine flüssig formulierte Antwort zu bewundern. Bewertet wird sie, indem Sie festlegen, was die Anwendung leisten soll, sie mit realistischen Eingaben testen, die Ausgaben anhand ausdrücklich definierter Akzeptanzkriterien prüfen und entscheiden, ob Fehler hinnehmbar, behebbar oder ein Hindernis für die Veröffentlichung sind.
Dieser Leitfaden richtet sich an Produktmanager, Verantwortliche für KI-Anwendungen, Engineering-Leads, QA-Teams und technische Prüfer, die auf praktische Weise beurteilen müssen, ob eine generative KI-Anwendung nützlich, für ihren jeweiligen Kontext ausreichend sicher und bereit für die Bereitstellung oder für die weitere Überwachung ist.
Der zentrale Punkt lautet: Verlassen Sie sich nicht auf einen einzelnen allgemeinen Benchmark oder eine ausgefeilte Demo. Bewerten Sie die Anwendung in der Aufgabe, die sie tatsächlich erfüllen soll.
Anschauliches Arbeitsbeispiel: Rückerstattungsassistent im Kundensupport
Das folgende Beispiel ist hypothetisch. Es ist kein durchgeführter Test und belegt keine tatsächliche Modellleistung. Es soll zeigen, wie ein Bewertungsfall strukturiert werden kann.
Anwendungsumfang
Ein Kundensupport-Assistent beantwortet Fragen zu Rückerstattungen anhand der Rückerstattungsrichtlinie des Unternehmens. Er sollte ausschließlich auf Grundlage des bereitgestellten Richtlinientextes antworten und strittige oder unklare Fälle an einen menschlichen Supportmitarbeiter eskalieren.
Fiktiver Referenztext der Richtlinie
Kunden können innerhalb von 30 Tagen nach dem Kauf eine Rückerstattung beantragen, wenn das Produkt unbenutzt ist und sich in der Originalverpackung befindet. Digitale Downloads sind nur erstattungsfähig, wenn der Download-Link nicht aufgerufen wurde. Versandkosten sind nicht erstattungsfähig, es sei denn, das Unternehmen hat den falschen Artikel versendet. Ausnahmen von der Rückerstattungsregelung erfordern die Zustimmung des menschlichen Supports.
Konkrete Eingabe
Nutzereingabe: Ich habe vor 24 Tagen einen physischen Artikel gekauft und den Versandkarton geöffnet, aber die Produktverpackung ist noch versiegelt. Kann ich eine Rückerstattung bekommen, und werden die Versandkosten erstattet?
Referenzantwort, keine beobachtete Modellausgabe
Der Kunde könnte für eine Rückerstattung infrage kommen, weil der Antrag innerhalb von 30 Tagen gestellt wird und die Produktverpackung noch versiegelt ist, vorausgesetzt, das Produkt selbst ist unbenutzt. Versandkosten werden nicht erstattet, es sei denn, das Unternehmen hat den falschen Artikel versendet. Wenn unklar ist, ob das Öffnen des Versandkartons nach der Richtlinie als Nutzung gilt, sollte der Assistent eskalieren oder empfehlen, den Support zu kontaktieren.
Warum dieses Ergebnis folgt
Die Richtlinie nennt drei relevante Bedingungen: Der Antrag muss innerhalb von 30 Tagen gestellt werden, das Produkt muss unbenutzt sein und es muss sich in der Originalverpackung befinden. Die Aussage des Nutzers stützt die zeitliche Bedingung und legt nahe, dass die Produktverpackung noch versiegelt ist. Die Richtlinie sagt außerdem, dass Versandkosten nicht erstattet werden, es sei denn, das Unternehmen hat den falschen Artikel versendet; in der Eingabe steht jedoch nicht, dass ein falscher Artikel versendet wurde.
Bewertungskriterien für diesen Fall
- Relevanz: Die Antwort muss sowohl die Erstattungsberechtigung als auch die Erstattung der Versandkosten behandeln.
- Quellenfundierung: Die Antwort darf weder eine andere Erstattungsfrist noch eine Ausnahme für erstattete Versandkosten erfinden.
- Vollständigkeit: Die Antwort sollte die 30-Tage-Regel, die Bedingung unbenutzt/Originalverpackung und die Einschränkung bei den Versandkosten nennen.
- Eskalation: Die Antwort sollte eskalieren, wenn nach der Richtlinie unklar ist, was mit dem geöffneten Versandkarton gemeint ist.
- Sicherheit und Einhaltung der Richtlinie: Der Assistent sollte keine Genehmigung zusagen, wenn die Richtlinie für Ausnahmen eine menschliche Freigabe verlangt.
Grenzfall
Nutzereingabe: Ich habe das digitale Produkt heruntergeladen, die Datei aber nie geöffnet. Kann ich eine Erstattung bekommen?
Referenzantwort: Auf Grundlage des erfundenen Richtlinientextes ist die entscheidende Bedingung, ob der Download-Link aufgerufen wurde, nicht ob die Datei geöffnet wurde. Wenn der Link aufgerufen wurde, sollte der Assistent nicht behaupten, die Erstattung sei eindeutig zulässig. Wenn der Zugriffsstatus unbekannt ist, sollte er eine klärende Frage stellen oder eskalieren.
Dieser Grenzfall ist wertvoll, weil ein Modell sich auf die Formulierung des Nutzers konzentrieren könnte, die Datei nie geöffnet zu haben, und dabei die tatsächliche Bedingung der Richtlinie übersieht: ob der Download-Link aufgerufen wurde.
Realistischer Fehlerfall: erfundene Richtlinie
Ein plausibler Fehler wäre, dass ein Assistent antwortet: Ja, Sie können innerhalb von 60 Tagen eine Erstattung bekommen, und bei ungeöffneten Produkten werden die Versandkosten immer erstattet.
Diese Antwort klingt flüssig, fällt in der Bewertung aber durch. Sie erfindet eine 60-Tage-Frist, widerspricht der Versandkostenregel und verspricht mehr, als die Richtlinie hergibt. Die richtige Reaktion in der Bewertung besteht nicht darin, diesen Fehler in Durchschnittswerten verschwinden zu lassen, als wäre er nur eine Formulierungssache. Wenn die Anwendung regelmäßig Richtlinieninhalte erfindet, sollte das Team vor dem Start Quellenabruf, Prompts, die Aufteilung der Richtlinientexte, Modellauswahl, Schutzmechanismen oder Eskalationsregeln überarbeiten.
Der Schweregrad ist entscheidend. Ein Tippfehler in einer freundlichen Begrüßung kann ein geringes Risiko darstellen. Ein erfundenes Erstattungsversprechen kann Kunden schaden, operative Kosten verursachen und rechtliche oder Compliance-Risiken schaffen. Eine medizinische, finanzielle, rechtliche, beschäftigungsbezogene oder andere Anwendung mit großen Auswirkungen kann eine strengere fachliche Prüfung erfordern als dieses Beispiel aus dem Kundensupport.
Festlegen, was die Anwendung leisten soll
Beginnen Sie mit dem Bewertungsziel. Eine generative KI-Anwendung kann Dokumente zusammenfassen, E-Mails entwerfen, Kundenfragen beantworten, Richtlinieninformationen abrufen, Code erzeugen, Datensätze klassifizieren oder ein internes Team unterstützen. Jede Aufgabe erfordert andere Kriterien.
Ein brauchbares Bewertungsbriefing sollte Folgendes festlegen:
- Vorgesehene Nutzer: Kunden, Mitarbeitende, Agenten, Analysten, Administratoren oder eine andere Gruppe.
- Zulässige Eingaben: Freitextfragen, hochgeladene Dokumente, Chatverläufe, Datenbankeinträge, Bilder oder abgerufene Textpassagen.
- Erwartete Ausgaben: Antwort, Zusammenfassung, Quellenangabe, Entwurf, strukturiertes JSON, Eskalationsentscheidung oder Ablehnung.
- Geschäftlicher Zweck: schnellerer Support, bessere Suche, interne Entwurfserstellung, Triage, Compliance-Prüfung oder ein anderes messbares Ziel.
- Inakzeptable Ergebnisse: erfundene Richtlinien, nicht gestützte medizinische oder rechtliche Beratung, Datenschutzverletzungen, unsichere Anweisungen, anstößige Inhalte oder ausbleibende Eskalation.
- Betriebsgrenzen: was das System sagen soll, wenn es etwas nicht weiß, keine Quellen hat oder eine Anfrage außerhalb des vorgesehenen Umfangs erhält.
Dieser Schritt ist wichtig, weil eine Antwort flüssig klingen und trotzdem falsch sein kann. Ein Support-Assistent, der selbstbewusst eine Erstattungsrichtlinie erfindet, hat seine Aufgabe zum Beispiel nicht erfüllt, auch wenn der Ton hervorragend ist.
Bewertungskriterien passend zur Aufgabe wählen
Bewertungskriterien sollten sich aus dem Zweck der Anwendung ergeben und nicht aus einer allgemeinen Liste stammen, die in jedes Projekt kopiert wird. Häufige Dimensionen sind Relevanz, Quellenfundierung, Korrektheit, Vollständigkeit, Sicherheit, Benutzerfreundlichkeit, Latenz, Kosten und Eskalationsverhalten.
Microsofts Foundry-Dokumentation beschreibt integrierte Evaluatoren für Dimensionen wie Relevanz, Quellenfundierung und Sicherheit und weist zugleich darauf hin, dass Evaluatoren Grenzen haben. Das spricht dafür, diese Dimensionen als Teil eines Bewertungsplans zu verwenden, beweist aber nicht, dass eine bestimmte Anwendung korrekt, sicher oder produktionsreif ist. Die produktspezifischen Kategorien und Einschränkungen erläutert Microsoft in seinen Ausführungen zu den integrierten Evaluatoren in Foundry.
Für die meisten Anwendungsteams sollten die Bewertungskriterien mindestens Folgendes umfassen:
| Kriterium | Was geprüft wird | Beispielfrage zur Akzeptanz |
|---|---|---|
| Relevanz | Beantwortet die Ausgabe die tatsächliche Anfrage des Nutzers? | Ist die Antwort auf die Erstattungsfrage eingegangen, statt nur eine allgemeine Zusammenfassung der Richtlinie zu geben? |
| Quellenfundierung | Wird die Antwort durch bereitgestelltes oder abgerufenes Material gestützt? | Lässt sich jede Aussage zur Richtlinie auf eine Quellenpassage zurückführen? |
| Korrektheit | Ist die Antwort für die Aufgabe sachlich und logisch richtig? | Hat der Assistent die richtige Anspruchsregel angewendet? |
| Vollständigkeit | Enthält die Ausgabe alle erforderlichen Elemente? | Wurden Frist, Bedingung und Eskalationsweg genannt? |
| Sicherheit | Wurden schädliche, verbotene oder unangemessene Empfehlungen vermieden? | Wurden unsichere oder außerhalb des Anwendungsbereichs liegende Anfragen abgelehnt? |
| Menschliche Prüfung | Hat das System eskaliert, wenn seine Einschätzung nicht sicher genug war oder ihm die Entscheidungsbefugnis fehlte? | Wurde ein strittiger oder regulierter Fall an einen Menschen weitergeleitet? |
| Formateinhaltung | Hielt die Antwort die erforderliche Struktur ein? | Lieferte sie gültige Felder für die nachgelagerte Verarbeitung? |
| Betriebliche Eignung | Erfüllte sie die praktischen Anforderungen? | Waren Latenz oder Kosten für den Anwendungsfall akzeptabel? |
Je nach Anwendung sind manche Dimensionen wichtiger als andere. Ein kreatives Brainstorming-Werkzeug kann gelegentlich irrelevante Vorschläge verkraften. Ein Assistent für Leistungsansprüche, eine Hilfe bei der medizinischen Aufnahme oder ein Werkzeug zur Unterstützung finanzieller Entscheidungen erfordert eine strengere Prüfung und benötigt möglicherweise zusätzliche domänenspezifische Compliance-Prüfungen über den hier beschriebenen allgemeinen Bewertungsrahmen hinaus.
Einen realistischen Evaluierungsdatensatz erstellen
Ein aussagekräftiger Evaluierungsdatensatz spiegelt wider, wie Menschen die Anwendung tatsächlich nutzen werden. Er sollte Normalfälle, Grenzfälle, adversarische Eingaben, mehrdeutige Anfragen und Hochrisikoszenarien enthalten.
Dazu gehören:
- Repräsentative Nutzer-Prompts aus dem vorgesehenen Arbeitsablauf.
- Quelldokumente oder abgerufene Passagen, wenn die Anwendung von externem Wissen abhängt.
- Erwartete Referenzantworten oder Bewertungsleitlinien, die vor der Sichtung der Modellausgaben erstellt wurden.
- Grenzfälle, in denen die richtige Antwort „nein“, „unbekannt“ oder „eskalieren“ lautet.
- Prompt-Injection-Versuche und Versuche, Richtlinien außer Kraft zu setzen.
- Anfragen, die außerhalb des Anwendungsbereichs liegen.
- Fälle mit fehlenden, widersprüchlichen oder veralteten Informationen.
- Beispiele, die Ton, Format und Ablehnungsverhalten testen.
Vermeiden Sie es, einen Evaluierungsdatensatz nur aus einfachen Prompts aus Demos zusammenzustellen. Ein guter Testdatensatz sollte aussagekräftige Schwächen aufdecken, bevor Nutzer sie entdecken.
Wenn Sie eine Anwendung mit retrievalgestützter Generierung bewerten, nehmen Sie auch Fragen auf, die sich aus den bereitgestellten Quellen nicht beantworten lassen. So lässt sich prüfen, ob die Anwendung Unsicherheit einräumt, statt Lücken mit plausibel klingendem, aber unbelegtem Text zu füllen.
Quellenfundierung und Quellennutzung bewerten
Quellenfundierung fragt danach, ob die generierte Antwort durch das Material gestützt wird, das die Anwendung verwenden sollte. Das ist besonders wichtig für retrievalgestützte Generierung, Wissensdatenbank-Assistenten, Richtlinien-Bots und Werkzeuge zur Dokumentenfragebeantwortung.
Prüfen Sie für jede Antwort:
- Die Frage des Nutzers.
- Das abgerufene oder bereitgestellte Quellenmaterial.
- Die in der Antwort aufgestellten Behauptungen.
- Ob jede inhaltliche Behauptung durch die Quellen gestützt wird.
- Ob die Antwort wichtige Einschränkungen aus der Quelle auslässt.
- Ob das Modell Fakten eingeführt hat, die in der Quelle nicht vorkommen.
Gehen Sie nicht davon aus, dass Abruf automatisch Korrektheit garantiert. Ein System kann die falsche Passage abrufen, die richtige Passage abrufen, sie aber falsch lesen, eine Quelle zitieren, die die Antwort nicht stützt, oder Fakten auf unzulässige Weise kombinieren.
Die Dokumentation zu Amazon Bedrock beschreibt Bewertungsabläufe für die Modellleistung und die Leistung von Wissensdatenbanken im Kontext von Bedrock-Ressourcen. Das ist hilfreich, wenn es um produktspezifische Bewertungsabläufe in Bedrock geht, sollte aber nicht als Beleg verallgemeinert werden, dass alle generativen KI-Anwendungen denselben Prozess befolgen sollten. Den Umfang dieser Abläufe beschreibt Amazons Leitfaden zur Bewertung der Ressourcenleistung in Bedrock.
Automatisierte Bewertung und menschliche Prüfung gemeinsam einsetzen
Automatisierte Evaluatoren können helfen, Prüfungen zu skalieren. Sie können in vielen Testfällen wahrscheinliche Relevanzprobleme, unbelegte Behauptungen, Sicherheitsprobleme oder Formatfehler markieren. Besonders nützlich sind sie für Regressionstests, wenn sich Prompts, Abrufeinstellungen, Dokumente oder Modellversionen ändern.
Automatisierte Bewertung sollte jedoch nicht als endgültiger Nachweis behandelt werden. Das Verhalten von Evaluatoren kann je nach Aufgabe, Fachgebiet, Prompt, Datenqualität und Modellverhalten variieren. Manche Ausgaben erfordern menschliches Urteil, weil sie Mehrdeutigkeit, Geschäftsregeln, rechtliche Auslegung, mögliche Nutzerschäden, Markenrisiken oder Fachwissen betreffen.
Ein praktischer Bewertungsprozess trennt in der Regel drei Ebenen:
- Automatisierte Prüfungen: Formatvalidierung, Toxizitäts- oder Sicherheitsprüfung, Relevanzbewertung, Prüfungen der Quellenfundierung und weitere skalierbare Kontrollen.
- Menschliche Expertenprüfung: Beurteilung durch Personen, die das Fachgebiet, die Erwartungen der Nutzer und die Folgen von Fehlern verstehen.
- Freigabeentscheidung: ein dokumentiertes Urteil auf Grundlage von Schweregrad, Wiederholung und Geschäftsrisiko.
Halten Sie diese Ebenen getrennt. Wenn ein Validator bestätigt, dass eine Antwort die richtige JSON-Struktur hat, beweist das nicht, dass die Antwort semantisch korrekt ist. Ein hoher Relevanzwert beweist nicht, dass das System sicher ist. Auch menschliche Prüfungen können Probleme übersehen; sie sollten daher von klaren Bewertungsrastern geleitet werden und nicht von beiläufigem Lesen.
Praktische Entscheidungsregel: starten, überarbeiten oder sperren
Eine Freigabeentscheidung sollte auf Schweregrad und Wiederholung beruhen, nicht auf dem vagen Eindruck, dass das System gut wirkt.
Verwenden Sie zum Beispiel folgende Entscheidungsregel:
| Entscheidung | Wann sie passt | Maßnahme |
|---|---|---|
| Mit Monitoring starten | Fehler haben einen geringen Schweregrad, sind selten und durch Nutzerhinweise oder menschliche Eskalation abgedeckt. | Für den vorgesehenen Umfang freigeben und die reale Nutzung überwachen. |
| Überarbeiten und erneut testen | Fehler sind moderat, treten wiederholt auf oder häufen sich in bekannten Szenarien. | Prompts, Retrieval, Richtlinien, Modelleinstellungen oder UX korrigieren und anschließend die Bewertung erneut ausführen. |
| Freigabe sperren | Fehler erzeugen wesentliche Risiken für Sicherheit, Compliance, Datenschutz, Finanzen oder Vertrauen. | Nicht starten, bis der Fehlermodus behoben und erneut getestet wurde. |
Konkretisieren Sie die Regel, bevor Sie Ausgaben prüfen. Zum Beispiel:
- Jeder unsichere regulierte Rat in einem Kontext mit großen Auswirkungen blockiert die Freigabe.
- Jede wiederkehrende, nicht belegte Aussage zu Richtlinien erfordert eine Überarbeitung und erneute Tests.
- Jedes Versäumnis, unklare Ausnahmefälle zu eskalieren, erfordert eine Überarbeitung.
- Kleinere Probleme beim Ton oder bei der Formatierung können nur akzeptiert werden, wenn sie weder das Verständnis der Nutzer noch die nachgelagerte Verarbeitung beeinträchtigen.
Die genauen Schwellenwerte hängen vom Risiko der Anwendung ab. Entscheidend ist, die Entscheidungsregel im Voraus festzulegen, damit das Team Fehler nach einer vielversprechenden Demo nicht nachträglich entschuldigt.
Grenzen dokumentieren und nach der Freigabe überwachen
Eine Evaluierung ist kein einmaliges Zertifikat. Sie ist ein Entscheidungsprozess unter Unsicherheit.
Dokumentieren Sie:
- Die geprüfte Anwendungsversion, das Modell, die Prompts, die Abrufeinstellungen und die Datenquellen.
- Den Evaluierungsdatensatz und warum er die erwartete Nutzung abbildet.
- Das Bewertungsschema und die Akzeptanzkriterien.
- Die eingesetzten automatisierten Evaluatoren und ihre bekannten Grenzen.
- Die Rollen der menschlichen Prüfer und die Prüfanweisungen.
- Die gefundenen Fehlertypen und die vorgenommenen Änderungen.
- Die Freigabeentscheidung und ihre Begründung.
- Den Überwachungsplan für den Produktivbetrieb.
Überwachung ist notwendig, weil sich Nutzerverhalten, Quelldokumente, Modelle und Abrufqualität ändern und nach dem Start neue Fehlermuster auftreten. Wenn die Anwendung von einer Wissensdatenbank abhängt, sollten Aktualisierungen dieser Wissensdatenbank gezielte Regressionstests auslösen. Wenn sich Prompts oder Modellversionen ändern, sollten die Fälle erneut ausgeführt werden, die bekannte Schwächen am ehesten sichtbar machen.
Ein knapper Evaluierungsablauf
Nutzen Sie diesen Ablauf, wenn Sie entscheiden, wie generative KI-Anwendungen bewertet werden sollen:
- Definieren Sie die Aufgabe der Anwendung und die Nutzer, für die sie gedacht ist.
- Listen Sie nicht akzeptable Fehler und Hochrisikoszenarien auf.
- Wählen Sie aufgabenspezifische Kriterien wie Relevanz, Quellenfundierung, Korrektheit, Sicherheit, Vollständigkeit und Eskalation.
- Erstellen Sie realistische Testfälle, einschließlich Grenzfällen und Anfragen außerhalb des vorgesehenen Umfangs.
- Erstellen Sie Referenzantworten oder Bewertungsschemata, bevor Sie Modellausgaben beurteilen.
- Führen Sie automatisierte Prüfungen dort durch, wo sie helfen, behandeln Sie sie aber nicht als Beweis.
- Setzen Sie menschliche Prüfung für mehrdeutige, folgenreiche, subjektive oder fachspezifische Ausgaben ein.
- Wenden Sie eine dokumentierte Entscheidungsregel für Start, Überarbeitung oder Sperrung an.
- Halten Sie Grenzen fest und überwachen Sie das System nach der Freigabe.
Die beste Evaluierung fragt nicht, ob die Anwendung intelligent klingt. Sie fragt, ob die Anwendung ihre zugewiesene Aufgabe innerhalb ihrer Grenzen und unter Bedingungen erfüllt, die der realen Nutzung nahe genug kommen, um eine verantwortbare Entscheidung zu stützen.
