KI-Ergebnisse prüfen: Findet Ihre Anwendung auch die schwierigen Fälle?

Vorher festlegen, welches Ergebnis richtig wäre

Beschreiben Sie die Aufgabe konkret: Eine Serviceanfrage soll Anlagenkennung, Terminwunsch und offene Rückfragen in die richtigen Felder übertragen. Angaben, die in der Eingabe fehlen, bleiben offen.

Legen Sie auch fest, wann die Anwendung zurückfragen oder einen Menschen hinzuziehen soll. Speichern Sie diese Erwartung vor dem Test. Sonst wirkt eine plausible Antwort leicht richtiger, als sie ist.

Vier Prüffälle, die Sie direkt als Muster nutzen können

Beginnen Sie mit Beispieldaten oder freigegebenen Testfällen und ergänzen Sie typische Fälle aus Ihrem Einsatz. Halten Sie einige Fälle für eine spätere Kontrolle zurück, statt ausschließlich mit denselben Beispielen nachzubessern und zu prüfen.

Falscher Termin wiegt schwerer als holprige Sprache

Unterscheiden Sie fehlende oder falsche Angaben, ergänzte unbelegte Inhalte, falsche Zuordnungen und unerwünschte Aktionen. Legen Sie fest, welche Fehler den Einsatz verhindern. Ein falsch versandter Auftrag ist etwas anderes als eine umständliche Formulierung.

Beispielauswertung: Von 20 Fällen sind 16 vollständig brauchbar, drei brauchen eine Rückfrage und einer enthält einen falschen Termin. Halten Sie bei den Rückfragen fest, ob sie angemessen waren. Die Zahlen beschreiben diesen Durchlauf; sie lassen sich nicht als allgemeine Trefferquote auf andere Eingaben übertragen.

• Eingabe und erwartetes Ergebnis unverändert speichern.
• Tatsächliche Ausgabe sowie Anwendungsversion oder Konfiguration festhalten.
• Abweichung und Schwere nachvollziehbar beschreiben.
• Bei wechselnden Antworten ausgewählte Fälle wiederholen.
• Nach einer Änderung die betroffenen Fälle erneut prüfen.

Nach Änderungen mit neuen Fällen weiterprüfen

Eine bestandene Stichprobe gilt für die geprüften Aufgaben und Bedingungen. Neue Dokumentarten, Quellen oder Werkzeuge können neue Fehler mitbringen. Notieren Sie, welche Fälle noch nicht abgedeckt sind.

Das freiwillige AI Risk Management Framework des NIST behandelt Bewertung und Umgang mit KI-Risiken als fortlaufende Aufgabe. Die Vorlage hilft bei einer betrieblichen Prüfliste; sie ist kein Zertifikat oder gesetzliches Audit.

Quellen: NIST: AI Risk Management Framework

Wer darf was freigeben?

Lassen Sie die Ergebnisse von jemandem beurteilen, der die Aufgabe fachlich kennt. Bestimmen Sie, welche Ausgaben gegengelesen werden und welche Aktionen eine Freigabe brauchen. Nehmen Sie tatsächlich aufgetretene Fehler als neue Prüffälle auf.