KI-Testing: KI-Systeme professionell testen
KI-basierte Systeme erfordern andere Teststrategien als klassische Software. Vor allem generative KI und Large Language Models liefern probabilistische Ergebnisse: Dieselbe Eingabe kann zu unterschiedlichen, jeweils plausibel wirkenden Antworten führen.
Formalisierte Testfälle mit einem einzigen festen Soll-Ergebnis reichen deshalb häufig nicht aus.
KI verändert das Softwaretesting
Traditionelle Testverfahren vergleichen ein tatsächliches Ergebnis mit einem eindeutig definierten Soll-Ergebnis. Bei KI-Systemen müssen darüber hinaus Ergebnisräume, Wahrscheinlichkeiten, unerwartetes Verhalten und fachliche Risiken berücksichtigt werden.
Relevant sind beispielsweise:
- Wie stabil sind die Ergebnisse bei wiederholter Ausführung?
- Wie reagiert das System auf unvollständige oder mehrdeutige Eingaben?
- Welche falschen Ergebnisse wirken trotzdem überzeugend?
- Unter welchen Bedingungen verschlechtert sich die Qualität?
- Sind Ergebnisse nachvollziehbar und ausreichend dokumentiert?
- Welche Auswirkungen hätte eine Fehlentscheidung?
- Wann muss ein Mensch eingreifen?
Risikoorientiertes Testen von KI
Nicht jeder Fehler ist gleich kritisch. Ein sprachlich ungeschicktes Ergebnis hat eine andere Bedeutung als eine falsche Empfehlung in einem Finanz-, Verwaltungs- oder Gesundheitsprozess.
Objentis richtet die Teststrategie deshalb an den tatsächlichen Risiken der Anwendung aus. Wir untersuchen nicht nur, ob ein System funktioniert, sondern auch:
in welchem Kontext es eingesetzt wird,
welche Personen von seinen Ergebnissen betroffen sind,
wie schwer mögliche Fehler wiegen,
wie Fehler erkannt und behandelt werden,
welche Kontrollen und Eskalationswege erforderlich sind.
Diese risikoorientierte Grundhaltung ist seit Langem Bestandteil des Economic Testings von Objentis und gewinnt beim Testen von KI zusätzlich an Bedeutung.
Mögliche Prüfbereiche
Je nach Anwendung können unter anderem folgende Qualitätsmerkmale untersucht werden:
- Funktionale Eignung - Erfüllt die KI den vorgesehenen Anwendungszweck?
- Ergebnisqualität - Sind Antworten fachlich richtig, relevant und vollständig?
- Robustheit - Wie reagiert das System auf Variationen und Störungen?
- Reproduzierbarkeit - Wie stark unterscheiden sich wiederholte Ergebnisse?
- Sicherheit - Lässt sich das System manipulieren oder zweckentfremden?
- Datenschutz - Werden sensible oder personenbezogene Daten angemessen behandelt?
- Fairness - Entstehen systematische Verzerrungen oder Benachteiligungen?
- Transparenz - Können Ergebnisse und Testbedingungen nachvollzogen werden?
- Human Oversight - Wann und wie kann ein Mensch wirksam eingreifen?
Unser Vorgehen beim KI-Testing
Expertenerfahrung bleibt entscheidend
KI kann Testfälle erzeugen und große Ergebnismengen analysieren. Sie entscheidet jedoch nicht selbst, welche Risiken für ein Unternehmen oder seine Kundinnen und Kunden akzeptabel sind.
Professionelles KI-Testing benötigt deshalb Menschen, die kritisch hinterfragen, Zusammenhänge erkennen und Verantwortung für die Bewertung übernehmen.
