Adaptive Automation by Visual Recognition

Warum klassische UI‑Automatisierung scheitert – und was sich ändern muss
Nahaufnahme von Händen, die auf einem Laptop tippen; in der Luft schwebt eine transparente Grafik eines Prozess-Flowcharts mit Kästchen, Kreisen und Pfeilen.

Unser Vortrag zum Thema mit TestBusters

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Adaptive Visual Recognition: ein anderes Modell

Adaptive Visual Recognition verfolgt einen grundlegend anderen Ansatz.

UI‑Elemente werden nicht über technische Identifikatoren oder exakte Screenshots erkannt, sondern über erlernte visuelle Merkmale und Kontextinformationen:

  • Form, Iconografie, Struktur
  • relative Position
  • Nähe zu Labels oder anderen Elementen
  • Rolle im Workflow

Damit verschiebt sich das Erkennungsmodell: von technischer Repräsentation hin zu sichtbarer Intention.

Zwei Screens können visuell unterschiedlich aussehen und dennoch denselben Geschäftsprozess abbilden. Adaptive Visual Recognition erkennt genau diese Gemeinsamkeit – und bleibt dadurch robuster gegenüber UI‑Evolution.

Neue Grenzen, neues Mindset

Auch adaptive visuelle Automatisierung löst nicht alle Probleme:

  • UI‑Tests bleiben langsamer als API‑Tests.
  • Synchronisation und stabile Zustände sind weiterhin relevant.
  • Überlagerungen oder Animationen können schwierig sein.

Was sich jedoch ändert, ist der Charakter der Fehleranalyse.
Debugging konzentriert sich weniger auf Locator‑Interna und stärker auf das, was tatsächlich sichtbar und benutzbar war.

Ein zentrales Prinzip entsteht: Ein Fehler ist nur dann relevant, wenn er auch für den Nutzer ein Problem wäre.

Wenn Automatisierung etwas nicht erkennen kann, weil es visuell uneindeutig ist, spiegelt das häufig eine reale Usability‑Schwäche wider – nicht nur ein technisches Problem der Tests.

Wo dieser Ansatz besonders sinnvoll ist

Adaptive Visual Automation entfaltet ihren größten Nutzen dort, wo:

  • technischer Zugriff eingeschränkt ist (Third‑Party‑Software, Legacy‑Systeme),
  • Geschäftsprozesse End‑to‑End kritisch sind,
  • UI‑Änderungen häufig auftreten und Wartung teuer ist.

In diesen Szenarien geht es nicht darum, jede Prüfung auf die UI‑Ebene zu verlagern, sondern diese dort robuster zu machen, wo sie unvermeidbar ist.

Warum robuste UI‑Automatisierung ein Umdenken erfordert

UI‑basierte Automatisierung hat einen schlechten Ruf. Sie gilt als langsam, fragil, schwer wartbar und teuer in der Diagnose. Trotzdem bleibt sie in vielen Szenarien unverzichtbar – insbesondere dort, wo End‑to‑End‑Workflows, Third‑Party‑Systeme oder Black‑Box‑Umgebungen getestet werden müssen.

Die zentrale Frage ist daher nicht, ob UI‑Automatisierung sinnvoll ist, sondern wie sie robuster gestaltet werden kann, ohne die Komplexität weiter zu erhöhen.

Testing via UI statt Testing of UI

In vielen Diskussionen wird UI‑Testing mit visuellen Tests gleichgesetzt: Layout, Farben, Abstände oder Pixelgenauigkeit. In der Praxis geht es jedoch häufig um etwas anderes.

Beim Testing via UI wird die Benutzeroberfläche als Interaktionskanal genutzt, um Geschäftsprozesse auszuführen und Ergebnisse zu validieren. Entscheidend ist nicht, ob ein Button exakt gleich gerendert ist, sondern ob ein Nutzer einen Workflow erfolgreich abschließen kann.

Warum klassische UI‑Automatisierung scheitert

Moderne Benutzeroberflächen verändern sich ständig:
DOM‑Strukturen werden refaktoriert, IDs umbenannt, Komponenten neu gestylt oder Layouts an unterschiedliche Geräte angepasst.

Traditionelle UI‑Automatisierung ist häufig eng an diese technischen Details gekoppelt. Sobald sich diese ändern, schlagen die Tests fehl – auch wenn der Nutzer unverändert weiterarbeiten kann.

Das führt zu:

  • falschen Fehlalarmen,
  • hohem Wartungsaufwand,
  • und einem schleichenden Vertrauensverlust in die Test-Suite.

Tests brechen nicht, weil der Prozess nicht mehr funktioniert, sondern weil die Automatisierung der Implementierung folgt, nicht der sichtbaren Absicht.

Self‑Healing: hilfreich, aber reaktiv

Self‑Healing‑Mechanismen versuchen dieses Problem abzufedern, indem sie nach einem Locator‑Fehler alternative Treffer suchen oder Selektoren automatisch anpassen.

Das reduziert manuelle Reparaturarbeit und beschleunigt die Wiederherstellung.
Am grundlegenden Problem ändert es jedoch wenig:

  • Der Bruch passiert zuerst.
  • Die Abhängigkeit von technischen Strukturen bleibt bestehen.
  • Falsche Matches bleiben möglich.

Self‑Healing reduziert Schmerzen – es verhindert sie nicht. Der Ansatz ist reaktiv, nicht präventiv.

Warum klassisches Image‑Matching nicht ausreicht

Eine naheliegende Alternative ist bildbasierte Automatisierung. Klassisches Template‑Matching über Screenshots ist jedoch ebenfalls fragil:

  • Kleine Stiländerungen,
  • unterschiedliche Auflösungen,
  • Skalierungen oder responsive Layouts

führen schnell zu Fehlmatches.

Selector‑basierte und bildbasierte Ansätze unterscheiden sich technisch – teilen aber dasselbe Grundproblem: Sie beruhen auf exakter Übereinstimmung statt auf Bedeutung.

Key Takeaways

  • UI‑Automatisierung bricht oft trotz funktionierender Anwendung, weil sie sich an technischen Details statt an sichtbarer Intention orientiert.
  • Adaptive Visual Recognition erhöht die Robustheit, indem UI‑Elemente visuell und kontextbasiert erkannt werden – nicht über fragile Selektoren oder Pixelvergleiche.
  • Drvless setzt genau diesen Ansatz um und fokussiert auf reale Workflows, um aussagekräftige Signale statt unnötiger Fehlalarme zu liefern.

Das könnte Sie auch interessieren:

Wir testen Software mit Freude seit 1999