Sollte ein Testautomatisierungs-Grad von 100% das ultimative Ziel sein?

Auf der grünen Wiese ist das sicherlich etwas, das wir alle gerne erreichen würden – wobei ja stets die Frage im Raum steht was genau eigentlich 100% sind und ob es nicht doch noch einige weitere Funktionen oder Permutationen gibt, die man noch testen müßte.

Trotzdem kommen wir beim Erstellen einer Teststrategie an den Punkt, wo wir prüfen müssen was genau wir mit dem herausgehandelten Test-Budget realisieren können.

Wenn das System nicht winzig klein ist, exotische nicht-automatisierbare Mensch-Maschine Schnittstellen besitzt oder nach einer Iteration nie wieder erweitert wird, sollten die wichtigsten Use-Cases definitv automatisiert werden, da sich das nach einer Handvoll Testdurchläufen nicht nur zeitlich sondern auch monetär rechnet.

Soweit so gut, aber wie stark sollte man jetzt in die Breite oder in Tiefe gehen?

Meine Empfehlung wäre einerseits alle Requirements mit mindestens zwei automatischen Tests abzudecken (Breite) und für die Prio1-Requirements auch detailliert in die Tiefe zu gehen und verschiedene Varianten (z.B. Grenzfälle) zu testen.

Damit hat man sicherlich schon einen signifikaten Anteil des Budgets verbraucht und muß nun überlegen wohin mit dem Rest.

Abhängig von den Ergebnissen der bisherigen automatischen Test-Ausführungen würde ich nun in die Bereiche investieren, die besonders Problem-anfällig sind – wo also bisher schon viele Fehler durch die automatischen Tests gefunden wurden.

Einen Teil des Gesamtbudgets sollte man aber dennoch für manuelle Tests, z.B. für exploratives Testen investieren.

Warum? Man kann doch Timer mit zufälligen Werten zur Ablaufsteuerung der Tests nutzen und Variationsmöglichkeiten einbauen, die mit geringem Konfigurationsaufwand viele Varianten der Tests ermöglichen.

Trotzdem leuchten alle automatischen Tests doch nur einen festgelegten Bereich aus und ein kreativer Tester findet häufig neue Wege die Software herauszufordern und auch für wichtige Szenarien noch ein Fehlverhalten zu provozieren.

Die Erkenntnisse aus solchen manuellen Tests sollten dann für die Roadmap der nächsten Iteration der automatischen Tests genutzt werden, um gezielt in die richtigen Bereiche der Automationsbasis zu investieren.

Nie wieder einen Blogartikel verpassen >>> Zum Blog-Newsletter anmelden

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

6 + 8 =