Schnelles Feedback trotz langsamer Tests

Wenn ein System wächst, wächst auch die Anzahl automatisierter Tests. Wir sehen immer öfter Test-Suiten, die Stunden oder Tage laufen. Das ist lähmend langsam.

Wenn die Ausführung aller Tests zu lange dauert, kann man einen Teil der Tests häufiger auszuführen, um hierfür schneller Ergebnisse zu bekommen. Wenn diese Teilmenge gut gewählt ist, findet sie einen Großteil der Fehler in sehr kurzer Zeit. Die restlichen Tests können weiterhin im alten Rhytmus ausgeführt werden, um den Rest der Fehler zu finden. Damit erreichen wir, trotz langsamer Testsuite, sehr schnelles Feedback für die meisten neuen Fehler.

Alles steht und fällt natürlich mit der Auswahl der Teilmenge der häufig ausgeführten Tests. Hierfür haben wir in den letzten Jahren zwei unterschiedliche Ansätze entwickelt: Test-Impact-Analyse und Pareto-Optimierung. Im Vortrag stellen ich erst die Grundideen und Forschungsergebnisse vor und zeige dann Erfahrungen aus dem Einsatz in der Praxis.