In der Welt der Entwicklung gibt es die unwiderlegbare Regel, dass man nicht verbessern kann, was man nicht messen kann. Und diese Regel gilt natürlich auch für die Qualitätssicherung.
Die Menge der produzierten Software wächst exponentiell. Das bedeutet, dass der Umfang der Testabdeckung, die zur Gewährleistung der Qualität erforderlich ist, in gleichem Maße steigt. Das wiederum führt auch zu dieser Art von Kausalzusammenhang – mehr Codezeilen, mehr Fehler. Um das QS-Team auf die Testautomatisierung und -optimierung vorzubereiten, müssen Sie also auch über die Implementierung eines effektiven Fehlerberichts-Tools nachdenken.
Doch selbst mit einem effektiven webbasierten Testfallmanagement-Tool ist es notwendig zu verstehen, welche Fortschrittsmetriken bei Softwaretests angewendet werden müssen, um ein klareres Bild von den effizienten Bemühungen der Qualitätssicherung zu erhalten. In diesem Artikel werden wir analysieren, welche Testmetriken und -messungen als wesentlich angesehen werden, welche davon in der agilen Methodik Vorrang haben und welche KPI notwendig sind, um die Leistung des Teams zu verfolgen.
Wie man versteht, welche Qualitätssicherungsmetriken zu verwenden sind
Das richtige Verständnis von KPI-Metriken im Softwaretest kann das „die Zukunft ist ungewiss, und das Ende ist immer nah“ beseitigen.
Was bedeutet dieses Zitat der Doors für das Produkt? Es bedeutet, je besser Sie wissen, was Sie messen müssen, desto größer ist die Chance, dass Ihr Produkt in den Händen Ihrer Kunden landet und nicht in einem Mülleimer verärgerter Investoren.
Bevor Sie mit der Evaluierung Ihres eigenen Testprozesses beginnen, müssen Sie bestimmen, welche spezifischen Arten von Metriken im Softwaretest Sie dafür benötigen.
Die richtige Lösung besteht darin, sich zu vergewissern, dass Sie die Antworten auf die folgenden Fragen haben:
1
Wie lange wird der Test dauern?
2
Was kostet der Test?
3
Ist es sinnvoll, kostengünstige Tests zu verwenden?
4
Wie schwerwiegend sind die Fehler?
5
Welchen Status haben die einzelnen Fehler - geschlossen, wiedereröffnet, verschoben?
6
Wie viele Fehler müssen perspektivisch noch entdeckt werden?
7
Wie viel von der Software wird getestet?
8
Können Tests in bestimmten Zeiträumen durchgeführt werden, und ist es möglich, mehrere Tests in denselben Zeitraum zu legen?
9
Wird es mehr Testaufwand erfordern?
Sobald die Fragen beantwortet sind, können Sie weitergehen und QS-Testmetriken auswählen, die Ihren Anforderungen entsprechen. Sie sollten jedoch bedenken, dass Metriken nicht universell sind — verschiedene Unternehmen benötigen unterschiedliche Metriken und Messungen im Softwaretest. Wir empfehlen Ihnen daher, mehr über die Berichtsfunktionen von aqua ALM zu erfahren und den Berichtsassistenten zu erkunden.
Es gibt also einige Tools, die Sie zur Ermittlung solcher Metriken verwenden können. Wir empfehlen Ihnen, mehr über aqua ALM und seine Berichtsfunktionen zu erfahren und den Berichtsassistenten zu erkunden.
aqua ALM Bericht mit Beispielen von Metriken und verfügbaren Berichtsformaten
Die Funktionen des Berichtsassistenten können Ihnen helfen, die für Ihr Unternehmen wichtigen Kriterien zu ermitteln. Es ist möglich, verschiedene Szenarien Ihrer Berichterstattung anzuzeigen, verschiedene Datentypen im selben Bericht zu vergleichen oder zwei separate Berichte zu erstellen und zu vergleichen, welcher davon Ihren Anforderungen entspricht.
Holen Sie sich eine Vorlage für eine Teststrategie, die es uns ermöglicht, Software 2 Mal so schnell zu veröffentlichen
Metriken für die Wirksamkeit der Qualitätssicherung
Absolute Zahlen:
Absolute Metriken sind eine gute Möglichkeit, sich einen Überblick über den Aufbau der aktuellen Testprozesse zu verschaffen. Und ihr Vorhandensein wird für alle Arten von Entwicklung empfohlen.
- Gesamtzahl der Testfälle
- Anzahl der bestandenen Testfälle
- Anzahl der fehlgeschlagenen Testfälle
- Anzahl der blockierten Testfälle
- Anzahl der gefundenen Mängel
- Anzahl der akzeptierten Mängel
- Anzahl der abgelehnten Mängel
- Anzahl der zurückgestellten Mängel
- Anzahl der kritischen Mängel
- Anzahl der geplanten Teststunden
- Anzahl der tatsächlichen Teststunden
- Number of bugs found after shipping
Testdurchführung und Fehlerbehebung
Testmetriken im Softwaretest, die die Korrelation zwischen abgeschlossenen Aufgaben und der Gesamtzahl der Funktionen zeigen, ermöglichen es dem gesamten Team zu verstehen, welche Fehler in welchen Modulen das Produkt stören und vorrangig behandelt werden sollten:
Testentwurf
Die Testentwurfsabdeckung bewertet die Korrelation zwischen Testfällen und der Anzahl der Anforderungen, während die Testentwurfsleistung die Anzahl der pro Tag generierten Testfälle bewertet. Dies geschieht, um Lücken in der Funktionalität auf der Endbenutzerseite zu finden:
Testabdeckung
Die Testabdeckung bewertet den Testaufwand und gibt Aufschluss darüber, wie viel Prozent der Anwendung bereits getestet wurden.
Benutzerakzeptanztests
Diese Metrik soll übersehene Probleme aufdecken, die aufgrund von Lücken in der Teststrategie auftreten können:
Produktverwertung und Unterstützung
Diese Metrik wird für Strategieverbesserungen zur Steigerung der Testleistung verwendet. Sie bewertet auch die Testeffektivität, indem sie die Anzahl der unentdeckten Probleme aufdeckt, die vor dem Produktionseinsatz behoben werden müssen:
Testökonomische Metriken
Die Kosten für das Testen setzen sich aus der Infrastruktur, den Tools und den Arbeitskräften zusammen. Mit dieser Metrik wird bewertet, wie viel für den Abschluss des Projekts ausgegeben werden muss und wie viel tatsächlich ausgegeben wird:
Status der Testdurchführung
Diese Metrik sollte besser in einem Diagramm dargestellt werden, um die Gesamtausführungen als bestanden, fehlgeschlagen, blockiert, unvollständig und nicht ausgeführt anzuzeigen.
Diagramm erstellte gegenüber gelöste Defekte
Diese Metrik dient der Kontrolle von Fehlerbeseitigungsprozessen und dem Verständnis von Metriken zur Testeffektivität.
Allgemeine Metriken
Testmetriken messen die Effektivität Ihrer Teststrategie und zeigen notwendige Verbesserungen auf:
Test-Zuverlässigkeit
Es ist immer gut, jemanden zu haben, auf den man sich verlassen kann, vor allem, wenn man sich als QS-Ingenieur hundertprozentig auf seine Tests verlassen will. Als Hauptkriterium kann die Ausgabe von nicht-falschen Ergebnissen angesehen werden, die hinter jedem erfolglosen Test stehen. Es gibt ein echtes Problem, der Test ist nur bei einer WIRKLICH fehlerfreien Funktion erfolgreich, und es gibt keine große Lücke zwischen Fehlern und Tests, mit anderen Worten, eine echte Korrelation.
Es ist oft schwierig, die Testsuite von fehlerhaften oder unbrauchbaren Tests zu befreien. Wir empfehlen aqua KI-Copilot. Es handelt sich um einen GPT-basierten Assistenten, der Ihre Tests analysiert, um Testfälle zu erkennen, die immer wieder ohne Grund fehlschlagen oder praktisch nie fehlschlagen. Sie können sie dann anpassen oder entfernen.
Setzen Sie mit unserem KI-Copilot Prioritäten für Ihre Tests
Verteilung der Mängel
Die Anzahl der entdeckten Fehler kann zweierlei bedeuten – entweder arbeiten die Tester sehr gut oder sie arbeiten schlecht.
Spaß beiseite, die Verteilung von Fehlern ist ein hervorragendes Testmaß für eine Softwareabteilung.
„Exemplarische Abdeckung und Fehlerverteilung. Szenario 1 beschreibt eine Situation, in der der Abdeckungsgrad für die zukünftige Codequalität, gemessen an der Anzahl der Fehler, bedeutungslos ist. Szenario 2 zeigt eine Situation, in der die Abdeckung sinnvoll ist.“ © Artur Andrzejak
Die Anzahl der in bestimmten Produktbereichen gefundenen Fehler kann den Entwicklern Aufschluss darüber geben, wo sie ansetzen müssen. Wenn die Gesamtzahl der gefundenen Fehler auf einer Plattform gleichmäßig verteilt ist, handelt es sich eher um ein allgemeines Problem in der Entwicklung. Bei einer solchen ungleichmäßigen Verteilung sollten die Entwickler jedoch spezifische Umgebungen optimieren.
Anteil der Testautomatisierung
Eine der wichtigsten Metriken für das automatisierte Testen ist die Abdeckung der Testautomatisierung, die den prozentualen Anteil der automatisierten Testfälle an der Gesamtzahl misst. Ein umso höherer Anteil bedeutet einen effizienteren Testprozess, da er den manuellen Aufwand reduziert und die Testausführung beschleunigt. Auf diese Weise decken Sie kritische und sich wiederholende Testszenarien ab und können sich auf komplexe Situationen konzentrieren.
Stabilität der Testumgebung
Ihre Testumgebung und ihre Zuverlässigkeit sollten bei der Messung Ihrer QS-Bemühungen oberste Priorität haben; hier kommt die Stabilität der Testumgebung ins Spiel. Häufige Umgebungsbedingungen können das Testen verzögern und die Qualität des Produkts beeinträchtigen. Die Überwachung der Stabilität der Testumgebung hilft Ihnen, potenzielle Engpässe zu erkennen und stellt sicher, dass die Umgebung eine einheitliche und zuverlässige Plattform für das Testen bietet.
Effizienz von Testfällen
Als eine der wichtigsten QS-Metriken beim Testen von Software misst die Testfalleffizienz die Effektivität der einzelnen Testfälle bei der Identifizierung von Fehlern. Eine hohe Effizienz der Testfälle deutet darauf hin, dass die Testfälle gut konzipiert und in der Lage sind, Fehler genau zu erkennen. Es hilft auch, ineffektive Testfälle zu identifizieren, die verbessert oder entfernt werden müssen.
Abdeckung der Testdaten
Diese Metrik bewertet die Vielfalt und den Umfang der beim Testen verwendeten Testdaten. Eine umfassende Testdatenabdeckung ist unerlässlich, um reale Testszenarien zu simulieren und potenzielle Fehler aufzudecken, die unter verschiedenen Datenbedingungen auftreten können. Es stellt sicher, dass die Anwendung mit verschiedenen Datensätzen getestet wird und hilft, datenbedingte Probleme zu erkennen.
Zeit für den Testzyklus
Eine der wesentlichsten QS-Metriken ist die Testzykluszeit, welche die Zeit für die Durchführung eines Testzyklus von der Planung bis zum Abschluss misst. Die Verkürzung der Testzyklen verbessert die Flexibilität des Testprozesses, verkürzt die Feedback-Schleifen und beschleunigt die Markteinführung des Produkts. Es hilft auch, Engpässe im Testen zu erkennen und trägt zur kontinuierlichen Verbesserung bei.
Verteilung des Schweregrads von Mängeln
Diese Metrik kategorisiert Fehler auf der Grundlage von Schweregraden (z. B. kritisch, schwerwiegend, geringfügig) und verfolgt die Verteilung im Vergleich. Das Verständnis der Verteilung der Fehlerschwere erlaubt es, Fehler mit hohem Schweregrad zu priorisieren, um sie sofort zu beheben und so die möglichen Auswirkungen auf die Nutzer zu minimieren.
Bereitschaft der Testumgebung
Die Bereitschaft der Testumgebung bewertet, wie gut die Testumgebung auf die Testaktivitäten vorbereitet ist. Dazu gehört auch die Überprüfung der Verfügbarkeit der erforderlichen Werkzeuge, Daten und Konfigurationen. Eine gut vorbereitete Testumgebung minimiert die Unterbrechungen während des Testens und maximiert die Produktivität.
Kundenzufriedenheit (nach Freigabe)
Die Kundenzufriedenheit misst, wie zufrieden Ihre Endnutzer nach der Freigabe mit Ihrem Produkt sind. Das Sammeln von Nutzer-Feedback und die Analyse der Kundenzufriedenheit helfen bei der Identifizierung von Verbesserungsbereichen und bestätigen die Effektivität des Testprozesses bei der Bereitstellung eines Qualitätsprodukts.
Metriken zur Messung von Testprozessen, die Sie nicht verfolgen sollten
Wahrscheinlich denken Sie, dass es irgendwelche Metriken gibt, die ich beim Testen vermeiden sollte. Handelt es sich dabei um Metriken zur Testautomatisierung, um die durchschnittliche Testdauer oder um etwas anderes?
Die Antwort darauf ist einfach: Es gibt keine Metriken, die Sie nicht verfolgen sollten. Aber es gibt so genannte „Vanity Metrics“, die Sie auf jeden Fall vermeiden und aus Ihrem Fortschrittsbild ausschließen sollten.
Die Eitelkeitsmetriken können sich auch in absoluten Zahlen verstecken, beispielsweise in der Anzahl der durchgeführten Tests oder der entdeckten Fehler. Auch die Anzahl der Downloads Ihrer App kann eine Vanity-Metrik sein.
Diese Kennzahl bringt also keine soliden Erkenntnisse und enthält keine Informationen, die Sie für Verbesserungen nutzen können.
Wenn Sie sich einige Metriken ansehen und denken: „Wow, toll“, aber beides ergibt keinen Sinn, dann können Sie sicher sein, dass es sich um eine Eitelkeit handelt.
Jede Messgröße kann Ihnen einen guten Einblick geben, aber nicht alle passen zu Ihrer QS-Strategie. Wenn Sie ein QS-Leiter oder ein leitender Entwickler sind, wissen Sie wahrscheinlich bereits, dass Sie nur eine Reihe spezifischer Metriken auswählen werden, um Ihren Fortschritt zu verfolgen. Und wenn sich das Produkt ändert, können diese Metriken gegen die passenden ausgetauscht werden.
Schlussfolgerung
Die richtige Verwendung der Metrik für die Softwarequalität ist möglich, um die gewünschten Ergebnisse von Tests zu bekommen. Ihr Vorhandensein in modernen Entwicklungsprozessen wie dem agilen Ansatz hilft Managern, kleinere Ziele für jeden Sprint genau zu definieren. Durch die Verwendung von Benchmarks und KPIs als Orientierungshilfe wissen die Tester, welches Ergebnis zu erreichen ist und auf welche Zahlen sie sich konzentrieren sollten. Im Falle einer Abweichung von diesen Metriken für die Testeffizienz können wir von einer Trendänderung ausgehen. Eine solche Abweichung kann auf einen kritischen Fehler hinweisen, der den Erfolg des Projekts gefährden könnte. Auf diese Weise können Manager ihr Team vorab überprüfen und neu ausrichten, ohne das Ende abzuwarten, und so zusätzliche Entwicklungskosten verhindern.
QS-Metriken helfen Ihnen, Raum für QS-Verbesserungen und Effizienz zu finden, aber es gibt auch direktere Werkzeuge dafür. Sie können Stunden bei der Erstellung neuer Tests einsparen, wenn Sie dies der künstlichen Intelligenz überlassen. Der KI-Copilot von aqua kann neue Tests erstellen oder Ihre Entwürfe vervollständigen, damit Sie sich auf das konzentrieren können, was mehr Aufmerksamkeit und Kreativität erfordert.
KI-Tests wird jede QS-Effizienz-Kennzahl übertreffen
