software testing metrics
Agil Automatisierung Bewährte Methoden
15 min lesen
August 7, 2023

Die 20 wesentliche Metriken für die Messung von QS-Prozessen

In der Welt der Entwicklung gibt es die unwiderlegbare Regel, dass man nicht verbessern kann, was man nicht messen kann. Und diese Regel gilt natürlich auch für die Qualitätssicherung.

photo
Tania Zhydkova

In der Welt der Entwicklung gibt es die unwiderlegbare Regel, dass man nicht verbessern kann, was man nicht messen kann. Und diese Regel gilt natürlich auch für die Qualitätssicherung.

Die Menge der produzierten Software wächst exponentiell. Das bedeutet, dass der Umfang der Testabdeckung, die zur Gewährleistung der Qualität erforderlich ist, in gleichem Maße steigt. Das wiederum führt auch zu dieser Art von Kausalzusammenhang – mehr Codezeilen, mehr Fehler. Um das QS-Team auf die Testautomatisierung und -optimierung vorzubereiten, müssen Sie also auch über die Implementierung eines effektiven Fehlerberichts-Tools nachdenken.

Doch selbst mit einem effektiven webbasierten Testfallmanagement-Tool ist es notwendig zu verstehen, welche Fortschrittsmetriken bei Softwaretests angewendet werden müssen, um ein klareres Bild von den effizienten Bemühungen der Qualitätssicherung zu erhalten. In diesem Artikel werden wir analysieren, welche Testmetriken und -messungen als wesentlich angesehen werden, welche davon in der agilen Methodik Vorrang haben und welche KPI notwendig sind, um die Leistung des Teams zu verfolgen.

Wie man versteht, welche Qualitätssicherungsmetriken zu verwenden sind

Das richtige Verständnis von KPI-Metriken im Softwaretest kann das „die Zukunft ist ungewiss, und das Ende ist immer nah“ beseitigen.

Was bedeutet dieses Zitat der Doors für das Produkt? Es bedeutet, je besser Sie wissen, was Sie messen müssen, desto größer ist die Chance, dass Ihr Produkt in den Händen Ihrer Kunden landet und nicht in einem Mülleimer verärgerter Investoren.

Bevor Sie mit der Evaluierung Ihres eigenen Testprozesses beginnen, müssen Sie bestimmen, welche spezifischen Arten von Metriken im Softwaretest Sie dafür benötigen.

Die richtige Lösung besteht darin, sich zu vergewissern, dass Sie die Antworten auf die folgenden Fragen haben:

1

Wie lange wird der Test dauern?

2

Was kostet der Test?

3

Ist es sinnvoll, kostengünstige Tests zu verwenden?

4

Wie schwerwiegend sind die Fehler?

5

Welchen Status haben die einzelnen Fehler - geschlossen, wiedereröffnet, verschoben?

6

Wie viele Fehler müssen perspektivisch noch entdeckt werden?

7

Wie viel von der Software wird getestet?

8

Können Tests in bestimmten Zeiträumen durchgeführt werden, und ist es möglich, mehrere Tests in denselben Zeitraum zu legen?

9

Wird es mehr Testaufwand erfordern?

Sobald die Fragen beantwortet sind, können Sie weitergehen und QS-Testmetriken auswählen, die Ihren Anforderungen entsprechen. Sie sollten jedoch bedenken, dass Metriken nicht universell sind — verschiedene Unternehmen benötigen unterschiedliche Metriken und Messungen im Softwaretest. Wir empfehlen Ihnen daher, mehr über die Berichtsfunktionen von aqua ALM zu erfahren und den Berichtsassistenten zu erkunden.

Es gibt also einige Tools, die Sie zur Ermittlung solcher Metriken verwenden können. Wir empfehlen Ihnen, mehr über aqua ALM und seine Berichtsfunktionen zu erfahren und den Berichtsassistenten zu erkunden.

aqua ALM Bericht mit Beispielen von Metriken und verfügbaren Berichtsformaten

Die Funktionen des Berichtsassistenten können Ihnen helfen, die für Ihr Unternehmen wichtigen Kriterien zu ermitteln. Es ist möglich, verschiedene Szenarien Ihrer Berichterstattung anzuzeigen, verschiedene Datentypen im selben Bericht zu vergleichen oder zwei separate Berichte zu erstellen und zu vergleichen, welcher davon Ihren Anforderungen entspricht.

image
3zbdcc601729bfa1d4e33335cfb5176b61c737a68bafd4b4a38a8ef653a7771392
testing strategy template

Holen Sie sich eine Vorlage für eine Teststrategie, die es uns ermöglicht, Software 2 Mal so schnell zu veröffentlichen

Metriken für die Wirksamkeit der Qualitätssicherung

Absolute Zahlen:

Absolute Metriken sind eine gute Möglichkeit, sich einen Überblick über den Aufbau der aktuellen Testprozesse zu verschaffen. Und ihr Vorhandensein wird für alle Arten von Entwicklung empfohlen.

Testdurchführung und Fehlerbehebung

Testmetriken im Softwaretest, die die Korrelation zwischen abgeschlossenen Aufgaben und der Gesamtzahl der Funktionen zeigen, ermöglichen es dem gesamten Team zu verstehen, welche Fehler in welchen Modulen das Produkt stören und vorrangig behandelt werden sollten:

Testentwurf

Die Testentwurfsabdeckung bewertet die Korrelation zwischen Testfällen und der Anzahl der Anforderungen, während die Testentwurfsleistung die Anzahl der pro Tag generierten Testfälle bewertet. Dies geschieht, um Lücken in der Funktionalität auf der Endbenutzerseite zu finden:

Testabdeckung

Die Testabdeckung bewertet den Testaufwand und gibt Aufschluss darüber, wie viel Prozent der Anwendung bereits getestet wurden.

Benutzerakzeptanztests

Diese Metrik soll übersehene Probleme aufdecken, die aufgrund von Lücken in der Teststrategie auftreten können:

Produktverwertung und Unterstützung

Diese Metrik wird für Strategieverbesserungen zur Steigerung der Testleistung verwendet. Sie bewertet auch die Testeffektivität, indem sie die Anzahl der unentdeckten Probleme aufdeckt, die vor dem Produktionseinsatz behoben werden müssen:

Testökonomische Metriken

Die Kosten für das Testen setzen sich aus der Infrastruktur, den Tools und den Arbeitskräften zusammen. Mit dieser Metrik wird bewertet, wie viel für den Abschluss des Projekts ausgegeben werden muss und wie viel tatsächlich ausgegeben wird:

Status der Testdurchführung

Diese Metrik sollte besser in einem Diagramm dargestellt werden, um die Gesamtausführungen als bestanden, fehlgeschlagen, blockiert, unvollständig und nicht ausgeführt anzuzeigen.

Diagramm erstellte gegenüber gelöste Defekte

Diese Metrik dient der Kontrolle von Fehlerbeseitigungsprozessen und dem Verständnis von Metriken zur Testeffektivität.

Allgemeine Metriken

Testmetriken messen die Effektivität Ihrer Teststrategie und zeigen notwendige Verbesserungen auf:

Test-Zuverlässigkeit

Es ist immer gut, jemanden zu haben, auf den man sich verlassen kann, vor allem, wenn man sich als QS-Ingenieur hundertprozentig auf seine Tests verlassen will. Als Hauptkriterium kann die Ausgabe von nicht-falschen Ergebnissen angesehen werden, die hinter jedem erfolglosen Test stehen. Es gibt ein echtes Problem, der Test ist nur bei einer WIRKLICH fehlerfreien Funktion erfolgreich, und es gibt keine große Lücke zwischen Fehlern und Tests, mit anderen Worten, eine echte Korrelation.

Es ist oft schwierig, die Testsuite von fehlerhaften oder unbrauchbaren Tests zu befreien. Wir empfehlen aqua KI-Copilot. Es handelt sich um einen GPT-basierten Assistenten, der Ihre Tests analysiert, um Testfälle zu erkennen, die immer wieder ohne Grund fehlschlagen oder praktisch nie fehlschlagen. Sie können sie dann anpassen oder entfernen.

Setzen Sie mit unserem KI-Copilot Prioritäten für Ihre Tests

Testen Sie aqua

Verteilung der Mängel

Die Anzahl der entdeckten Fehler kann zweierlei bedeuten – entweder arbeiten die Tester sehr gut oder sie arbeiten schlecht.
Spaß beiseite, die Verteilung von Fehlern ist ein hervorragendes Testmaß für eine Softwareabteilung.

„Exemplarische Abdeckung und Fehlerverteilung. Szenario 1 beschreibt eine Situation, in der der Abdeckungsgrad für die zukünftige Codequalität, gemessen an der Anzahl der Fehler, bedeutungslos ist. Szenario 2 zeigt eine Situation, in der die Abdeckung sinnvoll ist.“ © Artur Andrzejak

Die Anzahl der in bestimmten Produktbereichen gefundenen Fehler kann den Entwicklern Aufschluss darüber geben, wo sie ansetzen müssen. Wenn die Gesamtzahl der gefundenen Fehler auf einer Plattform gleichmäßig verteilt ist, handelt es sich eher um ein allgemeines Problem in der Entwicklung. Bei einer solchen ungleichmäßigen Verteilung sollten die Entwickler jedoch spezifische Umgebungen optimieren.

Anteil der Testautomatisierung

Eine der wichtigsten Metriken für das automatisierte Testen ist die Abdeckung der Testautomatisierung, die den prozentualen Anteil der automatisierten Testfälle an der Gesamtzahl misst. Ein umso höherer Anteil bedeutet einen effizienteren Testprozess, da er den manuellen Aufwand reduziert und die Testausführung beschleunigt. Auf diese Weise decken Sie kritische und sich wiederholende Testszenarien ab und können sich auf komplexe Situationen konzentrieren.

Stabilität der Testumgebung

Ihre Testumgebung und ihre Zuverlässigkeit sollten bei der Messung Ihrer QS-Bemühungen oberste Priorität haben; hier kommt die Stabilität der Testumgebung ins Spiel. Häufige Umgebungsbedingungen können das Testen verzögern und die Qualität des Produkts beeinträchtigen. Die Überwachung der Stabilität der Testumgebung hilft Ihnen, potenzielle Engpässe zu erkennen und stellt sicher, dass die Umgebung eine einheitliche und zuverlässige Plattform für das Testen bietet.

Effizienz von Testfällen

Als eine der wichtigsten QS-Metriken beim Testen von Software misst die Testfalleffizienz die Effektivität der einzelnen Testfälle bei der Identifizierung von Fehlern. Eine hohe Effizienz der Testfälle deutet darauf hin, dass die Testfälle gut konzipiert und in der Lage sind, Fehler genau zu erkennen. Es hilft auch, ineffektive Testfälle zu identifizieren, die verbessert oder entfernt werden müssen.

Abdeckung der Testdaten

Diese Metrik bewertet die Vielfalt und den Umfang der beim Testen verwendeten Testdaten. Eine umfassende Testdatenabdeckung ist unerlässlich, um reale Testszenarien zu simulieren und potenzielle Fehler aufzudecken, die unter verschiedenen Datenbedingungen auftreten können. Es stellt sicher, dass die Anwendung mit verschiedenen Datensätzen getestet wird und hilft, datenbedingte Probleme zu erkennen.

Zeit für den Testzyklus

Eine der wesentlichsten QS-Metriken ist die Testzykluszeit, welche die Zeit für die Durchführung eines Testzyklus von der Planung bis zum Abschluss misst. Die Verkürzung der Testzyklen verbessert die Flexibilität des Testprozesses, verkürzt die Feedback-Schleifen und beschleunigt die Markteinführung des Produkts. Es hilft auch, Engpässe im Testen zu erkennen und trägt zur kontinuierlichen Verbesserung bei.

Verteilung des Schweregrads von Mängeln

Diese Metrik kategorisiert Fehler auf der Grundlage von Schweregraden (z. B. kritisch, schwerwiegend, geringfügig) und verfolgt die Verteilung im Vergleich. Das Verständnis der Verteilung der Fehlerschwere erlaubt es, Fehler mit hohem Schweregrad zu priorisieren, um sie sofort zu beheben und so die möglichen Auswirkungen auf die Nutzer zu minimieren.

Bereitschaft der Testumgebung

Die Bereitschaft der Testumgebung bewertet, wie gut die Testumgebung auf die Testaktivitäten vorbereitet ist. Dazu gehört auch die Überprüfung der Verfügbarkeit der erforderlichen Werkzeuge, Daten und Konfigurationen. Eine gut vorbereitete Testumgebung minimiert die Unterbrechungen während des Testens und maximiert die Produktivität.

Kundenzufriedenheit (nach Freigabe)

Die Kundenzufriedenheit misst, wie zufrieden Ihre Endnutzer nach der Freigabe mit Ihrem Produkt sind. Das Sammeln von Nutzer-Feedback und die Analyse der Kundenzufriedenheit helfen bei der Identifizierung von Verbesserungsbereichen und bestätigen die Effektivität des Testprozesses bei der Bereitstellung eines Qualitätsprodukts.

Metriken zur Messung von Testprozessen, die Sie nicht verfolgen sollten

Wahrscheinlich denken Sie, dass es irgendwelche Metriken gibt, die ich beim Testen vermeiden sollte. Handelt es sich dabei um Metriken zur Testautomatisierung, um die durchschnittliche Testdauer oder um etwas anderes?

Die Antwort darauf ist einfach: Es gibt keine Metriken, die Sie nicht verfolgen sollten. Aber es gibt so genannte „Vanity Metrics“, die Sie auf jeden Fall vermeiden und aus Ihrem Fortschrittsbild ausschließen sollten.

Die Eitelkeitsmetriken können sich auch in absoluten Zahlen verstecken, beispielsweise in der Anzahl der durchgeführten Tests oder der entdeckten Fehler. Auch die Anzahl der Downloads Ihrer App kann eine Vanity-Metrik sein.

Diese Kennzahl bringt also keine soliden Erkenntnisse und enthält keine Informationen, die Sie für Verbesserungen nutzen können.
Wenn Sie sich einige Metriken ansehen und denken: „Wow, toll“, aber beides ergibt keinen Sinn, dann können Sie sicher sein, dass es sich um eine Eitelkeit handelt.

Jede Messgröße kann Ihnen einen guten Einblick geben, aber nicht alle passen zu Ihrer QS-Strategie. Wenn Sie ein QS-Leiter oder ein leitender Entwickler sind, wissen Sie wahrscheinlich bereits, dass Sie nur eine Reihe spezifischer Metriken auswählen werden, um Ihren Fortschritt zu verfolgen. Und wenn sich das Produkt ändert, können diese Metriken gegen die passenden ausgetauscht werden.

Schlussfolgerung

Die richtige Verwendung der Metrik für die Softwarequalität ist möglich, um die gewünschten Ergebnisse von Tests zu bekommen. Ihr Vorhandensein in modernen Entwicklungsprozessen wie dem agilen Ansatz hilft Managern, kleinere Ziele für jeden Sprint genau zu definieren. Durch die Verwendung von Benchmarks und KPIs als Orientierungshilfe wissen die Tester, welches Ergebnis zu erreichen ist und auf welche Zahlen sie sich konzentrieren sollten. Im Falle einer Abweichung von diesen Metriken für die Testeffizienz können wir von einer Trendänderung ausgehen. Eine solche Abweichung kann auf einen kritischen Fehler hinweisen, der den Erfolg des Projekts gefährden könnte. Auf diese Weise können Manager ihr Team vorab überprüfen und neu ausrichten, ohne das Ende abzuwarten, und so zusätzliche Entwicklungskosten verhindern.

QS-Metriken helfen Ihnen, Raum für QS-Verbesserungen und Effizienz zu finden, aber es gibt auch direktere Werkzeuge dafür. Sie können Stunden bei der Erstellung neuer Tests einsparen, wenn Sie dies der künstlichen Intelligenz überlassen. Der KI-Copilot von aqua kann neue Tests erstellen oder Ihre Entwürfe vervollständigen, damit Sie sich auf das konzentrieren können, was mehr Aufmerksamkeit und Kreativität erfordert.

KI-Tests wird jede QS-Effizienz-Kennzahl übertreffen

Testen Sie aqua
Auf dieser Seite:
Sehen Sie mehr
Beschleunigen Sie Ihre Releases x2 mit aqua
Gratis starten
step
FAQ
Was sind Metriken zur Qualitätssicherung?

Qualitätssicherungskennzahlen sind Indikatoren, anhand derer sich feststellen lässt, ob das Qualitätssicherungsteam mithalten kann. Sie können sowohl verfolgen, wie gut das Team seine Ziele erreicht, als auch, wie diese Ziele im Vergleich zu Branchenstandards abschneiden.

Wie messen Sie die QS-Leistung?

Sie messen die QS-Leistung anhand von QS-Kennzahlen, wie beispielsweise Fehlererkennungsquote, Testabdeckung und Überabarbeitungsaufwandsquote.

Welche Arten von QS-Metriken gibt es?

QS-Metriken lassen sich grob in die Bereiche Testdesign, Testdurchführung, Fehlererkennung und Gesamtergebnis unterteilen.

closed icon