In der Welt der Entwicklung gibt es die unwiderlegbare Regel, dass man nicht verbessern kann, was man nicht messen kann. Und diese Regel gilt natürlich auch für die Qualitätssicherung.
Die Menge der produzierten Software wächst exponentiell. Das bedeutet, dass der Umfang der Testabdeckung, die zur Gewährleistung der Qualität erforderlich ist, in gleichem Maße steigt. Das wiederum führt auch zu dieser Art von Kausalzusammenhang – mehr Codezeilen, mehr Fehler. Um das QS-Team auf die Testautomatisierung und -optimierung vorzubereiten, müssen Sie also auch über die Implementierung eines effektiven Fehlerberichts-Tools nachdenken.
Doch selbst mit einem effektiven webbasierten Testfallmanagement-Tool ist es notwendig zu verstehen, welche Fortschrittsmetriken bei Softwaretests angewendet werden müssen, um ein klareres Bild von den effizienten Bemühungen der Qualitätssicherung zu erhalten. In diesem Artikel werden wir analysieren, welche Testmetriken und -messungen als wesentlich angesehen werden, welche davon in der agilen Methodik Vorrang haben und welche KPI notwendig sind, um die Leistung des Teams zu verfolgen.
Wie man versteht, welche Qualitätssicherungsmetriken zu verwenden sind
Das richtige Verständnis von KPI-Metriken im Softwaretest kann das „die Zukunft ist ungewiss, und das Ende ist immer nah“ beseitigen.
Was bedeutet dieses Zitat der Doors für das Produkt? Es bedeutet, je besser Sie wissen, was Sie messen müssen, desto größer ist die Chance, dass Ihr Produkt in den Händen Ihrer Kunden landet und nicht in einem Mülleimer verärgerter Investoren.
Bevor Sie mit der Evaluierung Ihres eigenen Testprozesses beginnen, müssen Sie bestimmen, welche spezifischen Arten von Metriken im Softwaretest Sie dafür benötigen.
Die richtige Lösung besteht darin, sich zu vergewissern, dass Sie die Antworten auf die folgenden Fragen haben:
1
Wie lange wird der Test dauern?
2
Was kostet der Test?
3
Ist es sinnvoll, kostengünstige Tests zu verwenden?
4
Wie schwerwiegend sind die Fehler?
5
Welchen Status haben die einzelnen Fehler - geschlossen, wiedereröffnet, verschoben?
6
Wie viele Fehler müssen perspektivisch noch entdeckt werden?
7
Wie viel von der Software wird getestet?
8
Können Tests in bestimmten Zeiträumen durchgeführt werden, und ist es möglich, mehrere Tests in denselben Zeitraum zu legen?
9
Wird es mehr Testaufwand erfordern?
Sobald die Fragen beantwortet sind, können Sie weitergehen und QS-Testmetriken auswählen, die Ihren Anforderungen entsprechen. Sie sollten jedoch bedenken, dass Metriken nicht universell sind — verschiedene Unternehmen benötigen unterschiedliche Metriken und Messungen im Softwaretest. Wir empfehlen Ihnen daher, mehr über die Berichtsfunktionen von aqua ALM zu erfahren und den Berichtsassistenten zu erkunden.
Es gibt also einige Tools, die Sie zur Ermittlung solcher Metriken verwenden können. Wir empfehlen Ihnen, mehr über aqua ALM und seine Berichtsfunktionen zu erfahren und den Berichtsassistenten zu erkunden.
aqua ALM Bericht mit Beispielen von Metriken und verfügbaren Berichtsformaten
Die Funktionen des Berichtsassistenten können Ihnen helfen, die für Ihr Unternehmen wichtigen Kriterien zu ermitteln. Es ist möglich, verschiedene Szenarien Ihrer Berichterstattung anzuzeigen, verschiedene Datentypen im selben Bericht zu vergleichen oder zwei separate Berichte zu erstellen und zu vergleichen, welcher davon Ihren Anforderungen entspricht.
Holen Sie sich eine Vorlage für eine Teststrategie, die es uns ermöglicht, Software 2 Mal so schnell zu veröffentlichen
Metriken für die Wirksamkeit der Qualitätssicherung
Absolute Zahlen:
Absolute Metriken sind eine gute Möglichkeit, sich einen Überblick über den Aufbau der aktuellen Testprozesse zu verschaffen. Und ihr Vorhandensein wird für alle Arten von Entwicklung empfohlen.
- Gesamtzahl der Testfälle
- Anzahl der bestandenen Testfälle
- Anzahl der fehlgeschlagenen Testfälle
- Anzahl der blockierten Testfälle
- Anzahl der gefundenen Mängel
- Anzahl der akzeptierten Mängel
- Anzahl der abgelehnten Mängel
- Anzahl der zurückgestellten Mängel
- Anzahl der kritischen Mängel
- Anzahl der geplanten Teststunden
- Anzahl der tatsächlichen Teststunden
- Number of bugs found after shipping
Testdurchführung und Fehlerbehebung
Testmetriken im Softwaretest, die die Korrelation zwischen abgeschlossenen Aufgaben und der Gesamtzahl der Funktionen zeigen, ermöglichen es dem gesamten Team zu verstehen, welche Fehler in welchen Modulen das Produkt stören und vorrangig behandelt werden sollten:
Testentwurf
Die Testentwurfsabdeckung bewertet die Korrelation zwischen Testfällen und der Anzahl der Anforderungen, während die Testentwurfsleistung die Anzahl der pro Tag generierten Testfälle bewertet. Dies geschieht, um Lücken in der Funktionalität auf der Endbenutzerseite zu finden:
Testabdeckung
Die Testabdeckung bewertet den Testaufwand und gibt Aufschluss darüber, wie viel Prozent der Anwendung bereits getestet wurden.
Benutzerakzeptanztests
Diese Metrik soll übersehene Probleme aufdecken, die aufgrund von Lücken in der Teststrategie auftreten können:
Produktverwertung und Unterstützung
Diese Metrik wird für Strategieverbesserungen zur Steigerung der Testleistung verwendet. Sie bewertet auch die Testeffektivität, indem sie die Anzahl der unentdeckten Probleme aufdeckt, die vor dem Produktionseinsatz behoben werden müssen:
Testökonomische Metriken
Die Kosten für das Testen setzen sich aus der Infrastruktur, den Tools und den Arbeitskräften zusammen. Mit dieser Metrik wird bewertet, wie viel für den Abschluss des Projekts ausgegeben werden muss und wie viel tatsächlich ausgegeben wird:
Status der Testdurchführung
Diese Metrik sollte besser in einem Diagramm dargestellt werden, um die Gesamtausführungen als bestanden, fehlgeschlagen, blockiert, unvollständig und nicht ausgeführt anzuzeigen.
Diagramm erstellte gegenüber gelöste Defekte
Diese Metrik dient der Kontrolle von Fehlerbeseitigungsprozessen und dem Verständnis von Metriken zur Testeffektivität.
Allgemeine Metriken
Testmetriken messen die Effektivität Ihrer Teststrategie und zeigen notwendige Verbesserungen auf:
Test-Zuverlässigkeit
Es ist immer gut, jemanden zu haben, auf den man sich verlassen kann, vor allem, wenn man sich als QS-Ingenieur hundertprozentig auf seine Tests verlassen will. Als Hauptkriterium kann die Ausgabe von nicht-falschen Ergebnissen angesehen werden, die hinter jedem erfolglosen Test stehen. Es gibt ein echtes Problem, der Test ist nur bei einer WIRKLICH fehlerfreien Funktion erfolgreich, und es gibt keine große Lücke zwischen Fehlern und Tests, mit anderen Worten, eine echte Korrelation.
Verteilung der Mängel
Die Anzahl der entdeckten Fehler kann zweierlei bedeuten – entweder arbeiten die Tester sehr gut oder sie arbeiten schlecht.
Spaß beiseite, die Verteilung von Fehlern ist ein hervorragendes Testmaß für eine Softwareabteilung.
„Exemplarische Abdeckung und Fehlerverteilung. Szenario 1 beschreibt eine Situation, in der der Abdeckungsgrad für die zukünftige Codequalität, gemessen an der Anzahl der Fehler, bedeutungslos ist. Szenario 2 zeigt eine Situation, in der die Abdeckung sinnvoll ist.“ © Artur Andrzejak
Die Anzahl der in bestimmten Produktbereichen gefundenen Fehler kann den Entwicklern Aufschluss darüber geben, wo sie ansetzen müssen. Wenn die Gesamtzahl der gefundenen Fehler auf einer Plattform gleichmäßig verteilt ist, handelt es sich eher um ein allgemeines Problem in der Entwicklung. Bei einer solchen ungleichmäßigen Verteilung sollten die Entwickler jedoch spezifische Umgebungen optimieren.
Metriken zur Messung von Testprozessen, die Sie nicht verfolgen sollten
Wahrscheinlich denken Sie, dass es irgendwelche Metriken gibt, die ich beim Testen vermeiden sollte. Handelt es sich dabei um Metriken zur Testautomatisierung, um die durchschnittliche Testdauer oder um etwas anderes?
Die Antwort darauf ist einfach: Es gibt keine Metriken, die Sie nicht verfolgen sollten. Aber es gibt so genannte „Vanity Metrics“, die Sie auf jeden Fall vermeiden und aus Ihrem Fortschrittsbild ausschließen sollten.
Die Eitelkeitsmetriken können sich auch in absoluten Zahlen verstecken, beispielsweise in der Anzahl der durchgeführten Tests oder der entdeckten Fehler. Auch die Anzahl der Downloads Ihrer App kann eine Vanity-Metrik sein.
Diese Kennzahl bringt also keine soliden Erkenntnisse und enthält keine Informationen, die Sie für Verbesserungen nutzen können.
Wenn Sie sich einige Metriken ansehen und denken: „Wow, toll“, aber beides ergibt keinen Sinn, dann können Sie sicher sein, dass es sich um eine Eitelkeit handelt.
Jede Messgröße kann Ihnen einen guten Einblick geben, aber nicht alle passen zu Ihrer QS-Strategie. Wenn Sie ein QS-Leiter oder ein leitender Entwickler sind, wissen Sie wahrscheinlich bereits, dass Sie nur eine Reihe spezifischer Metriken auswählen werden, um Ihren Fortschritt zu verfolgen. Und wenn sich das Produkt ändert, können diese Metriken gegen die passenden ausgetauscht werden.
Schlussfolgerung
Die richtige Verwendung der Metrik für die Softwarequalität ist möglich, um die gewünschten Ergebnisse von Tests zu bekommen. Ihr Vorhandensein in modernen Entwicklungsprozessen wie dem agilen Ansatz hilft Managern, kleinere Ziele für jeden Sprint genau zu definieren. Durch die Verwendung von Benchmarks und KPIs als Orientierungshilfe wissen die Tester, welches Ergebnis zu erreichen ist und auf welche Zahlen sie sich konzentrieren sollten. Im Falle einer Abweichung von diesen Metriken für die Testeffizienz können wir von einer Trendänderung ausgehen. Eine solche Abweichung kann auf einen kritischen Fehler hinweisen, der den Erfolg des Projekts gefährden könnte. Auf diese Weise können Manager ihr Team vorab überprüfen und neu ausrichten, ohne das Ende abzuwarten, und so zusätzliche Entwicklungskosten verhindern.
In Anbetracht dessen können wir eindeutig sagen, dass Qualitätsmetriken für Softwaretests im Entwicklungsprozess die Qualität verbessern und unnötige Risiken verhindern können.
