In der Welt der Entwicklung gibt es die unwiderlegbare Regel, dass man nicht verbessern kann, was man nicht messen kann. Und diese Regel gilt natürlich auch für die Qualitätssicherung.
Die Menge der produzierten Software wächst exponentiell. Das bedeutet, dass der Umfang der Testabdeckung, die zur Gewährleistung der Qualität erforderlich ist, in gleichem Maße steigt. Das wiederum führt auch zu dieser Art von Kausalzusammenhang – mehr Codezeilen, mehr Fehler. Um das QS-Team auf die Testautomatisierung und -optimierung vorzubereiten, müssen Sie also auch über die Implementierung eines effektiven Fehlerberichts-Tools nachdenken.
Doch selbst mit einem effektiven webbasierten Testfallmanagement-Tool ist es notwendig zu verstehen, welche Fortschrittsmetriken bei Softwaretests angewendet werden müssen, um ein klareres Bild von den effizienten Bemühungen der Qualitätssicherung zu erhalten. Sie sollten sich auf die QA-Metriken konzentrieren, die tatsächlich etwas bewegen – Fehlererkennungsraten, Zykluszeiten und Lücken in der Testabdeckung, die agile Teams oft übersehen. Aber hier ist der Punkt: Die Verfolgung von entweichenden Fehlern pro Sprint kann die Zuverlässigkeit Ihres Teams innerhalb von Wochen nahezu verdoppeln. Beginnen Sie damit zu messen, wie viele Fehler an Ihrem aktuellen Prozess vorbei in die Produktion gelangen, und arbeiten Sie dann rückwärts, um die blinden Flecken beim Testen zu identifizieren.
Wie man versteht, welche Qualitätssicherungsmetriken zu verwenden sind
Das richtige Verständnis von KPI-Metriken im Softwaretest kann das „die Zukunft ist ungewiss, und das Ende ist immer nah“ beseitigen.
Was bedeutet dieses Zitat der Doors für das Produkt? Es bedeutet, je besser Sie wissen, was Sie messen müssen, desto größer ist die Chance, dass Ihr Produkt in den Händen Ihrer Kunden landet und nicht in einem Mülleimer verärgerter Investoren.
Bevor Sie mit der Evaluierung Ihres eigenen Testprozesses beginnen, müssen Sie bestimmen, welche spezifischen Arten von Metriken im Softwaretest Sie dafür benötigen.
Die richtige Lösung besteht darin, sich zu vergewissern, dass Sie die Antworten auf die folgenden Fragen haben:
1
Wie lange wird der Test dauern?
2
Was kostet der Test?
3
Ist es sinnvoll, kostengünstige Tests zu verwenden?
4
Wie schwerwiegend sind die Fehler?
5
Welchen Status haben die einzelnen Fehler - geschlossen, wiedereröffnet, verschoben?
6
Wie viele Fehler müssen perspektivisch noch entdeckt werden?
7
Wie viel von der Software wird getestet?
8
Können Tests in bestimmten Zeiträumen durchgeführt werden, und ist es möglich, mehrere Tests in denselben Zeitraum zu legen?
9
Wird es mehr Testaufwand erfordern?
Sobald die Fragen beantwortet sind, können Sie weitergehen und QS-Testmetriken auswählen, die Ihren Anforderungen entsprechen. Sie sollten jedoch bedenken, dass Metriken nicht universell sind — verschiedene Unternehmen benötigen unterschiedliche Metriken und Messungen im Softwaretest. Wir empfehlen Ihnen daher, mehr über die Berichtsfunktionen von aqua cloud zu erfahren und den Berichtsassistenten zu erkunden.
Es gibt also einige Tools, die Sie zur Ermittlung solcher Metriken verwenden können. Wir empfehlen Ihnen, mehr über aqua cloud und seine Berichtsfunktionen zu erfahren und den Berichtsassistenten zu erkunden.
aqua cloud Bericht mit Beispielen von Metriken und verfügbaren Berichtsformaten
Die Funktionen des Berichtsassistenten können Ihnen helfen, die für Ihr Unternehmen wichtigen Kriterien zu ermitteln. Es ist möglich, verschiedene Szenarien Ihrer Berichterstattung anzuzeigen, verschiedene Datentypen im selben Bericht zu vergleichen oder zwei separate Berichte zu erstellen und zu vergleichen, welcher davon Ihren Anforderungen entspricht.
Sie benötigen einen starken Partner, um alle Ihre QA-Metriken zu optimieren, und aqua cloud ist die ultimative Lösung für Ihre gesamte Reise. Mit einem der robustesten Reporting-Module unter den Test Management Systemen (TMS) ermöglicht aqua Ihnen, hochflexible Berichte und Dashboards zu erstellen, die auf Ihre Bedürfnisse zugeschnitten sind. Ob Sie detaillierte Einblicke in das Testfallmanagement, die Fehlerverfolgung oder umfassende Metriken wie Testzeit, Kosten, Fehlerhäufigkeit und Testabdeckung benötigen, aqua bietet die Werkzeuge zur Verbesserung von Sichtbarkeit und Entscheidungsfindung.
Außerhalb leistungsstarken Reporting-Funktionen hinaus bietet aqua eine umfassende TMS-Lösung, die darauf ausgelegt ist, Testprozesse zu optimieren. Dank aquas Fokus auf deutsche Qualität wird das Testen schneller und zielgerichteter. Mit aqua cloud können Sie datengetriebene Entscheidungen priorisieren und eine optimale Softwarequalität effizient erreichen.
Beste Praktiken für die Auswahl und Verwendung von QA-Metriken
Bei der Auswahl der richtigen Metriken für die Qualitätssicherung geht es darum, das zu messen, was wirklich einen Unterschied macht. Wenn Sie Ihre Kennzahlen an konkreten Geschäftszielen ausrichten, können Sie nahezu doppelt so große Qualitätsverbesserungen erzielen.
Starten Sie mit einem klaren ersten Schritt: Wählen Sie höchstens drei Kennzahlen aus und geben Sie jeder einen eindeutigen Zweck. Stellen Sie sich die Frage: „Welche Entscheidung kann ich auf Basis dieser Kennzahl treffen?“ Können Sie das nicht direkt beantworten, lassen Sie sie weg. Beziehen Sie Ihr Team in monatliche Auswertungsrunden ein – wenn alle verstehen, was gemessen wird und warum, steigt die Akzeptanz deutlich.
Wichtig: Verlassen Sie sich nicht auf eine einzige Kennzahl wie Testabdeckung oder Fehleranzahl. Schaffen Sie eine Balance zwischen Prozesskennzahlen (wie Sie arbeiten), Produktkennzahlen (was Sie entwickeln) und Projektkennzahlen (wann Sie liefern). Das ergibt ein wesentlich klareres Gesamtbild als jede Einzelzahl für sich.
Machen Sie Ihre Daten über übersichtliche Auswertungsansichten sichtbar – aber hier ist der weniger offensichtliche Teil: Konzentrieren Sie sich auf Trends über die Zeit, nicht auf einzelne Werte. Ein plötzlicher Anstieg bei Fehlern mag alarmierend wirken, aber wenn sich Ihre Erkennungsrate Woche für Woche verbessert, sind Sie auf dem richtigen Weg. Überprüfen und justieren Sie Ihre Kennzahlen regelmäßig – denn was im letzten Quartal hilfreich war, ist möglicherweise nicht mehr passend für die aktuellen Projektziele.
Mit aquas intuitiver Benutzeroberfläche und fortschrittlichen Funktionen können sich QA-Ingenieure auf Folgendes konzentrieren:
– Einfache Testplanung und -ausführung
– Fehlermanagement
– Automatisierungsframeworks
Gleichzeitig profitieren Manager von:
– Einem zu 100% transparenten und nachvollziehbaren System
– Anpassungsfähigkeit des Workflows
– Sofort verfügbare Daten für Entscheidungen
Bereit, Ihre QA-Bemühungen zu revolutionieren? Probieren Sie aqua aus, um die Herausforderungen im Testbereich dauerhaft zu minimieren!
Erzielen Sie 100 % Transparenz und Rückverfolgbarkeit mit einer KI-gesteuerten Lösung
Metriken für die Wirksamkeit der Qualitätssicherung
Absolute Zahlen:
Absolute Metriken sind eine gute Möglichkeit, sich einen Überblick über den Aufbau der aktuellen Testprozesse zu verschaffen. Und ihr Vorhandensein wird für alle Arten von Entwicklung empfohlen.
- Gesamtzahl der Testfälle
- Anzahl der bestandenen Testfälle
- Anzahl der fehlgeschlagenen Testfälle
- Anzahl der blockierten Testfälle
- Anzahl der gefundenen Mängel
- Anzahl der akzeptierten Mängel
- Anzahl der abgelehnten Mängel
- Anzahl der zurückgestellten Mängel
- Anzahl der kritischen Mängel
- Anzahl der geplanten Teststunden
- Anzahl der tatsächlichen Teststunden
- Number of bugs found after shipping
Testdurchführung und Fehlerbehebung
Testmetriken im Softwaretest, die die Korrelation zwischen abgeschlossenen Aufgaben und der Gesamtzahl der Funktionen zeigen, ermöglichen es dem gesamten Team zu verstehen, welche Fehler in welchen Modulen das Produkt stören und vorrangig behandelt werden sollten:
Testentwurf
Die Testentwurfsabdeckung bewertet die Korrelation zwischen Testfällen und der Anzahl der Anforderungen, während die Testentwurfsleistung die Anzahl der pro Tag generierten Testfälle bewertet. Dies geschieht, um Lücken in der Funktionalität auf der Endbenutzerseite zu finden:
Testabdeckung
Die Testabdeckung bewertet den Testaufwand und gibt Aufschluss darüber, wie viel Prozent der Anwendung bereits getestet wurden.
Benutzerakzeptanztests
Diese Metrik soll übersehene Probleme aufdecken, die aufgrund von Lücken in der Teststrategie auftreten können:
Produktverwertung und Unterstützung
Diese Metrik wird für Strategieverbesserungen zur Steigerung der Testleistung verwendet. Sie bewertet auch die Testeffektivität, indem sie die Anzahl der unentdeckten Probleme aufdeckt, die vor dem Produktionseinsatz behoben werden müssen:
Testökonomische Metriken
Die Kosten für das Testen setzen sich aus der Infrastruktur, den Tools und den Arbeitskräften zusammen. Mit dieser Metrik wird bewertet, wie viel für den Abschluss des Projekts ausgegeben werden muss und wie viel tatsächlich ausgegeben wird:
Status der Testdurchführung
Diese Metrik sollte besser in einem Diagramm dargestellt werden, um die Gesamtausführungen als bestanden, fehlgeschlagen, blockiert, unvollständig und nicht ausgeführt anzuzeigen.
Diagramm erstellte gegenüber gelöste Defekte
Diese Metrik dient der Kontrolle von Fehlerbeseitigungsprozessen und dem Verständnis von Metriken zur Testeffektivität.
Allgemeine Metriken
Testmetriken messen die Effektivität Ihrer Teststrategie und zeigen notwendige Verbesserungen auf:
Test-Zuverlässigkeit
Es ist immer gut, jemanden zu haben, auf den man sich verlassen kann, vor allem, wenn man sich als QS-Ingenieur hundertprozentig auf seine Tests verlassen will. Als Hauptkriterium kann die Ausgabe von nicht-falschen Ergebnissen angesehen werden, die hinter jedem erfolglosen Test stehen. Es gibt ein echtes Problem, der Test ist nur bei einer WIRKLICH fehlerfreien Funktion erfolgreich, und es gibt keine große Lücke zwischen Fehlern und Tests, mit anderen Worten, eine echte Korrelation.
Durch die Verfolgung dieser Metriken können Sie Bereiche für Verbesserungen identifizieren, Testressourcen optimieren und die Gesamtqualität Ihrer Software verbessern. Die Verwaltung und Interpretation von QA-Metriken kann jedoch komplex sein, und es ist entscheidend, die richtigen Werkzeuge zu haben, um diesen Prozess zu optimieren.
Hier kommt aqua cloud ins Spiel. Mit aqua können Sie mühelos wichtige QA-Metriken verfolgen und analysieren, um kontinuierliche Verbesserungen in Ihrem Testprozess voranzutreiben. Die intuitive Benutzeroberfläche und die erweiterten Funktionen von aqua erleichtern es Ihnen, die Abdeckung der Testautomatisierung zu überwachen, die Stabilität der Testumgebung zu bewerten, die Effizienz der Testfälle zu bewerten und vieles mehr. Darüber hinaus verbessert die KI-Funktion aqua Copilot Ihren Testprozess, indem sie die Erstellung neuer Tests automatisiert und Testentwürfe vervollständigt. Durch den Einsatz von Künstlicher Intelligenz hilft Ihnen aqua, Zeit zu sparen und sich auf Bereiche zu konzentrieren, die mehr Aufmerksamkeit und Kreativität erfordern.
Erleben Sie die Zukunft der QA mit einer KI-gesteuerten Lösung
Verteilung der Mängel
Die Anzahl der entdeckten Fehler kann zweierlei bedeuten – entweder arbeiten die Tester sehr gut oder sie arbeiten schlecht.
Spaß beiseite, die Verteilung von Fehlern ist ein hervorragendes Testmaß für eine Softwareabteilung.
„Exemplarische Abdeckung und Fehlerverteilung. Szenario 1 beschreibt eine Situation, in der der Abdeckungsgrad für die zukünftige Codequalität, gemessen an der Anzahl der Fehler, bedeutungslos ist. Szenario 2 zeigt eine Situation, in der die Abdeckung sinnvoll ist.“ © Artur Andrzejak
Die Anzahl der in bestimmten Produktbereichen gefundenen Fehler kann den Entwicklern Aufschluss darüber geben, wo sie ansetzen müssen. Wenn die Gesamtzahl der gefundenen Fehler auf einer Plattform gleichmäßig verteilt ist, handelt es sich eher um ein allgemeines Problem in der Entwicklung. Bei einer solchen ungleichmäßigen Verteilung sollten die Entwickler jedoch spezifische Umgebungen optimieren.
Anteil der Testautomatisierung
Wollen Sie Ihre Automatisierungsmetriken optimieren? Dann konzentrieren Sie sich auf die Automatisierungsabdeckung – aber Achtung: Es geht nicht nur darum, wie viele Testfälle Sie automatisiert haben.
Sie müssen drei Ebenen verfolgen: Codeabdeckung, Anforderungsabdeckung und Abdeckung der Schnittstellen. Erfahrene Teams überwachen auch ihre Bestehensquote und Ausführungsgeschwindigkeit – denn was nützen schnelle Tests, die ständig fehlschlagen?
Hier ist Ihr sofortiger Handlungsschritt: Beginnen Sie diese Woche damit, Ihre Flakiness-Rate zu messen. Tests, die zufällig fehlschlagen, verbrauchen nahezu doppelt so viel Wartungszeit im Vergleich zu stabilen Tests.
Wenn Sie mehr Zeit damit verbringen, automatisierte Tests zu reparieren als neue zu schreiben, haben Sie die Gefahrenzone erreicht. Verfolgen Sie den Wartungsaufwand als Prozentsatz der gesamten QA-Zeit – halten Sie ihn unter 20% und Sie sind auf der sicheren Seite.
Ihre Automatisierung sollte das Leben einfacher machen, nicht einen zweiten Vollzeitjob beim Betreuen unzuverlässiger Tests schaffen.
Stabilität der Testumgebung
Ihre Testumgebung und ihre Zuverlässigkeit sollten bei der Messung Ihrer QS-Bemühungen oberste Priorität haben; hier kommt die Stabilität der Testumgebung ins Spiel. Häufige Umgebungsbedingungen können das Testen verzögern und die Qualität des Produkts beeinträchtigen. Die Überwachung der Stabilität der Testumgebung hilft Ihnen, potenzielle Engpässe zu erkennen und stellt sicher, dass die Umgebung eine einheitliche und zuverlässige Plattform für das Testen bietet.
Effizienz von Testfällen
Als eine der wichtigsten QS-Metriken beim Testen von Software misst die Testfalleffizienz die Effektivität der einzelnen Testfälle bei der Identifizierung von Fehlern. Eine hohe Effizienz der Testfälle deutet darauf hin, dass die Testfälle gut konzipiert und in der Lage sind, Fehler genau zu erkennen. Es hilft auch, ineffektive Testfälle zu identifizieren, die verbessert oder entfernt werden müssen.
Abdeckung der Testdaten
Diese Metrik bewertet die Vielfalt und den Umfang der beim Testen verwendeten Testdaten. Eine umfassende Testdatenabdeckung ist unerlässlich, um reale Testszenarien zu simulieren und potenzielle Fehler aufzudecken, die unter verschiedenen Datenbedingungen auftreten können. Es stellt sicher, dass die Anwendung mit verschiedenen Datensätzen getestet wird und hilft, datenbedingte Probleme zu erkennen.
Zeit für den Testzyklus
Eine der wesentlichsten QS-Metriken ist die Testzykluszeit, welche die Zeit für die Durchführung eines Testzyklus von der Planung bis zum Abschluss misst. Die Verkürzung der Testzyklen verbessert die Flexibilität des Testprozesses, verkürzt die Feedback-Schleifen und beschleunigt die Markteinführung des Produkts. Es hilft auch, Engpässe im Testen zu erkennen und trägt zur kontinuierlichen Verbesserung bei.
Verteilung des Schweregrads von Mängeln
Diese Metrik kategorisiert Fehler auf der Grundlage von Schweregraden (z. B. kritisch, schwerwiegend, geringfügig) und verfolgt die Verteilung im Vergleich. Das Verständnis der Verteilung der Fehlerschwere erlaubt es, Fehler mit hohem Schweregrad zu priorisieren, um sie sofort zu beheben und so die möglichen Auswirkungen auf die Nutzer zu minimieren.
Bereitschaft der Testumgebung
Die Bereitschaft der Testumgebung bewertet, wie gut die Testumgebung auf die Testaktivitäten vorbereitet ist. Dazu gehört auch die Überprüfung der Verfügbarkeit der erforderlichen Werkzeuge, Daten und Konfigurationen. Eine gut vorbereitete Testumgebung minimiert die Unterbrechungen während des Testens und maximiert die Produktivität.
Kundenzufriedenheit (nach Freigabe)
Die Kundenzufriedenheit misst, wie zufrieden Ihre Endnutzer nach der Freigabe mit Ihrem Produkt sind. Das Sammeln von Nutzer-Feedback und die Analyse der Kundenzufriedenheit helfen bei der Identifizierung von Verbesserungsbereichen und bestätigen die Effektivität des Testprozesses bei der Bereitstellung eines Qualitätsprodukts.
Metriken zur Messung von Testprozessen, die Sie nicht verfolgen sollten
Wahrscheinlich denken Sie, dass es irgendwelche Metriken gibt, die ich beim Testen vermeiden sollte. Handelt es sich dabei um Metriken zur Testautomatisierung, um die durchschnittliche Testdauer oder um etwas anderes?
Die Antwort darauf ist einfach: Es gibt keine Metriken, die Sie nicht verfolgen sollten. Aber es gibt so genannte „Vanity Metrics“, die Sie auf jeden Fall vermeiden und aus Ihrem Fortschrittsbild ausschließen sollten.
Die Eitelkeitsmetriken können sich auch in absoluten Zahlen verstecken, beispielsweise in der Anzahl der durchgeführten Tests oder der entdeckten Fehler. Auch die Anzahl der Downloads Ihrer App kann eine Vanity-Metrik sein.
Diese Kennzahl bringt also keine soliden Erkenntnisse und enthält keine Informationen, die Sie für Verbesserungen nutzen können.
Wenn Sie sich einige Metriken ansehen und denken: „Wow, toll“, aber beides ergibt keinen Sinn, dann können Sie sicher sein, dass es sich um eine Eitelkeit handelt.
Jede Messgröße kann Ihnen einen guten Einblick geben, aber nicht alle passen zu Ihrer QS-Strategie. Wenn Sie ein QS-Leiter oder ein leitender Entwickler sind, wissen Sie wahrscheinlich bereits, dass Sie nur eine Reihe spezifischer Metriken auswählen werden, um Ihren Fortschritt zu verfolgen. Und wenn sich das Produkt ändert, können diese Metriken gegen die passenden ausgetauscht werden.
Neue Kennzahlen und Trends: Automatisierung, Agile Methoden und Kundenauswirkung
QA-Kennzahlen entwickeln sich schnell – und das sind gute Nachrichten für Teams, die bereit sind, sich weiterzuentwickeln.
Bei der Testautomatisierung sollten Sie über einfache Abdeckungswerte hinausblicken. Beginnen Sie damit, Ihre Instabilitätsrate automatisierter Tests zu überwachen (Zielwert: unter 5 %) und verfolgen Sie, wie schnell Sie fehlerhafte Automatisierung reparieren können. Ein Team konnte seine Auslieferungssicherheit fast verdoppeln, nachdem es begann, die Reparaturzeit für automatische Tests neben dem Verhältnis manueller zu automatisierter Tests zu messen.
Agile Teams werden ebenfalls klüger. Sprint-Fortschrittsdiagramme zeigen nur einen Teil des Bildes – ergänzen Sie sie um die mittlere Zeit zur Fehlererkennung und die Testgeschwindigkeit Ihres Teams, und Sie erkennen Engpässe, bevor sie Ihre Sprints gefährden. Interessant: Teams, die die Fehlererkennungszeit erfassen, entdecken Probleme oft 40 % schneller als solche, die rein reaktiv arbeiten.
Kundenzentrierte Kennzahlen wie durchgerutschte Fehler und Fehlermeldungen aus der realen Nutzung sind Ihr Realitätscheck. Sie zeigen, ob sich all die internen Metriken tatsächlich in bessere Nutzererfahrungen übersetzen. Ein Hinweis aus der Praxis: Wenn Ihre Rate durchgerutschter Fehler steigt, obwohl sich die internen Kennzahlen „verbessern“, muss Ihre Messstrategie überarbeitet werden.
Starten Sie mit einer Kennzahl pro Kategorie. Sie benötigen nicht sofort perfekte Daten – selbst grobe Erfassung ist besser als gar keine.
Schlussfolgerung
Die richtige Verwendung der Metrik für die Softwarequalität ist möglich, um die gewünschten Ergebnisse von Tests zu bekommen. Ihr Vorhandensein in modernen Entwicklungsprozessen wie dem agilen Ansatz hilft Managern, kleinere Ziele für jeden Sprint genau zu definieren. Durch die Verwendung von Benchmarks und KPIs als Orientierungshilfe wissen die Tester, welches Ergebnis zu erreichen ist und auf welche Zahlen sie sich konzentrieren sollten. Im Falle einer Abweichung von diesen Metriken für die Testeffizienz können wir von einer Trendänderung ausgehen. Eine solche Abweichung kann auf einen kritischen Fehler hinweisen, der den Erfolg des Projekts gefährden könnte. Auf diese Weise können Manager ihr Team vorab überprüfen und neu ausrichten, ohne das Ende abzuwarten, und so zusätzliche Entwicklungskosten verhindern.
QS-Metriken helfen Ihnen, Raum für QS-Verbesserungen und Effizienz zu finden, aber es gibt auch direktere Werkzeuge dafür. Sie können Stunden bei der Erstellung neuer Tests einsparen, wenn Sie dies der künstlichen Intelligenz überlassen. Der KI-Copilot von aqua kann neue Tests erstellen oder Ihre Entwürfe vervollständigen, damit Sie sich auf das konzentrieren können, was mehr Aufmerksamkeit und Kreativität erfordert.
Mit uns können Sie mühelos wichtige QA-Metriken verfolgen und analysieren, um kontinuierliche Verbesserungen in Ihrem Testprozess voranzutreiben.
– Verfolgung und Analyse wichtiger QA-Metriken
– Überwachung der Testautomatisierungsabdeckung
– Bewertung der Stabilität der Testumgebung
– Evaluierung der Effizienz von Testfällen
Zusätzlich optimiert aqua Ihren Testprozess mit der KI-Funktion „Copilot“, die die automatische Erstellung neuer Tests unterstützt und Testentwürfe vervollständigt. Mit hilfe künstlicher Intelligenz spart Ihnen aqua Zeit und ermöglicht es Ihnen, sich auf Bereiche zu konzentrieren, die mehr Aufmerksamkeit und Kreativität erfordern.
– Automatisierung der Erstellung neuer Tests
– Vervollständigung von Testentwürfen
– Erreichung von 100% Rückverfolgbarkeit
– Zeitersparnis durch KI-unterstützte Funktionen
– Fokus auf Bereiche, die mehr Aufmerksamkeit und Kreativität erfordern
Bereit, einzusteigen? Sie sind nur 2 Klicks entfernt von völlig neuen, reibungslosen und erfolgreichen QA-Projekten!
KI-Tests wird jede QS-Effizienz-Kennzahl übertreffen
