Ein Grund für die Beliebtheit von Testmanagement-Tools ist zweifelsohne die Vereinfachung und Verbesserung der Qualitätssicherung. Der enorme Umfang der ständig wachsenden Softwareentwicklung zwingt Manager gerade dazu, die besten Tools auf dem Markt zu suchen, wenn sie auf dem florierenden Zug der IT-Branche mithalten wollen.
Zwei Testmanagement-Tools, die auf den Erkenntnissen von Testern basieren, können als die Haie der Qualitätssicherung auf dem Markt betrachtet werden. Sie bieten das umfassendste und sich am schnellsten entwickelnde Angebot an Test- und ALM-Dienstleistungen — aqua ALM und Testrail.
Um die Unterschiede und Gemeinsamkeiten zwischen diesen Testmanagement-Tools zu verdeutlichen, haben wir einen unvoreingenommenen Vergleich für das eine oder andere Tool zusammengestellt.
Ein allgemeiner Überblick über Testrail und aqua ALM
TestRail wurde als webbasiertes Testmanagement-Tool von Gurock entwickelt. Es wird häufig von Testern und Entwicklern zur Verwaltung und Organisation ihrer Bemühungen zur Qualitätssicherung eingesetzt. Testrail konzentriert sich auf die zugängliche Kommunikation und die Beschleunigung der Entwicklung von Aufgaben innerhalb des QS-Teams und anderer Beteiligter.
aqua ALM ist sowohl ein Cloud- als auch ein On-Premise-Testmanagement-Tool, das ALM-Funktionen für den gesamten Zyklus der Softwareentwicklung bietet. Tester, Entwickler, QS-Leiter, Projektmanager und Führungskräfte verwenden aqua ALM regelmäßig. Es hat eine führende Position in streng regulierten Branchen, da seine Funktionalität alle notwendigen Anforderungen erfüllt, um den gesetzlichen Anforderungen gerecht zu werden. Die andagon-Gruppe hat aqua entwickelt und ist auch für ihre Produkttests und Kompetenz in der Qualitätssicherung bekannt.
Jedes dieser Werkzeuge kann alle Arten von Softwaretests unterstützen. Darüber hinaus können wir sie mit Testautomatisierungswerkzeuge integrieren und gleichzeitig manuelle Tests verwenden. Das Gute daran ist, dass sie sich nicht auf ihre Integrationen mit anderen Fehlermanagement-Tools beschränken. Ihre leichte Benutzeroberfläche ist für Tester sehr attraktiv und nach kurzen Onboarding-Verfahren können Sie die volle Funktionalität beider Lösungen schnell beherrschen.
Sogar die Lizenzpreise scheinen ähnlich zu sein. Dennoch gibt es einige wichtige Merkmale, die diese Tools voneinander unterscheiden und für unterschiedliche Zwecke nutzen.
Agiles Board
Der wichtigste Faktor für eine sich schnell verändernde Entwicklungsumgebung ist die Fähigkeit, die nützlichste Entwicklungsmethodik zu verwenden. Und das ist immer noch Agile!
Testrail bietet zwei Funktionen zur Anpassung an diese Methodik — Testläufe und Meilensteine. Ein Testlauf wird verwendet, um Testfälle für die Ausführung zu gruppieren, während ein Meilenstein verwendet wird, um Testläufe für bestimmte Zwecke zu gruppieren, z. B. für ein Software-Release. Einige Tester passen die Meilensteinfunktion an, um einen Sprint zu erstellen, was aufgrund der fehlenden Parameter auf dieser Registerkarte nicht sehr effizient ist.
Testrail Testläufe und Meilensteine
aqua ALM ist ein fortschrittlicheres Lösungstool zur Umsetzung der agilen Methodik — anpassbarer Workflow, Backlog, Scrum Board, Gantt-Diagramme und Burndown-Punkte.
Der Workflow kann nach Bedarf angepasst und eingestellt werden. Backlog ist ein ausgezeichneter Assistent für Workflow. Sie können ein Backlog mit allen Anforderungen und Fehlern für jedes Projekt sehen. Es verfügt über alle erforderlichen Elementattribute, um einen sofortigen Überblick zu geben und Ihnen zu helfen, die richtigen Prioritäten zu setzen. Sie können auch einen Sprint erstellen, ein Datum festlegen und das Ziel des Sprints im Beschreibungsfeld definieren. Die Gantt-Diagramme von aqua helfen Ihnen, Ihre Sprint-Aufgaben und Abhängigkeiten auf einer visuellen Zeitachse darzustellen. Verwenden Sie Burndown-Punkte, um in Echtzeit die Gesamtzahl der ausstehenden Arbeiten für den Sprint eines jeden Teams zu sehen, und der Arbeitsaufwand kann als verbleibende Arbeitsstunden gemessen werden.
Testläufe
Meilensteine
Gantt-Diagramme
Burndown-Punkte
Arbeitsablauf
Backlog
Sprints
Scrum Board
ALM
aqua bietet Anwendern die Funktionalität des Application Lifecycle Management, die es Abteilungen der Softwareentwicklung und Qualitätssicherung ermöglicht, alle notwendigen Aktivitäten gemeinsam durchzuführen. Testrail ist als Testfallmanagement-Lösung konzipiert, welches von Entwicklern und Testern verwendet werden kann, aber leider nicht unter die Kriterien des ALM fällt und auch nicht den gesamten Entwicklungszyklus abdeckt.
aqua Projektplan
Berichtswesen
Das Berichtswesen ist nach wie vor eine geschäftsorientierte Funktion, die den Teams dabei hilft, sich zu orientieren, ob sie die richtige Teststrategie verwenden und alle Anforderungen von Anfang an erfüllen. Es gibt viele Argumente darüber, was diese Funktion sein sollte — „Klick und fertig”oder „anpassbar und umfassend”. Nach den neuesten Untersuchungen des MIT und von IBM ist es besser, mehr Zeit auf detaillierte und präzise Berichte zu verwenden.
In Anbetracht dessen braucht Testrail definitiv einige Verbesserungen. Es ist einfach zu navigieren, und Sie können mit ein paar Klicks einen Bericht über die Testergebnisse erstellen, aber leider ist er nicht sehr umfangreich. Darüber hinaus ist die Auswahl an Formaten begrenzt — HTML und PDF, was nicht immer den Wünschen der Beteiligten entspricht.
Testrail Report Manager
aqua ALM verfügt über einen Berichtsdesigner. Auf den ersten Blick scheint es ein Monster zu sein, durch das man nicht navigieren kann. Sobald Sie jedoch Ihren Bericht zusammengestellt haben, werden Sie sehen, wie gut er jeden Aspekt Ihrer Tests und Softwareentwicklung abdeckt. Sie können beliebige Metriken in Ihren Bericht aufnehmen, ihn an die Anforderungen bestimmter Stakeholder anpassen oder Details vergleichen, die bei anderen Testmanagement-Tools nicht verfügbar sind. Auf diese Weise ist es einfach, aqua ALM zu erlernen und zu verwenden; Sie werden in kürzester Zeit ein Meister sein, mit wenig oder gar keinem Training. Darüber hinaus handelt es sich um ein leistungsstarkes Tool mit fortschrittlichen Funktionen für anpassbare Berichte.
Verfügbare Berichtsformate von aqua ALM
Kontrolle der Verwaltung
Es ist eine interessante Tatsache, die viele kennen, aber es scheint unmöglich zu sein, ihren Ursprung zu finden — menschliches Versagen ist für 80 % der Cloud-Datenlecks verantwortlich. Die verantwortliche Person verwendet in der Regel entweder echte Daten für Tests oder vergisst einfach, sich vor Abschluss der Arbeit aus dem System abzumelden. Dies war einer der Gründe, warum Regulierungsbehörden und Unternehmen begannen, der administrativen Kontrolle Aufmerksamkeit zu schenken. Dies trägt dazu bei, den Sicherheitsschutz ohne zusätzliche Kosten zu verbessern.
Angenommen, ein Mitarbeiter hat das Unternehmen verlassen, hat aber noch Zugriff auf die Daten im System. Während Sie darauf warten, dass der Systemadministrator die Benutzerrechte entzieht (was mehrere Tage dauern kann), kann der Administrator Ihres Testmanagement-Tools einfach seine Rolle ändern und den Zugriff auf Projekte mit ein paar Klicks sperren.
In dieser Hinsicht ist aqua ALM ein echter Profi. Die Entwickler haben versucht, diese Szenarien zu antizipieren und sicherzustellen, dass die Rollen und Berechtigungen vollständig anpassbar sind. So lässt sich steuern, ob das Team Zugriff auf bestimmte Projekte hat und ihnen bei Bedarf Voll- oder Teilzugriff gewährt.
aqua ALM Berechtigungskontrolle
Auch Testrail scheint über eine ähnliche Funktionalität zu verfügen. Bei näherer Betrachtung und nach Rückmeldungen von Benutzern handelt es sich jedoch nur um allgemeine Rollen und Berechtigungen, um sicherzustellen, dass das Projekt dem richtigen Mitarbeiter zugewiesen wurde. Es erfüllt nicht die gesetzlichen Anforderungen an die Rückverfolgbarkeit, was dieses Tool für einige Branchen wie Behörden, Fintech usw. unbrauchbar macht.
Testrail-Benutzer und -Rollen
Testfälle
Einigen Benutzern mögen nicht, wie Testrail die Testfallverwaltung durchführt. Die fehlende Möglichkeit, Testfälle und Abhängigkeiten zu kennzeichnen, gefährdet den reibungslosen Ablauf des Testens, ohne dass man den Überblick über seine Arbeit verliert. Die größte Unzufriedenheit herrscht jedoch beim Importieren von Testfällen:
„Ich denke, dass der Import von Testfällen aus Excel mit einem besseren Mapping und einfachen Uploads etwas einfacher gemacht werden könnte.”
„Es stört mich jedes Mal, wenn man einen Testlauf abschließt, dass die ID-Nummern der Testfälle stark ansteigen. Ein Fall, den wir heute erstellt haben, hatte eine ID-Nummer von über 11 Millionen, obwohl wir insgesamt weniger als 50.000 Fälle in unserer Bibliothek haben. Außerdem gefällt mir die Art und Weise nicht, wie man Tests zu einem Lauf hinzufügt oder aus ihm entfernt. Es ist etwas umständlich und schwer zu erkennen, welche Tests man genau hinzufügt und entfernt.”
„Der Versuch, etwas so Einfaches wie den Import von Testfallschritten aus einer .csv-Datei durchzuführen, ist nicht so einfach. Man kann zwar eine Suite importieren, aber das ist nicht ideal. Der Versuch, Fälle zu duplizieren, kann sehr mühsam sein, z. B. wenn man viele Fälle hat, ist das Kopieren und Einfügen in verschiedene Projekte sehr mühsam. Es ist überraschend, dass solche Probleme nach so vielen Jahren noch nicht angegangen wurden.”
aqua führt diese Funktionen ziemlich gut aus. Abhängigkeiten zeigen Ihnen die gesamte „Familie” und ihre Beziehungen; Sie können Defekte mit jedem System und auch mit Anforderungen verknüpfen.
aqua bietet auch eine einzigartige Integration unter den Testmanagement-Lösungen — eine Chrome-Erweiterung, um Tests durchzuführen und sofort zu dokumentieren. Der aqua Test Recorder ermöglicht es Ihnen, Interaktionen aufzuzeichnen, erfasste Daten zu bearbeiten, Kommentare zu hinterlassen, Screenshots zu kommentieren und dann alles an den aqua-Server Ihres Unternehmens zu senden. Dieser Ansatz spart Zeit beim Wechseln der Registerkarten, und die sofortige Dokumentation stellt sicher, dass die QS-Spezialisten alles, was sie beobachtet haben, weitergeben.
Zum Vergleich: Praktisch alle Wettbewerber von aqua verfügen nicht über eine eigene Chrome-Erweiterung. Sie müssen sich auf Lösungen von Drittanbietern beschränken, die oft zusätzliche Kosten verursachen und nicht mit Testmanagementlösungen integriert werden können.
Ohne voreingenommen zu erscheinen, haben wir versucht, „schlechte Worte” über die Testfälle von aqua zu finden, aber es sieht so aus, als ob die Benutzer größtenteils mit der Leistung von aqua zufrieden sind. Sie können mehr Berichte über aqua ALM auf Capterra finden.
Schlussfolgerung
Beim ersten Kontakt mit diesen beiden Testmanagement-Tools scheint es, dass sie fast identisch sind. Beide sind sehr beliebt und werden auf dem Markt hoch bewertet. Die Preise sind für Unternehmen jeder Größe recht erschwinglich. Dennoch gibt es einen signifikanten Unterschied, wenn es darum geht, sich für ein Tool zu entscheiden. Der Hauptunterschied zwischen diesen beiden Tools besteht darin, dass aqua ein ALM-System ist, während Testrail ein Testmanagement-Tool ist. aqua ALM ermöglicht es Ihnen, den gesamten Softwareentwicklungszyklus zu erstellen: Anforderungen, Testfälle und Fehler.
Der Hauptvorteil von Testrail ist die professionelle Fehlerverfolgung, weshalb es von QS-Teams sehr geschätzt wird, die noch keine fortschrittlichen Entwicklungsmethoden wie Agile, DevOps Deployment und Rapid Application Development eingeführt haben. Gleichzeitig erfreut sich aqua ALM in allen streng regulierten Branchen großer Beliebtheit, da es eine fantastische Rückverfolgbarkeit und Sicherheitsgarantie bietet und nicht nur von den IT-Abteilungen, sondern auch vom C-Level-Management verwendet werden kann.
Zusammenfassend kann man sagen, dass diese beiden Tools wirklich hilfreich im Testmanagement sind und Ihre Entwicklung besser und schneller machen. Aber auch wenn sie sich ähneln, sind sie doch sehr unterschiedlich.
