Es ist verlockend, Tests in Jira zu verwalten, und das Xray-Plugin hilft Ihnen dabei. Xray ist gut, aber wie viel mehr können Sie mit einem speziellen Testmanagementsystem wie aqua erreichen? Erfahren Sie es im Folgenden.
aqua bietet kostenlose KI-gestützte Tests
aqua behält On-Premise
aqua hat eine bessere Berichterstattung
Künstliche Intelligenz (KI) ist eine sich schnell entwickelnde Technologie, sodass wir uns eher mit der Spitzentechnologie als mit der Basistechnologie beschäftigen werden. Hier erfahren Sie, was Sie von einer KI-gestützten Testmanagementlösung erwarten sollten:
Als eigenständige Lösung hat aqua die Möglichkeit, neue Funktionen anzubieten, ohne dass es zu Einschränkungen kommt. Dazu gehört die KI-Testerstellung auf der Grundlage des GPT-Modells von OpenAI. Der KI-Copilot von aqua ist viel besser auf die Qualitätssicherung abgestimmt als ChatGPT und versteht auch den Kontext Ihrer Projekte und bestehenden Tests. Xray hat nichts von all dem.
Das Testmanagement ist der Hauptgrund, warum wir uns mit diesen beiden Tools beschäftigen. Sie sollten verschiedene Aspekte der Handhabung von Testfällen sowie auf Rückverfolgbarkeit ausgerichtete Funktionen berücksichtigen. Dazu gehören:
aqua und Xray liegen bei der Testverwaltung dicht beieinander. aqua hat jedoch den Vorteil, dass es eine eigenständige, auf QS ausgerichtete Lösung ist und kein Jira-Plugin. Das bedeutet individuell auf QS abgestimmte Arbeitsabläufe, die Möglichkeit, verschachtelte Testfälle zu erstellen und gemeinsame Testschritte einzubinden. Einige andere Funktionen, wie Arbeitsabläufe und die Geschichte der Ausführung, funktionieren einfach besser in einem nativen QS-Tool wie aqua.
Die meisten Tools basieren auf der Automatisierung durch gängige Tools von Drittanbietern, die QS-Spezialisten seit über einem Jahrzehnt verwenden. Die Anwendererfahrung ist viel besser, wenn Ihre Testmanagementlösung über native Integrationen für branchenführende Tools verfügt. Die Integration von REST-API ist unerlässlich, um nicht von der Kulanz des Anbieters abhängig zu sein.
Xray verfolgt bei der Testautomatisierung einen DIY-Ansatz. Es bietet Ihnen die Möglichkeit, verschiedene Automatisierungsframeworks wie Cucumber und JUnit einzurichten, anstatt eine sofort einsatzbereite Lösung zu verwenden. aqua hingegen lädt Sie dazu ein, branchenführende Lösungen von Drittanbietern zu verwenden, und bietet native Integrationen mit fast einem Dutzend dieser Lösungen. Sie können nach wie vor alle Frameworks, einschließlich Cucumber und JUnit, mit der REST-API verwenden. Der Unterschied mag gering erscheinen (Sie erreichen das gleiche Ziel), aber er hat starke Auswirkungen auf moderne QS-Workflows. Da die Testautomatisierung immer wichtiger wird, möchten Sie, dass auch weniger erfahrene Spezialisten damit umgehen können. Es ist viel einfacher, bewährte Tools mit großer Unterstützung durch die Community zu erlernen, um sie mit aqua zu verwenden, als ganze Frameworks für Xray zu übernehmen. Der Aufwand, ein Framework zu erlernen, nur um es mit dem DIY-Automatisierungsansatz abzugleichen, kann ebenfalls umsonst sein. Im Februar 2023 wurde die letzte Person, die Vollzeit an Cucumber arbeitete, entlassen. Auch wenn die Unterstützung von Open-Source nicht aufhört, ist dies ein großer Rückschlag für Teams, die eine langfristige Automatisierungsstrategie auf Cucumber aufgebaut haben.
Die Preise können sehr unterschiedlich sein; Sie werden kleine Unterschiede finden, die keinen Sinn machen, aber auch hohe Gebühren, die völlig gerechtfertigt sind. Hier einige Faktoren, die zu berücksichtigen sind:
Wenn Sie über die Preise von Xray in Betracht ziehen, müssen Sie auch die Preise von Jira berücksichtigen. Sie benötigen Jira Premium, um dem Projektmanagement und den Anforderungsfunktionen von aqua nachzukommen. Kostenlose Lizenzen spielen jedoch auch eine erhebliche Rolle. Es schmerzt, die volle Gebühr zu zahlen, sodass alle Entwickler auf Fehlerberichte zugreifen können. Es schmerzt auch, wenn es keinen kostenlosen Lesezugriff für Nichttechniker gibt. aqua bietet für beide Szenarien kostenlose Lizenzen an.
Die On-Premise-Bereitstellung ist in vielen Branchen ein Muss, doch Anbieter sagen oft nicht ausdrücklich, ob sie es anbieten oder nicht. Je nach Ihren Sicherheitsrichtlinien und Ihrem Umfang ist auch die Bereitstellung in einer herstellerunabhängigen Cloud eine vorteilhafte Option.
aqua unterstützt sowohl die Cloud- als auch die On-Premise Bereitstellung. Sie können Ihren Arbeitsbereich sogar auf einem anderen Server als dem von aqua hosten lassen. Xray bietet das Gleiche an, allerdings mit einem großen Vorbehalt: Jira stellt das On-Premise-Angebot am 31. Dezember 2023 ein. Als Jira-Plugin wird Xray das gleiche Schicksal erleiden.
QS-Dashboards dienen zwei wichtigen Zwecken. Sie helfen dem QS-Team, ihren Fortschritt zu verfolgen, aber sie machen auch andere Teams auf mögliche Engpässe aufmerksam. Zumindest sollten Sie in der Lage sein, alle Daten einzubeziehen und Dashboards mit dem Team zu teilen.
Dashboards gehören nicht zu den Stärken von Xray. Sie sind auf nur 6 Widgets beschränkt, die sich um die grundlegende Anforderungsabdeckung und Testläufe drehen. aqua hingegen kann beliebige Daten anzeigen und Ihnen KPI-Benachrichtigungen senden, wenn eine bestimmte Metrik ungewöhnlich hoch (oder niedrig) ist. Diese Benachrichtigungen führen zu einem Paradigmenwechsel: Dashboards kümmern sich um Sie, anstatt Sie dazu zu bringen, auf sie zu achten.
Die Berichterstattung ist sowohl für interne als auch für externe Interessengruppen wichtig. Das Ziel ist es, mit so wenig oder so viel Aufwand wie möglich zu bekommen, was man braucht. Wenn ein Tool sowohl eine Vorlagenbibliothek als auch umfangreiche Anpassungsmöglichkeiten bietet, ist das ein guter Anfang.
Auch die Berichterstattung von Xray basiert auf Vorlagen. Sie haben die Wahl zwischen 8 Basisvorlagen und können zusätzliche Daten nur hinzufügen, wenn Sie zuvor eine Word/Excel-Vorlage erstellen. Es gibt keine systemeigene Funktion, um auch externe Bilder und Texte hinzuzufügen.
Eine präzise Benutzerverwaltung ist wesentlich, wenn Sie an mehreren Projekten arbeiten und/oder mit externen Spezialisten zusammenarbeiten. Es erspart auch eine Menge Aufwand, Crowd-Tests in derselben Testmanagementlösung durchzuführen.
Xray ist abermals durch die Funktionen von Jira für die Benutzerverwaltung eingeschränkt. Es werden keine QS-spezifischen Berechtigungen eingeführt. Genau wie Jira bietet auch Xray keine Berechtigungen für einzelne Benutzer. Vielleicht brauchen Sie diese Flexibilität jetzt nicht, aber Crowdtesting und das Onboarding neuer Mitarbeiter laufen mit individuellen Berechtigungen viel reibungsloser ab.
Dies ist keine zwingende Voraussetzung, aber Sie sind vielleicht an einer Testmanagementlösung interessiert, die auch den gesamten Produktlebenszyklus abdeckt. Das spart viel Geld, da Sie weniger Lizenzen von anderen Anbietern benötigen, und die Synergieeffekte dürften Ihnen auch einige Stunden ersparen.
Jira ist eine Projektmanagementlösung, die Sie mit Xray erweitern, um das Testmanagement durchzuführen. aqua ist eine auf QS ausgerichtete Application-Lifecycle-Management-Lösung. Dies ist ein Unentschieden in unserem Vergleich von aqua und Xray Testtools: Sie erhalten mit beiden Anbietern 4 Lösungen in 1.
Hier sind ein paar Dinge, die Benutzende an beiden Tools mögen und nicht mögen.
„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“
Jörg Großmann
Leiter der Abteilung Entwicklung bei Bank 11
„Meiner Meinung nach ist Xray das beste Testmanagement-Tool in Jira. Das Einzige, was mich sehr stört, ist, dass die Reihenfolge der Testfälle jedes Mal durcheinander gerät, wenn eine Testausführung oder ein Testplan erstellt wird.“
Dinesh P.
Software-Entwicklungsingenieur in einem kleinen Unternehmen (<50 Mitarbeitende)
„Die Berichterstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Nach dem Gebrauch von aqua erkennen die Mitarbeitenden den Mehrwert sehr schnell.“
Thomas Haeske
Leiter der Abteilung Organisation/IT der Berlin Hyp
„- Die Navigation der Testausführung in der Testabdeckung könnte einfacher sein - Keine Versionskontrolle - Keine Möglichkeit, die Testausführung mit der Teilaufgabe zu verbinden“
A G2 Reviewer
Computer Software (50-1000 Mitarbeitende)
„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“
Jörn-Hendrick Sörensen
Test Manager bei KBA
„Am Anfang ist es ein wenig schwierig. Unser Team hat über ein Jahr gebraucht, um zu erkennen, dass es so viele andere Tools gibt, die man nutzen kann, aber es hat nicht wirklich verstanden, wie man zu diesem Punkt kommt. Außerdem ist Xray je nach JIRA-Kontotyp unterschiedlich, sodass die Dokumentation unterschiedlich ist. Wenn Sie nicht die richtige Dokumentation für das JIRA-Konto Ihres Unternehmens (Cloud, Server usw.) finden, kann es passieren, dass Sie die falsche Dokumentation durchlesen und völlig verwirrt sind.“
Sarah P.
QS-Ingenieurin in einem kleinen Unternehmen (<50 Mitarbeitende)
„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“
Jörg Großmann
Leiter der Abteilung Entwicklung bei Bank 11
„Die Berichterstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Nach dem Gebrauch von aqua erkennen die Mitarbeitenden den Mehrwert sehr schnell.“
Thomas Haeske
Leiter der Abteilung Organisation/IT der Berlin Hyp
„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“
Jörn-Hendrick Sörensen
Test Manager bei KBA
„Meiner Meinung nach ist Xray das beste Testmanagement-Tool in Jira. Das Einzige, was mich sehr stört, ist, dass die Reihenfolge der Testfälle jedes Mal durcheinander gerät, wenn eine Testausführung oder ein Testplan erstellt wird.“
Dinesh P.
Software-Entwicklungsingenieur in einem kleinen Unternehmen (<50 Mitarbeitende)
„- Die Navigation der Testausführung in der Testabdeckung könnte einfacher sein - Keine Versionskontrolle - Keine Möglichkeit, die Testausführung mit der Teilaufgabe zu verbinden“
A G2 Reviewer
Computer Software (50-1000 Mitarbeitende)
„Am Anfang ist es ein wenig schwierig. Unser Team hat über ein Jahr gebraucht, um zu erkennen, dass es so viele andere Tools gibt, die man nutzen kann, aber es hat nicht wirklich verstanden, wie man zu diesem Punkt kommt. Außerdem ist Xray je nach JIRA-Kontotyp unterschiedlich, sodass die Dokumentation unterschiedlich ist. Wenn Sie nicht die richtige Dokumentation für das JIRA-Konto Ihres Unternehmens (Cloud, Server usw.) finden, kann es passieren, dass Sie die falsche Dokumentation durchlesen und völlig verwirrt sind.“
Sarah P.
QS-Ingenieurin in einem kleinen Unternehmen (<50 Mitarbeitende)
aqua ist ein Testmanagementsystem (oder sogar ein QS-zentriertes ALM) mit einer flexiblen und bequemen 2-Wege-Integration in Jira, während Xray ein Plugin ist, mit dem das Testmanagement in Jira integriert werden kann. aqua verfügt über mehrere sehr wirkungsvolle Funktionen und hat keine entscheidenden Einschränkungen, die Xray hat. Ab Ende 2023 wird nur noch aqua eine Option für Teams sein, die On-Premise arbeiten.