Kann ein Jira-Plugin mit einer dedizierten Lösung mithalten?

Es ist verlockend, Tests in Jira zu verwalten, und das Xray-Plugin hilft Ihnen dabei. Xray ist gut, aber wie viel mehr können Sie mit einem speziellen Testmanagementsystem wie aqua erreichen? Erfahren Sie es im Folgenden.

Die wichtigsten Unterschiede zwischen aqua und Xray

aqua bietet kostenlose KI-gestützte Tests

aqua behält On-Premise

aqua hat eine bessere Berichterstattung

KI

Künstliche Intelligenz (KI) ist eine sich schnell entwickelnde Technologie, sodass wir uns eher mit der Spitzentechnologie als mit der Basistechnologie beschäftigen werden. Hier erfahren Sie, was Sie von einer KI-gestützten Testmanagementlösung erwarten sollten:

  • Analysieren von Ihrem Arbeitsbereich, um QS-Kontext zu erhalten
  • Erstellung von Testfällen, Fehler und sogar Anforderungen aus einer einfachen Textbeschreibung
  • Vervollständigen der Entwürfe von Testfällen
  • Priorisieren von Tests
  • Entfernen doppelter Tests und Fehler

Als eigenständige Lösung hat aqua die Möglichkeit, neue Funktionen anzubieten, ohne dass es zu Einschränkungen kommt. Dazu gehört die KI-Testerstellung auf der Grundlage des GPT-Modells von OpenAI. Der KI-Copilot von aqua ist viel besser auf die Qualitätssicherung abgestimmt als ChatGPT und versteht auch den Kontext Ihrer Projekte und bestehenden Tests. Xray hat nichts von all dem.

Trainiert KI-Copilot mit Ihren Tests automatisch
Keine KI-unterstützten Tests
Generiert komplette Tests mit KI
Keine KI-unterstützten Tests
Vollständigt Testentwürfe
Keine KI-unterstützten Tests
Priorisieren von Tests
Keine KI-unterstützten Tests
Entfernt Duplikate
Keine KI-unterstützten Tests
Trainiert KI-Copilot mit Ihren Tests automatisch
Generiert komplette Tests mit KI
Vollständigt Testentwürfe
Priorisieren von Tests
Entfernt Duplikate
Keine KI-unterstützten Tests
Keine KI-unterstützten Tests
Keine KI-unterstützten Tests
Keine KI-unterstützten Tests
Keine KI-unterstützten Tests

Urteil: aqua gewinnt (Xray hat keine KI-gesteuerten Tests)

Testmanagement

Das Testmanagement ist der Hauptgrund, warum wir uns mit diesen beiden Tools beschäftigen. Sie sollten verschiedene Aspekte der Handhabung von Testfällen sowie auf Rückverfolgbarkeit ausgerichtete Funktionen berücksichtigen. Dazu gehören:

  • Erstellen, Ausführen, Freigeben und Verwalten von Testfällen im Arbeitsbereich
  • Gruppieren von Tests in Testszenarien, Aufteilen in Ordner, Zuweisen von Etiketten
  • Schnelles Navigieren in der Testsuite, Anwendung von Filtern, Verwendung von individuellen und gemeinsamen Ansichten
  • Anzeigen der gesamten Geschichte der Ausführung eines Testfalls
  • Speichern eines vollständigen Protokolls der Änderungen zur Einhaltung der Vorschriften
  • Visualisierung der Anforderungsabdeckung und der Abhängigkeiten zwischen Anforderungen, Testfällen und Fehlern

aqua und Xray liegen bei der Testverwaltung dicht beieinander. aqua hat jedoch den Vorteil, dass es eine eigenständige, auf QS ausgerichtete Lösung ist und kein Jira-Plugin. Das bedeutet individuell auf QS abgestimmte Arbeitsabläufe, die Möglichkeit, verschachtelte Testfälle zu erstellen und gemeinsame Testschritte einzubinden. Einige andere Funktionen, wie Arbeitsabläufe und die Geschichte der Ausführung, funktionieren einfach besser in einem nativen QS-Tool wie aqua.

  • Testfälle, Testszenarien, Massenbearbeitung von Tests, benutzerdefinierte Felder
  • Ausführungen
  • Arbeitsabläufe
  • Schnelle Navigation, Filter, Ansichten
  • Geschichte der Objektänderung, Protokollierung
Gemeinsame Testschritte
Nicht verfügbar
Verschachtelte Testfälle
Nicht verfügbar
Änderungen rückgängig machen
Nicht verfügbar
Gemeinsame Ansichten
Nicht verfügbar
  • Testfälle, Testszenarien, Massenbearbeitung von Tests, benutzerdefinierte Felder
  • Ausführungen
  • Arbeitsabläufe
  • Schnelle Navigation, Filter, Ansichten
  • Geschichte der Objektänderung, Protokollierung
Gemeinsame Testschritte
Verschachtelte Testfälle
Änderungen rückgängig machen
Gemeinsame Ansichten
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Urteil: aqua gewinnt durch die Funktionen der nativen Testorganisation

Integrationen

Die meisten Tools basieren auf der Automatisierung durch gängige Tools von Drittanbietern, die QS-Spezialisten seit über einem Jahrzehnt verwenden. Die Anwendererfahrung ist viel besser, wenn Ihre Testmanagementlösung über native Integrationen für branchenführende Tools verfügt. Die Integration von REST-API ist unerlässlich, um nicht von der Kulanz des Anbieters abhängig zu sein.

  • Automatisierung des eigenen Frameworks oder Integration von Drittanbietern mit Testautomatisierungs-Tools
  • Native Integrationen von Drittanbietern: Selenium, Jenkins, JMeter, SoapUI, Ranorex
  • Jira-Integration und/oder Jira-Plugin
  • Unterstützung von REST API für die Integration beliebiger Tools

Xray verfolgt bei der Testautomatisierung einen DIY-Ansatz. Es bietet Ihnen die Möglichkeit, verschiedene Automatisierungsframeworks wie Cucumber und JUnit einzurichten, anstatt eine sofort einsatzbereite Lösung zu verwenden. aqua hingegen lädt Sie dazu ein, branchenführende Lösungen von Drittanbietern zu verwenden, und bietet native Integrationen mit fast einem Dutzend dieser Lösungen. Sie können nach wie vor alle Frameworks, einschließlich Cucumber und JUnit, mit der REST-API verwenden. Der Unterschied mag gering erscheinen (Sie erreichen das gleiche Ziel), aber er hat starke Auswirkungen auf moderne QS-Workflows. Da die Testautomatisierung immer wichtiger wird, möchten Sie, dass auch weniger erfahrene Spezialisten damit umgehen können. Es ist viel einfacher, bewährte Tools mit großer Unterstützung durch die Community zu erlernen, um sie mit aqua zu verwenden, als ganze Frameworks für Xray zu übernehmen. Der Aufwand, ein Framework zu erlernen, nur um es mit dem DIY-Automatisierungsansatz abzugleichen, kann ebenfalls umsonst sein. Im Februar 2023 wurde die letzte Person, die Vollzeit an Cucumber arbeitete, entlassen. Auch wenn die Unterstützung von Open-Source nicht aufhört, ist dies ein großer Rückschlag für Teams, die eine langfristige Automatisierungsstrategie auf Cucumber aufgebaut haben.

  • REST-API
  • Jira Integration
Selenium, Jenkins, UFT, JMeter, SoapUI, Ranorex, Datenbank MSSQL, Datenbank Oracle für Testautomatisierung
Nur DIY-Frameworks für die Testautomatisierung
Fehlerbericht-Tool Capture
Keine native Integration von Fehlerberichten
  • REST-API
  • Jira Integration
Selenium, Jenkins, UFT, JMeter, SoapUI, Ranorex, Datenbank MSSQL, Datenbank Oracle für Testautomatisierung
Fehlerbericht-Tool Capture
Nur DIY-Frameworks für die Testautomatisierung
Keine native Integration von Fehlerberichten
Urteil: aqua gewinnt durch echte native QS-Integrationen mit mehr als Jira

Preisflexibilität

Die Preise können sehr unterschiedlich sein; Sie werden kleine Unterschiede finden, die keinen Sinn machen, aber auch hohe Gebühren, die völlig gerechtfertigt sind. Hier einige Faktoren, die zu berücksichtigen sind:

  • Zusätzliche Funktionen über das Testmanagement hinaus
  • Transparente Preisgestaltung, ohne wesentliche Funktionen hinter teuersten Tarifen zu verbergen
  • Individuelle Preisgestaltung für Unternehmen
  • Skalierung von Preis und Volumen entsprechend der Größe Ihres Teams
  • Keine exorbitanten Einrichtungs- und/oder Wartungsgebühren
  • Kostenlose Lizenzen für Gäste / Nicht-Tech-Spezialisten / manuelle Prüfer

Wenn Sie über die Preise von Xray in Betracht ziehen, müssen Sie auch die Preise von Jira berücksichtigen. Sie benötigen Jira Premium, um dem Projektmanagement und den Anforderungsfunktionen von aqua nachzukommen. Kostenlose Lizenzen spielen jedoch auch eine erhebliche Rolle. Es schmerzt, die volle Gebühr zu zahlen, sodass alle Entwickler auf Fehlerberichte zugreifen können. Es schmerzt auch, wenn es keinen kostenlosen Lesezugriff für Nichttechniker gibt. aqua bietet für beide Szenarien kostenlose Lizenzen an.

Kostenlose Lizenzen für manuelle Tester
Nur Vollpreis-Lizenzen
Kostenlose Lizenzen für nicht technische Nutzer
Nur Vollpreis-Lizenzen
Kostenlose Lizenzen für manuelle Tester
Kostenlose Lizenzen für nicht technische Nutzer
Nur Vollpreis-Lizenzen
Nur Vollpreis-Lizenzen

Urteil: aqua gewinnt durch kostenlose Lizenzen auch für Tester

Modelle für die Bereitstellung

Die On-Premise-Bereitstellung ist in vielen Branchen ein Muss, doch Anbieter sagen oft nicht ausdrücklich, ob sie es anbieten oder nicht. Je nach Ihren Sicherheitsrichtlinien und Ihrem Umfang ist auch die Bereitstellung in einer herstellerunabhängigen Cloud eine vorteilhafte Option.

  • Anbieter Cloud
  • Externe Cloud: AWS, Azure, etc.
  • On-Premise

aqua unterstützt sowohl die Cloud- als auch die On-Premise Bereitstellung. Sie können Ihren Arbeitsbereich sogar auf einem anderen Server als dem von aqua hosten lassen. Xray bietet das Gleiche an, allerdings mit einem großen Vorbehalt: Jira stellt das On-Premise-Angebot am 31. Dezember 2023 ein. Als Jira-Plugin wird Xray das gleiche Schicksal erleiden.

  • On-Premise
GDPR-konforme aqua-gehostete deutsche Cloud
Jira-gehostete Cloud
Isolierte unternehmenseigene Cloud-Lösung (beliebiges Azure Rechenzentrum)
Benutzerdefinierte Cloud
  • On-Premise
GDPR-konforme aqua-gehostete deutsche Cloud
Isolierte unternehmenseigene Cloud-Lösung (beliebiges Azure Rechenzentrum)
Jira-gehostete Cloud
Benutzerdefinierte Cloud
Urteil: aqua gewinnt durch Beibehaltung von On-Premise

Dashboards

QS-Dashboards dienen zwei wichtigen Zwecken. Sie helfen dem QS-Team, ihren Fortschritt zu verfolgen, aber sie machen auch andere Teams auf mögliche Engpässe aufmerksam. Zumindest sollten Sie in der Lage sein, alle Daten einzubeziehen und Dashboards mit dem Team zu teilen.

  • Verwendung aller Daten des Arbeitsbereichs
  • Erstellung privater und gemeinsamer Dashboards
  • Auswahl zwischen verschiedenen Arten von Diagrammen
  • Einrichten von KPI-/Wert-Benachrichtigungen, die als E-Mail-/App-Benachrichtigungen eingehen

Dashboards gehören nicht zu den Stärken von Xray. Sie sind auf nur 6 Widgets beschränkt, die sich um die grundlegende Anforderungsabdeckung und Testläufe drehen. aqua hingegen kann beliebige Daten anzeigen und Ihnen KPI-Benachrichtigungen senden, wenn eine bestimmte Metrik ungewöhnlich hoch (oder niedrig) ist. Diese Benachrichtigungen führen zu einem Paradigmenwechsel: Dashboards kümmern sich um Sie, anstatt Sie dazu zu bringen, auf sie zu achten.

Alle Daten
6 Widgets
KPI-Benachrichtigungen
Keine KPI-Benachrichtigungen
Alle Daten
KPI-Benachrichtigungen
6 Widgets
Keine KPI-Benachrichtigungen
Urteil: aqua gewinnt durch individuelle Anpassung und KPI-Benachrichtigungen

Berichterstattung

Die Berichterstattung ist sowohl für interne als auch für externe Interessengruppen wichtig. Das Ziel ist es, mit so wenig oder so viel Aufwand wie möglich zu bekommen, was man braucht. Wenn ein Tool sowohl eine Vorlagenbibliothek als auch umfangreiche Anpassungsmöglichkeiten bietet, ist das ein guter Anfang.

  • Zugriff auf die vom Anbieter zur Verfügung gestellte Vorlagenbibliothek
  • Benutzerdefinierte Vorlagen erstellen und speichern
  • Verwendung und Umwandlung beliebiger Daten
  • Text- und Bildformatierung anwenden
  • Hinzufügen von externen Daten und Bildmaterial
  • Verwendung von Skripten und Parametrisierung zur automatischen Aktualisierung von Berichten

Auch die Berichterstattung von Xray basiert auf Vorlagen. Sie haben die Wahl zwischen 8 Basisvorlagen und können zusätzliche Daten nur hinzufügen, wenn Sie zuvor eine Word/Excel-Vorlage erstellen. Es gibt keine systemeigene Funktion, um auch externe Bilder und Texte hinzuzufügen.

  • Vorlagenbibliothek
  • Diagramme
Eigene benutzerdefinierte Berichte
Nur manuelle Word/Excel-Vorlagen
Eigene Verwendung beliebiger Daten
Nur manuelle Word/Excel-Vorlagen
Native Text- und Bildformatierung
Nur manuelle Word/Excel-Vorlagen
Drag-and-drop
Nicht verfügbar
Externer Text und Bildmaterial
Nicht verfügbar
Eigenes benutzerdefiniertes Layout
Nur manuelle Word/Excel-Vorlagen
Pivot-Tabellen
Nicht verfügbar
Skripte
Nicht verfügbar
Parametrisierung
Nicht verfügbar
  • Vorlagenbibliothek
  • Diagramme
Eigene benutzerdefinierte Berichte
Eigene Verwendung beliebiger Daten
Native Text- und Bildformatierung
Drag-and-drop
Externer Text und Bildmaterial
Eigenes benutzerdefiniertes Layout
Pivot-Tabellen
Skripte
Parametrisierung
Nur manuelle Word/Excel-Vorlagen
Nur manuelle Word/Excel-Vorlagen
Nur manuelle Word/Excel-Vorlagen
Nicht verfügbar
Nicht verfügbar
Nur manuelle Word/Excel-Vorlagen
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Urteil: aqua überzeugt mit sofort einsatzbereiten benutzerdefinierten Berichten

Nutzerverwaltung

Eine präzise Benutzerverwaltung ist wesentlich, wenn Sie an mehreren Projekten arbeiten und/oder mit externen Spezialisten zusammenarbeiten. Es erspart auch eine Menge Aufwand, Crowd-Tests in derselben Testmanagementlösung durchzuführen.

  • Standardrollen festlegen
  • Benutzerdefinierte Rollen erstellen
  • Berechtigungen pro Nutzer anwenden
  • Authentifizierung von Nutzern über SSO

Xray ist abermals durch die Funktionen von Jira für die Benutzerverwaltung eingeschränkt. Es werden keine QS-spezifischen Berechtigungen eingeführt. Genau wie Jira bietet auch Xray keine Berechtigungen für einzelne Benutzer. Vielleicht brauchen Sie diese Flexibilität jetzt nicht, aber Crowdtesting und das Onboarding neuer Mitarbeiter laufen mit individuellen Berechtigungen viel reibungsloser ab.

  • SSO
  • Standardnutzerrollen
  • Benutzerdefinierte Rollen
Individuelle Berechtigungen
Nur Rollenberechtigungen
QS-spezifische Berechtigungen
Nur reguläre Berechtigungen für Jira
  • SSO
  • Standardnutzerrollen
  • Benutzerdefinierte Rollen
Individuelle Berechtigungen
QS-spezifische Berechtigungen
Nur Rollenberechtigungen
Nur reguläre Berechtigungen für Jira
Urteil: aqua gewinnt durch individuelle Berechtigungen für Rollen

ALM

Dies ist keine zwingende Voraussetzung, aber Sie sind vielleicht an einer Testmanagementlösung interessiert, die auch den gesamten Produktlebenszyklus abdeckt. Das spart viel Geld, da Sie weniger Lizenzen von anderen Anbietern benötigen, und die Synergieeffekte dürften Ihnen auch einige Stunden ersparen.

  • Testfallmanagement
  • Anforderungsmanagement
  • Defektmanagement
  • Projektmanagement

Jira ist eine Projektmanagementlösung, die Sie mit Xray erweitern, um das Testmanagement durchzuführen. aqua ist eine auf QS ausgerichtete Application-Lifecycle-Management-Lösung. Dies ist ein Unentschieden in unserem Vergleich von aqua und Xray Testtools: Sie erhalten mit beiden Anbietern 4 Lösungen in 1.

  • Testfallmanagement
  • Defektmanagement
  • Anforderungsmanagement
  • Projektmanagement
  • Testfallmanagement
  • Defektmanagement
  • Anforderungsmanagement
  • Projektmanagement
Urteil: Unentschieden

Was Benutzende sagen

Hier sind ein paar Dinge, die Benutzende an beiden Tools mögen und nicht mögen.

star star star star star

„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“

Jörg Großmann

Leiter der Abteilung Entwicklung bei Bank 11

star star star

„Meiner Meinung nach ist Xray das beste Testmanagement-Tool in Jira. Das Einzige, was mich sehr stört, ist, dass die Reihenfolge der Testfälle jedes Mal durcheinander gerät, wenn eine Testausführung oder ein Testplan erstellt wird.“

Dinesh P.

Software-Entwicklungsingenieur in einem kleinen Unternehmen (<50 Mitarbeitende)

star star star star star

„Die Berichterstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Nach dem Gebrauch von aqua erkennen die Mitarbeitenden den Mehrwert sehr schnell.“

Thomas Haeske

Leiter der Abteilung Organisation/IT der Berlin Hyp

star star star

„- Die Navigation der Testausführung in der Testabdeckung könnte einfacher sein - Keine Versionskontrolle - Keine Möglichkeit, die Testausführung mit der Teilaufgabe zu verbinden“

A G2 Reviewer

Computer Software (50-1000 Mitarbeitende)

star star star star star

„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“

Jörn-Hendrick Sörensen

Test Manager bei KBA

star star star

„Am Anfang ist es ein wenig schwierig. Unser Team hat über ein Jahr gebraucht, um zu erkennen, dass es so viele andere Tools gibt, die man nutzen kann, aber es hat nicht wirklich verstanden, wie man zu diesem Punkt kommt. Außerdem ist Xray je nach JIRA-Kontotyp unterschiedlich, sodass die Dokumentation unterschiedlich ist. Wenn Sie nicht die richtige Dokumentation für das JIRA-Konto Ihres Unternehmens (Cloud, Server usw.) finden, kann es passieren, dass Sie die falsche Dokumentation durchlesen und völlig verwirrt sind.“

Sarah P.

QS-Ingenieurin in einem kleinen Unternehmen (<50 Mitarbeitende)

star star star star star

„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“

Jörg Großmann

Leiter der Abteilung Entwicklung bei Bank 11

star star star star star

„Die Berichterstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Nach dem Gebrauch von aqua erkennen die Mitarbeitenden den Mehrwert sehr schnell.“

Thomas Haeske

Leiter der Abteilung Organisation/IT der Berlin Hyp

star star star star star

„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“

Jörn-Hendrick Sörensen

Test Manager bei KBA

star star star

„Meiner Meinung nach ist Xray das beste Testmanagement-Tool in Jira. Das Einzige, was mich sehr stört, ist, dass die Reihenfolge der Testfälle jedes Mal durcheinander gerät, wenn eine Testausführung oder ein Testplan erstellt wird.“

Dinesh P.

Software-Entwicklungsingenieur in einem kleinen Unternehmen (<50 Mitarbeitende)

star star star

„- Die Navigation der Testausführung in der Testabdeckung könnte einfacher sein - Keine Versionskontrolle - Keine Möglichkeit, die Testausführung mit der Teilaufgabe zu verbinden“

A G2 Reviewer

Computer Software (50-1000 Mitarbeitende)

star star star

„Am Anfang ist es ein wenig schwierig. Unser Team hat über ein Jahr gebraucht, um zu erkennen, dass es so viele andere Tools gibt, die man nutzen kann, aber es hat nicht wirklich verstanden, wie man zu diesem Punkt kommt. Außerdem ist Xray je nach JIRA-Kontotyp unterschiedlich, sodass die Dokumentation unterschiedlich ist. Wenn Sie nicht die richtige Dokumentation für das JIRA-Konto Ihres Unternehmens (Cloud, Server usw.) finden, kann es passieren, dass Sie die falsche Dokumentation durchlesen und völlig verwirrt sind.“

Sarah P.

QS-Ingenieurin in einem kleinen Unternehmen (<50 Mitarbeitende)

Endgültiges Urteil

aqua ist ein Testmanagementsystem (oder sogar ein QS-zentriertes ALM) mit einer flexiblen und bequemen 2-Wege-Integration in Jira, während Xray ein Plugin ist, mit dem das Testmanagement in Jira integriert werden kann. aqua verfügt über mehrere sehr wirkungsvolle Funktionen und hat keine entscheidenden Einschränkungen, die Xray hat. Ab Ende 2023 wird nur noch aqua eine Option für Teams sein, die On-Premise arbeiten.

Hochmoderne KI-gestützte Testfunktionen
Nur traditionelle QS
10+ Testintegrationen und REST API
DIY-Frameworks + REST API
Autonome Lösung
Arbeitet nur mit Jira
Eigene benutzerdefinierte Berichte
Eingeschränkt, nur Microsoft/Excel-Layout
Individuelle Berechtigungen
Nur Rollenberechtigungen
Weiterhin On-Premise-Unterstützung
On-Premise wird ab 2024 eingestellt
Hochmoderne KI-gestützte Testfunktionen
10+ Testintegrationen und REST API
Autonome Lösung
Eigene benutzerdefinierte Berichte
Individuelle Berechtigungen
Weiterhin On-Premise-Unterstützung
Nur traditionelle QS
DIY-Frameworks + REST API
Arbeitet nur mit Jira
Eingeschränkt, nur Microsoft/Excel-Layout
Nur Rollenberechtigungen
On-Premise wird ab 2024 eingestellt