aqua versus Xray: was sollten Sie für das Testmanagement wählen

Testmanagementlösungen sind nicht unbedingt eigenständige Lösungen. Einige können andere Tools, wie z. B. Jira, ergänzen. Schauen wir uns an wie die Jira Ergänzung Xray im Vergleich zur eigenständigen Lösung aqua abschneidet.

aqua vs Xray

Bereitstellungsmodelle

Update, 07.06.2022: Der Artikel wurde geändert, um klarzustellen, dass Xray-Benutzer auf Jira für Workflows, Massenbearbeitung und Dashboards zurückgreifen können. Wir freuen uns auch, dass Xray vor kurzem die Funktion der eingebetteten Testfälle hinzugefügt hat.

aqua bietet sowohl Cloud- als auch Lokallösungen an, wobei letztere zusätzliche Sicherheit und/oder die Einhaltung von Vorschriften bieten. Außerdem gibt es einen Mittelweg, indem die Testmanagementlösung auf einem privaten Cloud-Server gehostet wird. Dadurch werden Sicherheits- und Betriebszeitrisiken von denen des Anbieters entkoppelt.

Als Jira-Plugin entspricht das Bereitstellungsmodell von Xray dem, was Ihre Jira-Instanz verwendet. Auch sie kann in der Anbieter-Cloud, der privaten Cloud oder vor Ort eingesetzt werden. Denken Sie daran, dass Atlassian die aktive Entwicklung der lokalen Lösung von Jira eingstellt hat und im Jahr 2024 die Kundenunterstützung und Sicherheitsaktualisierungen einstellen wird.

aqua deployment models

aqua-Bereitstellungsmodelle

Bereitstellungsmodell

Xray

aqua

Anbieter-Cloud

Ja

Ja

Private Cloud

Ja

Ja

Lokal

Ja*

Ja

*Jira wird die Unterstützung der lokalen Version im Jahr 2024 einstellen.

Benutzerverwaltung

Wieder einmal ist Xray an die Beschränkungen von Jira gebunden, wenn es um Benutzerberechtigungen geht. Jira bietet 40 Berechtigungen, die Rollen und sogar Einzelpersonen zugewiesen werden können. Das ist wenig im Vergleich zu aqua, das über 100 Berechtigungen bietet. Außerdem ist es ärgerlich, dass Xray keine QA-spezifischen Berechtigungen anbietet, die z.B. die Eingabe von Entwicklern in Testfälle einschränken.

aqua's permission editor

Benutzerberechtigungen von aqua

Kriterien

Xray

aqua

Standardbenutzerrollen

Ja

Ja

Benutzerdefinierte Rollen

Ja

Ja

Rollenberechtigungen

40

mehr als 100

Individuelle Berechtigungen

Nein

Ja

QA-spezifische Berechtigungen

Nein

Ja

SSO

Ja

Ja

Testmanagement

Xray nutzt die Funktionen von Jira für Testzwecke ziemlich gut aus. Es gibt jedoch einige bemerkenswerte Auslassungen, wie verschachtelte Testfälle und Massenbearbeitung von Testfällen. Letzteres kann extremen Mehraufwand bedeuten: Ist es sinnvoll, Tests in Testszenarien zu organisieren, wenn man sie nicht alle auf einmal bearbeiten kann?

Einige Einschränkungen stammen von Jira selbst. Xray-Benutzer können ihre Ansichten des Servers oder einzelner Projekte nicht freigeben. Auch die Rückgängigmachung von Änderungen ist nicht möglich.

Editing test case in Xray

Testfall in Xray bearbeiten

Defining test steps in Xray

Testschritte in Xray festlegen

Testmanagement mit aqua

Funktion

Xray

aqua

Testfälle

+

+

Testszenarien

+

+

Testberichte

+

+

Ausführungsverlauf

+

+

Eingebettete Testfälle

+

+

Batch-Bearbeitungen

Jira-Funktionalität

+

Skripte

-

+

Releaseplanung

Versionen, Agile Sprints

Versionen, Agile Sprints

Label

+

+

Benutzerdefinierte Felder

+

+

Parametrisierung

+

+

Filter

+

+

Ordner

+

+

Ansichten

+

+

Gemeinsame Ansichten

-

+

Workflows

Jira-Funktionalität

+

Protokollierung

+

+

Änderungsverlauf des Elements

+

+

Änderungszurücksetzung

-

+

Kommentare

+

+

Anhänge

+

+

Erwähnungen

+

+

Integrationen und automatisierte Tests

Xray verfolgt einen DIY-Ansatz für die Testautomatisierung, wodurch viel früher angesetzt werden muss als bei vielen Testautomatisierungstools. Die üblichen Pfade sind entweder die Bereitstellung von sofort einsatzbereiten Integrationen oder die Änderung eines Open-Source-Automatisierungsframeworks, um eine Erstanbieter-Automatisierung anzubieten. Es gehört auch zum guten Ton, REST-API-Unterstützung bereitzustellen, damit Kunden beliebige Drittanbieter-Tools verbinden können.

Entgegen den Konventionen unterstützt Xray lediglich einige populäre Automatisierungsframeworks und fordert so von Ihren Testern, dass sie diese bereits kennen. Dadurch verringert sich zwar der Zeitaufwand für die Einführung neuer Tools, aber denken Sie daran, dass die REST-API-Unterstützung – über die Xray verfügt – dafür ausreichend gewesen wäre. Im Gegensatz dazu unterstützt aqua 10 vorkonfigurierte Automatisierungstools und bietet gleichzeitig eine REST-API.

Funktion

Xray

aqua

Verwaltung von Integrationen

Ja (Jira)

Ja (Jira link, Jira sync)

Integration von Automatisierung

Nein

Ja (10 Tools)

Erstanbieter-Automatisierung

DIY frameworks

Nein

REST API

Ja

Ja

Externe Versionierung

Jira-Marktplatzoptionen

Nein

Automatische Übersetzung im Arbeitsbereich

Nein

Ja

Diverse Integrationen

Jira-Marktplatzoptionen

Nein

Full list of aqua integrations

Vollständige Liste der aqua-Integrationen

Dashboards

Dashboards werden bei der Auswahl einer Testmanagementlösung oft übersehen. Dabei sind sie sowohl für QA-Spezialisten als auch für ihre Kollegen ein sehr aufschlussreiches Tool. Die Freiheit, Daten zu verwenden, sie mit zusätzlichem Text/Medien anzureichern und sie zu visualisieren, verbessert die Testprozesse sowie deren Verständnis durch andere Beteiligte.

Leider scheint Xray zu eingeschränkt zu sein, um Ihnen eine solche Freiheit zu bieten. Dashboards sind auf 6 Widgets beschränkt, die sich auf Anforderungsabdeckung, Testläufe und Testentwicklungen aufteilen. aqua hingegen kann beliebige Daten (einschließlich der Eingabe benutzerdefinierter Felder) verwenden, sie in Widgets innerhalb des Dashboards formen und sogar KPI-Warnungen für jede Metrik anzeigen.

Test runs summary in Xray

Zusammenfassung der Testläufe in Xray

aqua dashboard with KPI Alert at work

aqua-Dashboard mit KPI-Alarm

Funktion

Xray

aqua

Dashboards

Ja

Ja

Daten

6 Widgets oder Jira-Funktionalität

Alle Daten

Native Daten aus benutzerdefinierten Feldern

Nein

Ja

Native Diagrammtypen

Kreis-, Balkendiagramm

Kreis-, Balken-, gestapeltes Balkendiagramm; Tabellendiagramm

KPI-Alarme

Nein

Ja

Berichtswesen

Ebenso wie bei den Dashboards geht es bei den Berichten von Xray darum, Einschränkungen zu umgehen, anstatt sie zu überwinden. Zu Beginn werden Ihnen 8 Berichte angeboten, die die Anforderungen (einschließlich der Anforderungsrückverfolgbarkeitsmatrix), die Testausführung und den Inhalt der Tests abdecken. Alles andere erfordert die manuelle Erstellung einer Vorlage in Form einer Word/Excel-Datei. Es gibt auch keine systemeigenen Funktionen, um Berichte mit externem Text oder Bildmaterial zu erweitern.

Xray traceability report

X-ray Rückverfolgbarkeitsbericht

aqua report example

Beispiel für einen aqua-Bericht

Feature

Xray

aqua

Vorlagenbibliothek

Ja (5 Berichtstypen)

Ja (7 Musterberichte)

Benutzerdefinierte Berichte

Ja (Word/Excel-Vorlagen)

Ja (nativ)

Abrufen beliebiger Daten

-

+

Benutzerdefiniertes Layout (nativ)

-

+

Externer Text und Bildmaterial

-

+

Drag-and-Drop

-

+

Benutzerdefinierte Bänder

-

+

Textformatierung

-

+

Bildformatierung

-

+

Diagramme

+

+

Pivot-Tabellen

-

+

Skripte

-

+

Parametrierung

-

+

ALM

aqua ist eine Application Lifecycle Management Lösung. Es kann das gesamte Testfallmanagement, Anforderungsmanagement, Fehlermanagement und Projektmanagement übernehmen. Xray kann dem nicht entsprechen, ohne sich auf die Funktionalität von Jira als Issue-Tracker zu verlassen. Hier ist aqua wirklich das Beste aus zwei Welten: Es bietet native ALM-Funktionalität und hat auch eine tiefe Integration mit Jira.

Feature

Xray

aqua

Natives ALM

-

+

Testfallmanagement

+

+

Anforderungsmanagement

Jira-Funktionalität

+

Fehlermanagement

Jira-Funktionalität

+

Methodik der Softwareentwicklung

Jira-Funktionalität

Agile, Waterfall, Extreme Programming

Workflows

+

+

Projektmanagement

Jira-Funktionalität

+

Jira+Xray project options

Jira+Xray-Projektoptionen

aqua project plan

aqua Projektplan

aqua workflow

aqua Workflow-Funktionalität

Fazit

aqua ist im Testmanagement und in der Benutzerverwaltung nur geringfügig besser, aber es übertrifft Xray in so ziemlich allen anderen Bereichen mit großem Vorsprung. aquas Dashboard- und Berichtsfunktionalitäten sind dem Mitbewerber haushoch überlegen, und das Gleiche gilt für die Testautomatisierung. Insgesamt ist aqua eine native ALM-Lösung, während Xray auf die Funktionen von Jira zurückgreift – und zwar in mehr Bereichen als dem Application Lifecycle Management.

Je nach Ihrem Sicherheitsprotokoll kann die Langlebigkeit das größte Argument gegen Xray sein. Es gibt zwar eine Desktop-App für die Durchführung von Tests, aber das eigentliche Testmanagement findet in Jira statt. Atlassian wird die lokale Version von Jira im Jahr 2024 einstellen, was Benutzer von Drittanbieterlösungen für das Testmanagement in eine sehr schwierige Lage bringt.

Testen Sie es selbst — 30 Tage aqua Probezeit

KOSTENLOS STARTEN
Zum Thema passende Artikel

Die Notwendigkeit, die QS bereits in frühen Entwicklungsphasen zu implementieren oder parallel durchzuführen, ist unter…

photo
Olga Ryan
6 mins read

Ein Grund für die Beliebtheit von Testmanagement-Tools ist zweifelsohne die Vereinfachung und Verbesserung der Qualitätssicherung.…

photo
photo
photo
Mehrere Autoren
12 mins read

Die Vorteile von Softwareentwicklungstests gehen weit über eine verbesserte Effizienz und Entscheidungsfindung hinaus. Qualitätssicherung kann…

photo
Olga Ryan
6 mins read
Abonnieren sie den aqua-blog

Holen Sie sich die neuesten Beiträge direkt in Ihren Posteingang