Bereitstellungsmodelle
Update, 07.06.2022: Der Artikel wurde geändert, um klarzustellen, dass Xray-Benutzer auf Jira für Workflows, Massenbearbeitung und Dashboards zurückgreifen können. Wir freuen uns auch, dass Xray vor kurzem die Funktion der eingebetteten Testfälle hinzugefügt hat.
aqua bietet sowohl Cloud- als auch Lokallösungen an, wobei letztere zusätzliche Sicherheit und/oder die Einhaltung von Vorschriften bieten. Außerdem gibt es einen Mittelweg, indem die Testmanagementlösung auf einem privaten Cloud-Server gehostet wird. Dadurch werden Sicherheits- und Betriebszeitrisiken von denen des Anbieters entkoppelt.
Als Jira-Plugin entspricht das Bereitstellungsmodell von Xray dem, was Ihre Jira-Instanz verwendet. Auch sie kann in der Anbieter-Cloud, der privaten Cloud oder vor Ort eingesetzt werden. Denken Sie daran, dass Atlassian die aktive Entwicklung der lokalen Lösung von Jira eingstellt hat und im Jahr 2024 die Kundenunterstützung und Sicherheitsaktualisierungen einstellen wird.
aqua-Bereitstellungsmodelle
Bereitstellungsmodell
Xray
aqua
Anbieter-Cloud
Ja
Ja
Private Cloud
Ja
Ja
Lokal
Ja*
Ja
*Jira wird die Unterstützung der lokalen Version im Jahr 2024 einstellen.
Benutzerverwaltung
Wieder einmal ist Xray an die Beschränkungen von Jira gebunden, wenn es um Benutzerberechtigungen geht. Jira bietet 40 Berechtigungen, die Rollen und sogar Einzelpersonen zugewiesen werden können. Das ist wenig im Vergleich zu aqua, das über 100 Berechtigungen bietet. Außerdem ist es ärgerlich, dass Xray keine QA-spezifischen Berechtigungen anbietet, die z.B. die Eingabe von Entwicklern in Testfälle einschränken.
Benutzerberechtigungen von aqua
Kriterien
Xray
aqua
Standardbenutzerrollen
Ja
Ja
Benutzerdefinierte Rollen
Ja
Ja
Rollenberechtigungen
40
mehr als 100
Individuelle Berechtigungen
Nein
Ja
QA-spezifische Berechtigungen
Nein
Ja
SSO
Ja
Ja
Testmanagement
Xray nutzt die Funktionen von Jira für Testzwecke ziemlich gut aus. Es gibt jedoch einige bemerkenswerte Auslassungen, wie verschachtelte Testfälle und Massenbearbeitung von Testfällen. Letzteres kann extremen Mehraufwand bedeuten: Ist es sinnvoll, Tests in Testszenarien zu organisieren, wenn man sie nicht alle auf einmal bearbeiten kann?
Einige Einschränkungen stammen von Jira selbst. Xray-Benutzer können ihre Ansichten des Servers oder einzelner Projekte nicht freigeben. Auch die Rückgängigmachung von Änderungen ist nicht möglich.
Testfall in Xray bearbeiten
Testschritte in Xray festlegen
Testmanagement mit aqua
Funktion
Xray
aqua
Testfälle
+
+
Testszenarien
+
+
Testberichte
+
+
Ausführungsverlauf
+
+
Eingebettete Testfälle
+
+
Batch-Bearbeitungen
Jira-Funktionalität
+
Skripte
-
+
Releaseplanung
Versionen, Agile Sprints
Versionen, Agile Sprints
Label
+
+
Benutzerdefinierte Felder
+
+
Parametrisierung
+
+
Filter
+
+
Ordner
+
+
Ansichten
+
+
Gemeinsame Ansichten
-
+
Workflows
Jira-Funktionalität
+
Protokollierung
+
+
Änderungsverlauf des Elements
+
+
Änderungszurücksetzung
-
+
Kommentare
+
+
Anhänge
+
+
Erwähnungen
+
+
Integrationen und automatisierte Tests
Xray verfolgt einen DIY-Ansatz für die Testautomatisierung, wodurch viel früher angesetzt werden muss als bei vielen Testautomatisierungstools. Die üblichen Pfade sind entweder die Bereitstellung von sofort einsatzbereiten Integrationen oder die Änderung eines Open-Source-Automatisierungsframeworks, um eine Erstanbieter-Automatisierung anzubieten. Es gehört auch zum guten Ton, REST-API-Unterstützung bereitzustellen, damit Kunden beliebige Drittanbieter-Tools verbinden können.
Entgegen den Konventionen unterstützt Xray lediglich einige populäre Automatisierungsframeworks und fordert so von Ihren Testern, dass sie diese bereits kennen. Dadurch verringert sich zwar der Zeitaufwand für die Einführung neuer Tools, aber denken Sie daran, dass die REST-API-Unterstützung – über die Xray verfügt – dafür ausreichend gewesen wäre. Im Gegensatz dazu unterstützt aqua 10 vorkonfigurierte Automatisierungstools und bietet gleichzeitig eine REST-API.
Funktion
Xray
aqua
Verwaltung von Integrationen
Ja (Jira)
Ja (Jira link, Jira sync)
Integration von Automatisierung
Nein
Ja (10 Tools)
Erstanbieter-Automatisierung
DIY frameworks
Nein
REST API
Ja
Ja
Externe Versionierung
Jira-Marktplatzoptionen
Nein
Automatische Übersetzung im Arbeitsbereich
Nein
Ja
Diverse Integrationen
Jira-Marktplatzoptionen
Nein
Vollständige Liste der aqua-Integrationen
Dashboards
Dashboards werden bei der Auswahl einer Testmanagementlösung oft übersehen. Dabei sind sie sowohl für QA-Spezialisten als auch für ihre Kollegen ein sehr aufschlussreiches Tool. Die Freiheit, Daten zu verwenden, sie mit zusätzlichem Text/Medien anzureichern und sie zu visualisieren, verbessert die Testprozesse sowie deren Verständnis durch andere Beteiligte.
Leider scheint Xray zu eingeschränkt zu sein, um Ihnen eine solche Freiheit zu bieten. Dashboards sind auf 6 Widgets beschränkt, die sich auf Anforderungsabdeckung, Testläufe und Testentwicklungen aufteilen. aqua hingegen kann beliebige Daten (einschließlich der Eingabe benutzerdefinierter Felder) verwenden, sie in Widgets innerhalb des Dashboards formen und sogar KPI-Warnungen für jede Metrik anzeigen.
Zusammenfassung der Testläufe in Xray
aqua-Dashboard mit KPI-Alarm
Funktion
Xray
aqua
Dashboards
Ja
Ja
Daten
6 Widgets oder Jira-Funktionalität
Alle Daten
Native Daten aus benutzerdefinierten Feldern
Nein
Ja
Native Diagrammtypen
Kreis-, Balkendiagramm
Kreis-, Balken-, gestapeltes Balkendiagramm; Tabellendiagramm
KPI-Alarme
Nein
Ja
Berichtswesen
Ebenso wie bei den Dashboards geht es bei den Berichten von Xray darum, Einschränkungen zu umgehen, anstatt sie zu überwinden. Zu Beginn werden Ihnen 8 Berichte angeboten, die die Anforderungen (einschließlich der Anforderungsrückverfolgbarkeitsmatrix), die Testausführung und den Inhalt der Tests abdecken. Alles andere erfordert die manuelle Erstellung einer Vorlage in Form einer Word/Excel-Datei. Es gibt auch keine systemeigenen Funktionen, um Berichte mit externem Text oder Bildmaterial zu erweitern.
X-ray Rückverfolgbarkeitsbericht
Beispiel für einen aqua-Bericht
Feature
Xray
aqua
Vorlagenbibliothek
Ja (5 Berichtstypen)
Ja (7 Musterberichte)
Benutzerdefinierte Berichte
Ja (Word/Excel-Vorlagen)
Ja (nativ)
Abrufen beliebiger Daten
-
+
Benutzerdefiniertes Layout (nativ)
-
+
Externer Text und Bildmaterial
-
+
Drag-and-Drop
-
+
Benutzerdefinierte Bänder
-
+
Textformatierung
-
+
Bildformatierung
-
+
Diagramme
+
+
Pivot-Tabellen
-
+
Skripte
-
+
Parametrierung
-
+
ALM
aqua ist eine Application Lifecycle Management Lösung. Es kann das gesamte Testfallmanagement, Anforderungsmanagement, Fehlermanagement und Projektmanagement übernehmen. Xray kann dem nicht entsprechen, ohne sich auf die Funktionalität von Jira als Issue-Tracker zu verlassen. Hier ist aqua wirklich das Beste aus zwei Welten: Es bietet native ALM-Funktionalität und hat auch eine tiefe Integration mit Jira.
Feature
Xray
aqua
Natives ALM
-
+
Testfallmanagement
+
+
Anforderungsmanagement
Jira-Funktionalität
+
Fehlermanagement
Jira-Funktionalität
+
Methodik der Softwareentwicklung
Jira-Funktionalität
Agile, Waterfall, Extreme Programming
Workflows
+
+
Projektmanagement
Jira-Funktionalität
+
Jira+Xray-Projektoptionen
aqua Projektplan
aqua Workflow-Funktionalität
Fazit
aqua ist im Testmanagement und in der Benutzerverwaltung nur geringfügig besser, aber es übertrifft Xray in so ziemlich allen anderen Bereichen mit großem Vorsprung. aquas Dashboard- und Berichtsfunktionalitäten sind dem Mitbewerber haushoch überlegen, und das Gleiche gilt für die Testautomatisierung. Insgesamt ist aqua eine native ALM-Lösung, während Xray auf die Funktionen von Jira zurückgreift – und zwar in mehr Bereichen als dem Application Lifecycle Management.
Je nach Ihrem Sicherheitsprotokoll kann die Langlebigkeit das größte Argument gegen Xray sein. Es gibt zwar eine Desktop-App für die Durchführung von Tests, aber das eigentliche Testmanagement findet in Jira statt. Atlassian wird die lokale Version von Jira im Jahr 2024 einstellen, was Benutzer von Drittanbieterlösungen für das Testmanagement in eine sehr schwierige Lage bringt.
