aqua vs Xray
Automatisierung Verwaltung
28 min lesen
Mai 23, 2022

Warum Unternehmen von Xray auf aqua umsteigen

Testmanagementlösungen sind nicht unbedingt eigenständige Lösungen. Einige können andere Tools, wie z. B. Jira, ergänzen. Schauen wir uns an wie die Jira Ergänzung Xray im Vergleich zur eigenständigen Lösung aqua abschneidet.

photo
photo
Denis Matusovskiy
Martin Koch

Bereitstellungsmodelle

aqua bietet sowohl Cloud- als auch Lokallösungen an, wobei letztere zusätzliche Sicherheit und/oder die Einhaltung von Vorschriften bieten. Außerdem gibt es einen Mittelweg, indem die Testmanagementlösung auf einem privaten Cloud-Server gehostet wird. Dadurch werden Sicherheits- und Betriebszeitrisiken von denen des Anbieters entkoppelt.

Als Jira-Plugin entspricht das Bereitstellungsmodell von Xray dem, was Ihre Jira-Instanz verwendet. Auch sie kann in der Anbieter-Cloud, der privaten Cloud oder vor Ort eingesetzt werden. Denken Sie daran, dass Atlassian die aktive Entwicklung der lokalen Lösung von Jira eingstellt hat und im Jahr 2024 die Kundenunterstützung und Sicherheitsaktualisierungen einstellen wird.

aqua deployment models

aqua-Bereitstellungsmodelle

Bereitstellungsmodell
Xray
aqua
Ja
Ja
Ja
Ja
Ja
Ja

*Jira wird die Unterstützung der lokalen Version im Jahr 2024 einstellen.

Benutzerverwaltung

Wieder einmal ist Xray an die Beschränkungen von Jira gebunden, wenn es um Benutzerberechtigungen geht. Jira bietet 40 Berechtigungen, die Rollen und sogar Einzelpersonen zugewiesen werden können. Das ist wenig im Vergleich zu aqua, das über 100 Berechtigungen bietet. Außerdem ist es ärgerlich, dass Xray keine QA-spezifischen Berechtigungen anbietet, die z.B. die Eingabe von Entwicklern in Testfälle einschränken.

aqua's permission editor

Benutzerberechtigungen von aqua

Kriterien
Xray
aqua
Ja
Ja
Ja
Ja
Ja
Ja
Nein
Nein
Nein
Nein
Ja
Ja

Integrationen und automatisierte Tests

Xray verfolgt einen DIY-Ansatz für die Testautomatisierung, wodurch viel früher angesetzt werden muss als bei vielen Testautomatisierungstools. Die üblichen Pfade sind entweder die Bereitstellung von sofort einsatzbereiten Integrationen oder die Änderung eines Open-Source-Automatisierungsframeworks, um eine Erstanbieter-Automatisierung anzubieten. Es gehört auch zum guten Ton, REST-API-Unterstützung bereitzustellen, damit Kunden beliebige Drittanbieter-Tools verbinden können.

Entgegen den Konventionen unterstützt Xray lediglich einige populäre Automatisierungsframeworks und fordert so von Ihren Testern, dass sie diese bereits kennen. Dadurch verringert sich zwar der Zeitaufwand für die Einführung neuer Tools, aber denken Sie daran, dass die REST-API-Unterstützung – über die Xray verfügt – dafür ausreichend gewesen wäre. Im Gegensatz dazu unterstützt aqua 10 vorkonfigurierte Automatisierungstools und bietet gleichzeitig eine REST-API.

aqua bietet auch eine einzigartige Integration unter den Testmanagement-Lösungen — eine Chrome-Erweiterung, um Tests durchzuführen und sofort zu dokumentieren. Der aqua Test Recorder ermöglicht es Ihnen, Interaktionen aufzuzeichnen, erfasste Daten zu bearbeiten, Kommentare zu hinterlassen, Screenshots zu kommentieren und dann alles an den aqua-Server Ihres Unternehmens zu senden. Dieser Ansatz spart Zeit beim Wechseln der Registerkarten, und die sofortige Dokumentation stellt sicher, dass die QS-Spezialisten alles, was sie beobachtet haben, weitergeben.

Zum Vergleich: Praktisch alle Wettbewerber von aqua verfügen nicht über eine eigene Chrome-Erweiterung. Sie müssen sich auf Lösungen von Drittanbietern beschränken, die oft zusätzliche Kosten verursachen und nicht mit Testmanagementlösungen integriert werden können.

Funktion
Xray
aqua
Nein
Ja
Ja ( Jira )
Ja ( Jira link, Jira sync )
Nein ( 10 Tools )
Ja
Ja ( DIY frameworks )
Nein
Ja
Ja
Ja ( Jira-Marktplatzoptionen )
Nein
Nein
Ja
Ja ( Jira-Marktplatzoptionen )
Nein
Full list of aqua integrations

Vollständige Liste der aqua-Integrationen

Testmanagement

Xray nutzt die Funktionen von Jira für Testzwecke ziemlich gut aus. Es gibt jedoch einige bemerkenswerte Auslassungen, wie verschachtelte Testfälle und Massenbearbeitung von Testfällen. Letzteres kann extremen Mehraufwand bedeuten: Ist es sinnvoll, Tests in Testszenarien zu organisieren, wenn man sie nicht alle auf einmal bearbeiten kann?

Einige Einschränkungen stammen von Jira selbst. Xray-Benutzer können ihre Ansichten des Servers oder einzelner Projekte nicht freigeben. Auch die Rückgängigmachung von Änderungen ist nicht möglich.

Editing test case in Xray

Testfall in Xray bearbeiten

Defining test steps in Xray

Testschritte in Xray festlegen

Testmanagement mit aqua

Funktion
Xray
aqua

Abhängigkeiten und Nachhaltigkeit

Als Jira-Addon erfordert Xray, dass Sie Jira verwenden. Für Unternehmen, die bereits Jira verwenden, ist das nicht unbedingt schlecht, aber es bedeutet, dass man alles auf eine Karte setzt. Wenn Jira nicht funktioniert, haben nicht nur die Entwickler Schwierigkeiten zu arbeiten, sondern auch die QS-Mitarbeiter.

In Bezug auf die Leistung gibt es viele Berichte darüber, dass Jira langsamer wird, wenn man mehr Plugins hinzufügt (auch Atlassian gibt das zu). Dies könnte bedeuten, dass die Verwendung eines Jira-Plugins für QS die Erfahrung verschlechtern würde, sowohl für Entwickler, die aqua regelmäßig verwenden, als auch für Tester, die daran gebunden sind. Unabhängige Lösungen wären in diesem Fall vorzuziehen gewesen, insbesondere wenn die Jira-Instanz mit Plugins vollgepackt ist.

Andererseits kann aqua als eigenständiges Tool mit Jira kommunizieren und sich sogar vollständig mit diesem synchronisieren. Es ist nicht beabsichtigt, die On-Premise-Version einzustellen, wie Atlassian dies mit Jira ab 2024 plant. Das klingt nach dem Besten aus zwei Welten: Sie können bei Bedarf mit Jira arbeiten, sind aber nicht darauf angewiesen.

Kriterien
Xray
aqua
Ja ( Jira-Plugin )
Ja ( Jira-Plugin oder Datenbanksynchronisierung )
Nein
Ja
Ja ( Gebunden an Jira* )
Ja ( Volle Unterstützung )

*Jira stellt On-Premise im Jahr 2024 ein

Dashboards

Dashboards werden bei der Auswahl einer Testmanagementlösung oft übersehen. Dabei sind sie sowohl für QA-Spezialisten als auch für ihre Kollegen ein sehr aufschlussreiches Tool. Die Freiheit, Daten zu verwenden, sie mit zusätzlichem Text/Medien anzureichern und sie zu visualisieren, verbessert die Testprozesse sowie deren Verständnis durch andere Beteiligte.

Leider scheint Xray zu eingeschränkt zu sein, um Ihnen eine solche Freiheit zu bieten. Dashboards sind auf 6 Widgets beschränkt, die sich auf Anforderungsabdeckung, Testläufe und Testentwicklungen aufteilen. aqua hingegen kann beliebige Daten (einschließlich der Eingabe benutzerdefinierter Felder) verwenden, sie in Widgets innerhalb des Dashboards formen und sogar KPI-Warnungen für jede Metrik anzeigen.

Test runs summary in Xray

Zusammenfassung der Testläufe in Xray

aqua dashboard with KPI Alert at work

aqua-Dashboard mit KPI-Alarm

Funktion
Xray
aqua
Ja
Ja
Ja ( 6 Widgets oder Jira-Funktionalität )
Ja ( Alle Daten )
Nein
Ja
Ja ( Kreis-, Balkendiagramm )
Ja ( Kreis-, Balken-, gestapeltes Balkendiagramm; Tabellendiagramm )
Nein
Ja

Berichtswesen

Ebenso wie bei den Dashboards geht es bei den Berichten von Xray darum, Einschränkungen zu umgehen, anstatt sie zu überwinden. Zu Beginn werden Ihnen 8 Berichte angeboten, die die Anforderungen (einschließlich der Anforderungsrückverfolgbarkeitsmatrix), die Testausführung und den Inhalt der Tests abdecken. Alles andere erfordert die manuelle Erstellung einer Vorlage in Form einer Word/Excel-Datei. Es gibt auch keine systemeigenen Funktionen, um Berichte mit externem Text oder Bildmaterial zu erweitern.

Xray traceability report

X-ray Rückverfolgbarkeitsbericht

aqua report example

Beispiel für einen aqua-Bericht

Feature
Xray
aqua

ALM

aqua ist eine Application Lifecycle Management Lösung. Es kann das gesamte Testfallmanagement, Anforderungsmanagement, Fehlermanagement und Projektmanagement übernehmen. Xray kann dem nicht entsprechen, ohne sich auf die Funktionalität von Jira als Issue-Tracker zu verlassen. Hier ist aqua wirklich das Beste aus zwei Welten: Es bietet native ALM-Funktionalität und hat auch eine tiefe Integration mit Jira.

Feature
Xray
aqua
Jira+Xray project options

Jira+Xray-Projektoptionen

aqua project plan

aqua Projektplan

aqua workflow

aqua Workflow-Funktionalität

Fazit

aqua ist im Testmanagement und in der Benutzerverwaltung nur geringfügig besser, aber es übertrifft Xray in so ziemlich allen anderen Bereichen mit großem Vorsprung. aquas Dashboard- und Berichtsfunktionalitäten sind dem Mitbewerber haushoch überlegen, und das Gleiche gilt für die Testautomatisierung. Insgesamt ist aqua eine native ALM-Lösung, während Xray auf die Funktionen von Jira zurückgreift – und zwar in mehr Bereichen als dem Application Lifecycle Management.

Je nach Ihrem Sicherheitsprotokoll kann die Langlebigkeit das größte Argument gegen Xray sein. Es gibt zwar eine Desktop-App für die Durchführung von Tests, aber das eigentliche Testmanagement findet in Jira statt. Atlassian wird die lokale Version von Jira im Jahr 2024 einstellen, was Benutzer von Drittanbieterlösungen für das Testmanagement in eine sehr schwierige Lage bringt.

Stärken Sie Ihr Unternehmen mit aqua

GRATIS STARTEN
On this page:
See more
Beschleunigen Sie Ihre Releases x2 mit aqua ALM
Gratis starten
closed icon