AI

Künstliche Intelligenz (KI) ist eine sich schnell entwickelnde Technologie, sodass wir uns eher mit der Spitzentechnologie als mit der Basistechnologie beschäftigen werden. Hier erfahren Sie, was Sie von einer KI-gestützten Testmanagementlösung erwarten sollten:

Analysieren von Ihrem Arbeitsbereich, um QS-Kontext zu erhalten
Erstellung von Testfällen, Fehler und sogar Anforderungen aus einer einfachen Textbeschreibung
Vervollständigen der Entwürfe von Testfällen
Priorisieren von Tests
Entfernen doppelter Tests und Fehler

Anbieter von unabhängigen Testmanagementsystemen haben viel mehr Kontrolle über neue Funktionen. Dazu gehört auch die Übernahme der neuesten KI-Technologien, etwas, das die Jira-basierten Tools nur schwer erreichen können, wenn Atlassian kein Interesse zeigt. aqua bietet einen KI-Copiloten auf der Grundlage von GPT, dem großen Sprachmodell hinter ChatGPT. Anders als der kostenlose Chatbot liest die Lösung von aqua den Kontext Ihres Projekts und versteht Ihre Testsuite. Sie können damit bis zu 20 Stunden/Woche pro Mitarbeiter einsparen, indem Sie Tests auf der Grundlage von Anforderungen automatisch erstellen, aktualisieren und die KI die Prioritäten Ihrer Testsuite festlegen lassen.

Trainiert KI-Copilot mit Ihren Tests automatisch	Keine KI-Fähigkeiten
Generiert komplette Tests mit KI	Keine KI-Fähigkeiten
Vollständigt Testentwürfe	Keine KI-Fähigkeiten
Priorisieren von Tests	Keine KI-Fähigkeiten
Entfernt Duplikate	Keine KI-Fähigkeiten


Trainiert KI-Copilot mit Ihren Tests automatisch
Generiert komplette Tests mit KI
Vollständigt Testentwürfe
Priorisieren von Tests
Entfernt Duplikate


Keine KI-Fähigkeiten
Keine KI-Fähigkeiten
Keine KI-Fähigkeiten
Keine KI-Fähigkeiten
Keine KI-Fähigkeiten

Testmanagement

Das Testmanagement ist der Hauptgrund, warum wir uns mit diesen beiden Tools beschäftigen. Sie sollten verschiedene Aspekte der Handhabung von Testfällen sowie auf Rückverfolgbarkeit ausgerichtete Funktionen berücksichtigen. Dazu gehören:

Erstellen, Ausführen, Freigeben und Verwalten von Testfällen im Arbeitsbereich
Gruppieren von Tests in Testszenarien, Aufteilen in Ordner, Zuweisen von Etiketten
Schnelles Navigieren in der Testsuite, Anwendung von Filtern, Verwendung von individuellen und gemeinsamen Ansichten
Anzeigen der gesamten Geschichte der Ausführung eines Testfalls
Speichern eines vollständigen Protokolls der Änderungen zur Einhaltung der Vorschriften
Visualisierung der Anforderungsabdeckung und der Abhängigkeiten zwischen Anforderungen, Testfällen und Fehlern

Abgesehen von der fehlenden KI-Funktionalität hat Zephyr in Bezug auf das Testmanagement eine wirklich starke Ähnlichkeit mit aqua. Wie es bei Jira-Plugins für das Testen üblich ist, leidet die Testorganisation in der Regel, wenn Sie keine dedizierte Lösung verwenden. Zephyr schneidet schlechter ab als einige andere Plugin-Konkurrenten, da sie nicht versuchen, Jira-Workflows anzupassen und selbst keine anbieten. Es gibt auch keine gemeinsamen Ansichten, da Jira diese nicht anbietet.


Testfälle, Testszenarien, Massenbearbeitung von Tests, benutzerdefinierte Felder Ausführungen Verschachtelte Testfälle Schnelle Navigation, Filter, Ansichten Geschichte der Objektänderung, Protokollierung


Testfälle, Testszenarien, Massenbearbeitung von Tests, benutzerdefinierte Felder Ausführungen Verschachtelte Testfälle Schnelle Navigation, Filter, Ansichten Geschichte der Objektänderung, Protokollierung

QS Arbeitsabläufe	Nicht verfügbar
Gemeinsame Testschritte	Nicht verfügbar
Änderungen rückgängig machenl	Nicht verfügbar
Gemeinsame Ansichten	Nicht verfügbar


QS Arbeitsabläufe
Gemeinsame Testschritte
Änderungen rückgängig machenl
Gemeinsame Ansichten


Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar

Urteil: aqua gewinnt durch QS-Workflows und gemeinsame Ansichten

Integrationen

Die meisten Tools basieren auf der Automatisierung durch gängige Tools von Drittanbietern, die QS-Spezialisten seit über einem Jahrzehnt verwenden. Die Anwendererfahrung ist viel besser, wenn Ihre Testmanagementlösung über native Integrationen für branchenführende Tools verfügt. Die Integration von REST-API ist unerlässlich, um nicht von der Kulanz des Anbieters abhängig zu sein.

Automatisierung des eigenen Frameworks oder Integration von Drittanbietern mit Testautomatisierungs-Tools
Native Integrationen von Drittanbietern: Selenium, Jenkins, JMeter, SoapUI, Ranorex
Jira-Integration und/oder Jira-Plugin
Unterstützung von REST API für die Integration beliebiger Tools

Both Zephyr and aqua take the third-party route when it comes to integrations. This approach means a lower barrier of entry for less experienced specialists, and you can leverage extra complex solutions via REST API anyway. The main difference comes in the number of native integrations: Zephyr brings just a fraction of aqua offers.


REST API Jira Integration


REST API Jira Integration

Selenium, Jenkins, UFT, JMeter, SoapUI, Ranorex, Datenbank MSSQL, Datenbank Oracle für Testautomatisierung	Jenkins, Selenium für die Testautomatisierung
Fehlerbericht-Tool Capture	Keine native Integration von Fehlerberichten


Selenium, Jenkins, UFT, JMeter, SoapUI, Ranorex, Datenbank MSSQL, Datenbank Oracle für Testautomatisierung
Fehlerbericht-Tool Capture


Jenkins, Selenium für die Testautomatisierung
Keine native Integration von Fehlerberichten

Urteil: aqua gewinnt durch viel stärkere und native Integrationen

Flexibilität bei der Preisgestaltung

Die Tools unterscheiden sich darin, wie viel Geld sie im Voraus verlangen und wie die Skalierung aussieht. Einige Kriterien hierfür sind:

Monatliche oder jährliche Abrechnung
Kostenlose Lizenzen zum Durchsuchen oder sogar zur Durchführung von Tests
Hohe Einrichtungskosten
Abhängigkeit von Zahlungen für andere Tools

Sowohl aqua als auch Zephyr bieten eine monatliche Abrechnung an, was für große Unternehmen vielleicht ein Nachteil ist, für kleine Unternehmen jedoch eine große Hilfe. Mit beiden sind keine Einrichtungskosten verbunden. Andererseits erfordert das Jira-Plugin Zephyr Jira-Lizenzen, um mit der aqua-Funktionalität übereinzustimmen. Alle Lizenzen sind ebenfalls zum vollen Preis erhältlich.


Monatliche Abrechnung Keine Einrichtungskosten


Monatliche Abrechnung Keine Einrichtungskosten

Keine externen Lizenzen erforderlich	Jira-Lizenzen erforderlich
Kostenlose Lizenzen für manuelle Tester	Nur Vollpreis-Lizenzen
Kostenlose Lizenzen für nicht technische Nutzer	Nur Vollpreis-Lizenzen


Keine externen Lizenzen erforderlich
Kostenlose Lizenzen für manuelle Tester
Kostenlose Lizenzen für nicht technische Nutzer


Jira-Lizenzen erforderlich
Nur Vollpreis-Lizenzen
Nur Vollpreis-Lizenzen

Modelle für die Bereitstellung

Die On-Premise-Bereitstellung ist in vielen Branchen ein Muss, doch Anbieter sagen oft nicht ausdrücklich, ob sie es anbieten oder nicht. Je nach Ihren Sicherheitsrichtlinien und Ihrem Umfang ist auch die Bereitstellung in einer herstellerunabhängigen Cloud eine vorteilhafte Option.

Anbieter Cloud
Externe Cloud: AWS, Azure, etc.
On-Premise

aqua unterstützt sowohl die Cloud- als auch die On-Premise Bereitstellung. Als schönen Kompromiss zwischen Sicherheit und Kosten können Sie sogar eine Cloud-Version von aqua auf einem Server eines Drittanbieters hosten. Zephyr hat das auch angeboten, aber nicht mehr lange: Jira stellt ab dem 31.12.2023 den aktiven Support für On-Premise ein. Zephyr hat den Verkauf von On-Premise-Lizenzen für sein Jira-Plugin bereits eingestellt.

On-Premise	On-Premise bis 2024
GDPR-konforme aqua-gehostete deutsche Cloud	Jira-gehostete Cloud
Isolierte unternehmenseigene Cloud-Lösung (beliebiges Azure Rechenzentrum)	Benutzerdefinierte Cloud


On-Premise
GDPR-konforme aqua-gehostete deutsche Cloud
Isolierte unternehmenseigene Cloud-Lösung (beliebiges Azure Rechenzentrum)


On-Premise bis 2024
Jira-gehostete Cloud
Benutzerdefinierte Cloud

Urteil: aqua gewinnt durch Beibehaltung von On-Premise

Dashboards

QS-Dashboards dienen zwei wichtigen Zwecken. Sie helfen dem QS-Team, ihren Fortschritt zu verfolgen, aber sie machen auch andere Teams auf mögliche Engpässe aufmerksam. Zumindest sollten Sie in der Lage sein, alle Daten einzubeziehen und Dashboards mit dem Team zu teilen.

Verwendung aller Daten des Arbeitsbereichs
Erstellung privater und gemeinsamer Dashboards
Auswahl zwischen verschiedenen Arten von Diagrammen
Einrichten von KPI-/Wert-Benachrichtigungen, die als E-Mail-/App-Benachrichtigungen eingehen

Zephyr verfügt über eine umfangreiche Suite von Dashboard-Widgets, ist aber immer noch durch die Grenzen von Jira eingeschränkt. Sie können nicht den gesamten Datenbestand Ihres Arbeitsbereichs nutzen. Es gibt auch keine KPI-Benachrichtigungen, die Sie über eine Abweichung bei den Metriken informieren würden, was Ihnen die Zeit für die ständige Überprüfung der Dashboards erspart hätte. aqua bietet beides.

Alle Daten	19 widgets
KPI-Benachrichtigungen	Keine KPI-Benachrichtigungen


Alle Daten
KPI-Benachrichtigungen


19 widgets
Keine KPI-Benachrichtigungen

Urteil: aqua gewinnt durch individuelle Anpassung und KPI-Benachrichtigungen

Berichterstattung

Die Berichterstattung ist sowohl für interne als auch für externe Interessengruppen wichtig. Das Ziel ist es, mit so wenig oder so viel Aufwand wie möglich zu bekommen, was man braucht. Wenn ein Tool sowohl eine Vorlagenbibliothek als auch umfangreiche Anpassungsmöglichkeiten bietet, ist das ein guter Anfang.

Zugriff auf die vom Anbieter zur Verfügung gestellte Vorlagenbibliothek
Benutzerdefinierte Vorlagen erstellen und speichern
Verwendung und Umwandlung beliebiger Daten
Text- und Bildformatierung anwenden
Hinzufügen von externen Daten und Bildmaterial
Verwendung von Skripten und Parametrisierung zur automatischen Aktualisierung von Berichten

aqua verfügt über einen vollständig anpassbaren Berichtsassistenten, mit dem Sie alle Daten nutzen und organisieren können. Sie können sogar externe Bilder und Texte hinzufügen. Es gibt einen hohen Automatisierungsgrad mit sich selbst aktualisierenden Diagrammen und benutzerdefinierten Skripten zum Abrufen und Umwandeln von Daten je nach den von Ihren Spezialisten eingegebenen Bedingungen.

On the other hand, Zephyr has template-based reporting only. They claim to have 26 templates, but they are essentially 26 tracked metrics rather than 26 combinations of any metric. If QA reporting is a major consideration, aqua is a much better choice. Note that QA will eventually become the key stage to optimise, and good reports help a lot.


Vorlagenbibliothek Diagramme


Vorlagenbibliothek Diagramme

Eigene benutzerdefinierte Berichte	Nicht verfügbar
Eigene Verwendung beliebiger Daten	Nicht verfügbar
Native Text- und Bildformatierung	Nicht verfügbar
Drag-and-drop	Nicht verfügbar
Externer Text und Bildmaterial	Nicht verfügbar
Eigenes benutzerdefiniertes Layout	Nicht verfügbar
Pivot-Tabellen	Nicht verfügbar
Skripte	Nicht verfügbar
Parametrisierung	Nicht verfügbar


Eigene benutzerdefinierte Berichte
Eigene Verwendung beliebiger Daten
Native Text- und Bildformatierung
Drag-and-drop
Externer Text und Bildmaterial
Eigenes benutzerdefiniertes Layout
Pivot-Tabellen
Skripte
Parametrisierung


Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar
Nicht verfügbar

Urteil: aqua wins by offering out-of-the-box custom reports

Nutzerverwaltung

Eine präzise Benutzerverwaltung ist wesentlich, wenn Sie an mehreren Projekten arbeiten und/oder mit externen Spezialisten zusammenarbeiten. Es erspart auch eine Menge Aufwand, Crowd-Tests in derselben Testmanagementlösung durchzuführen.

Standardrollen festlegen
Benutzerdefinierte Rollen erstellen
Berechtigungen pro Nutzer anwenden
Authentifizierung von Nutzern über SSO

aqua und Zephyr bieten die gleiche Granularität, wenn es um Berechtigungen geht. Sie können benutzerdefinierte Rollen erstellen und einzelnen Nutzern eindeutige Berechtigungen zuweisen. Beide Tools bieten relevante QS-spezifische Berechtigungen, z. B. zum Bearbeiten und Ausführen von Testfällen.


SSO Standardnutzerrollen Benutzerdefinierte Rollen Individuelle Berechtigungen QS-spezifische Berechtigungen


SSO Standardnutzerrollen Benutzerdefinierte Rollen Individuelle Berechtigungen QS-spezifische Berechtigungen

ALM

Dies ist keine zwingende Voraussetzung, aber Sie sind vielleicht an einer Testmanagementlösung interessiert, die auch den gesamten Produktlebenszyklus abdeckt. Das spart viel Geld, da Sie weniger Lizenzen von anderen Anbietern benötigen, und die Synergieeffekte dürften Ihnen auch einige Stunden ersparen.

Testfallmanagement
Anforderungsmanagement
Defektmanagement
Projektmanagement

aqua ist eine Testmanagementlösung, die auch den gesamten Produktlebenszyklus abdecken kann. Zephyr ist die fehlende QS-Verbindung zu Jira, um das Gleiche zu tun. Letztlich bieten Ihnen aqua und Zephyr das nahtlose 4-Tools-in-1-Erlebnis und die damit verbundenen Kosteneinsparungen.


Test case management Requirements management Defect management Project management


Test case management Requirements management Defect management Project management

Was Benutzende sagen

Hier sind ein paar Dinge, die Benutzende an beiden Tools mögen und nicht mögen

„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“

Jörg Großmann

Leiter der Abteilung Entwicklung bei Bank 11

„Die Berichtearstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Die Mitarbeiter erkennen nach der Nutzung von aqua sehr schnell den Mehrwert.“

Thomas Haeske

Leiter der Abteilung Organisation/IT der Berlin Hyp

„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“

Jörn-Hendrick Sörensen

Test Manager bei KBA

„Die Tatsache, dass die Benutzeroberfläche recht einfach und übersichtlich gestaltet ist, ist hervorragend für die problemlose Nutzung, und die Tatsache, dass man kein Programmierungsexperte sein muss, um sie zu nutzen, ist ebenfalls sehr praktisch.

Es gibt viele Fehler, welche die Leistung und Performance der Anwendung beeinträchtigen können. Es genügt, sich beim Kundenservice zu melden, und das Problem wird schnell gelöst. Trotzdem bin ich der Meinung, dass sie besser daran arbeiten sollten, dass man diese Art von Fehlern gar nicht erst bemerkt.“

Federico D.

Software-Entwicklungsingenieur in einem Unternehmen

„Die Massenbearbeitung von Testskripten ist nicht immer ganz einfach. Es kann Jira unübersichtlich machen, wenn man keine ausreichenden Kenntnisse über die Konfiguration von Jira hat.“

Liz H.

Testmanagerin in einem kleinen Unternehmen

„Mich stört, wie schwer es ist, mehrere Tests zu importieren. Der Importer in Jira ist inkonsistent und nicht benutzerfreundlich. Ich bin nie zuversichtlich, dass es beim ersten Versuch klappt.“

Ein G2-Reviewer

Einem mittelgroßen Einzelhandelsunternehmen

Endgültiges Urteil

aqua is a veteran test management solution that can work as both a Jira plugin and standalone solution while not costing extra. Zephyr is a plugin that tries to make Jira a test management system. While the effort is admirable, you still run into several Jira limitations and feature omissions from Zephyr. This comparison of aqua and Zephyr testing tools confirms that you can run QA in Jira, but it works best with a dedicated TMS that offers a Jira plugin.


Hochmoderne KI-gestützte Tests	Nur traditionelle QS
Native QS Arbeitsabläufe	Fehleranfällige Implementierung Ihres Handbuchs
10+ Testintegrationen und REST API	2 Testintegrationen und REST API
Autonome Lösung	Arbeitet nur mit Jira
Erweiterte QS-Berichterstattung	Nur einzelne Metriken
KPI-Benachrichtigungen auf Dashboards	Nur manuelles Durchsuchen von Dashboards
Kostenlose Lizenzen auch für manuelle QS	Nur Vollpreis-Lizenzen
Weiterhin On-Premise-Unterstützung	On-Premise wird ab 2024 eingestellt


Nur traditionelle QS
Fehleranfällige Implementierung Ihres Handbuchs
2 Testintegrationen und REST API
Arbeitet nur mit Jira
Nur einzelne Metriken
Nur manuelles Durchsuchen von Dashboards
Nur Vollpreis-Lizenzen
On-Premise wird ab 2024 eingestellt

Schöpft ein Jira-Plugin Ihr QS-Potenzial voll aus?

Die wichtigsten Unterschiede zwischen aqua und Zephyr

Wie wir vergleichen

AI

Urteil: aqua gewinnt (Zephyr hat keine KI-gesteuerten Tests)