Jira ist so elegant und Sie verwenden es wahrscheinlich ohnehin für die Entwicklung. Warum also nicht Ihre Tests mit einem Jira-Plugin durchführen? Zephyr ist eine beliebte und bewährte Wahl unter den vielen Optionen auf dem Markt. Aber kann es mit einer dedizierten Lösung mithalten?
aqua bietet kostenlose KI-gestützte Tests
aqua behält On-Premise
aqua hat eine bessere Berichterstattung
Künstliche Intelligenz (KI) ist eine sich schnell entwickelnde Technologie, sodass wir uns eher mit der Spitzentechnologie als mit der Basistechnologie beschäftigen werden. Hier erfahren Sie, was Sie von einer KI-gestützten Testmanagementlösung erwarten sollten:
Anbieter von unabhängigen Testmanagementsystemen haben viel mehr Kontrolle über neue Funktionen. Dazu gehört auch die Übernahme der neuesten KI-Technologien, etwas, das die Jira-basierten Tools nur schwer erreichen können, wenn Atlassian kein Interesse zeigt. aqua bietet einen KI-Copiloten auf der Grundlage von GPT, dem großen Sprachmodell hinter ChatGPT. Anders als der kostenlose Chatbot liest die Lösung von aqua den Kontext Ihres Projekts und versteht Ihre Testsuite. Sie können damit bis zu 20 Stunden/Woche pro Mitarbeiter einsparen, indem Sie Tests auf der Grundlage von Anforderungen automatisch erstellen, aktualisieren und die KI die Prioritäten Ihrer Testsuite festlegen lassen.
Das Testmanagement ist der Hauptgrund, warum wir uns mit diesen beiden Tools beschäftigen. Sie sollten verschiedene Aspekte der Handhabung von Testfällen sowie auf Rückverfolgbarkeit ausgerichtete Funktionen berücksichtigen. Dazu gehören:
Abgesehen von der fehlenden KI-Funktionalität hat Zephyr in Bezug auf das Testmanagement eine wirklich starke Ähnlichkeit mit aqua. Wie es bei Jira-Plugins für das Testen üblich ist, leidet die Testorganisation in der Regel, wenn Sie keine dedizierte Lösung verwenden. Zephyr schneidet schlechter ab als einige andere Plugin-Konkurrenten, da sie nicht versuchen, Jira-Workflows anzupassen und selbst keine anbieten. Es gibt auch keine gemeinsamen Ansichten, da Jira diese nicht anbietet.
Die meisten Tools basieren auf der Automatisierung durch gängige Tools von Drittanbietern, die QS-Spezialisten seit über einem Jahrzehnt verwenden. Die Anwendererfahrung ist viel besser, wenn Ihre Testmanagementlösung über native Integrationen für branchenführende Tools verfügt. Die Integration von REST-API ist unerlässlich, um nicht von der Kulanz des Anbieters abhängig zu sein.
Both Zephyr and aqua take the third-party route when it comes to integrations. This approach means a lower barrier of entry for less experienced specialists, and you can leverage extra complex solutions via REST API anyway. The main difference comes in the number of native integrations: Zephyr brings just a fraction of aqua offers.
Die Tools unterscheiden sich darin, wie viel Geld sie im Voraus verlangen und wie die Skalierung aussieht. Einige Kriterien hierfür sind:
Sowohl aqua als auch Zephyr bieten eine monatliche Abrechnung an, was für große Unternehmen vielleicht ein Nachteil ist, für kleine Unternehmen jedoch eine große Hilfe. Mit beiden sind keine Einrichtungskosten verbunden. Andererseits erfordert das Jira-Plugin Zephyr Jira-Lizenzen, um mit der aqua-Funktionalität übereinzustimmen. Alle Lizenzen sind ebenfalls zum vollen Preis erhältlich.
Die On-Premise-Bereitstellung ist in vielen Branchen ein Muss, doch Anbieter sagen oft nicht ausdrücklich, ob sie es anbieten oder nicht. Je nach Ihren Sicherheitsrichtlinien und Ihrem Umfang ist auch die Bereitstellung in einer herstellerunabhängigen Cloud eine vorteilhafte Option.
aqua unterstützt sowohl die Cloud- als auch die On-Premise Bereitstellung. Als schönen Kompromiss zwischen Sicherheit und Kosten können Sie sogar eine Cloud-Version von aqua auf einem Server eines Drittanbieters hosten. Zephyr hat das auch angeboten, aber nicht mehr lange: Jira stellt ab dem 31.12.2023 den aktiven Support für On-Premise ein. Zephyr hat den Verkauf von On-Premise-Lizenzen für sein Jira-Plugin bereits eingestellt.
QS-Dashboards dienen zwei wichtigen Zwecken. Sie helfen dem QS-Team, ihren Fortschritt zu verfolgen, aber sie machen auch andere Teams auf mögliche Engpässe aufmerksam. Zumindest sollten Sie in der Lage sein, alle Daten einzubeziehen und Dashboards mit dem Team zu teilen.
Zephyr verfügt über eine umfangreiche Suite von Dashboard-Widgets, ist aber immer noch durch die Grenzen von Jira eingeschränkt. Sie können nicht den gesamten Datenbestand Ihres Arbeitsbereichs nutzen. Es gibt auch keine KPI-Benachrichtigungen, die Sie über eine Abweichung bei den Metriken informieren würden, was Ihnen die Zeit für die ständige Überprüfung der Dashboards erspart hätte. aqua bietet beides.
Die Berichterstattung ist sowohl für interne als auch für externe Interessengruppen wichtig. Das Ziel ist es, mit so wenig oder so viel Aufwand wie möglich zu bekommen, was man braucht. Wenn ein Tool sowohl eine Vorlagenbibliothek als auch umfangreiche Anpassungsmöglichkeiten bietet, ist das ein guter Anfang.
aqua verfügt über einen vollständig anpassbaren Berichtsassistenten, mit dem Sie alle Daten nutzen und organisieren können. Sie können sogar externe Bilder und Texte hinzufügen. Es gibt einen hohen Automatisierungsgrad mit sich selbst aktualisierenden Diagrammen und benutzerdefinierten Skripten zum Abrufen und Umwandeln von Daten je nach den von Ihren Spezialisten eingegebenen Bedingungen.
On the other hand, Zephyr has template-based reporting only. They claim to have 26 templates, but they are essentially 26 tracked metrics rather than 26 combinations of any metric. If QA reporting is a major consideration, aqua is a much better choice. Note that QA will eventually become the key stage to optimise, and good reports help a lot.
Eine präzise Benutzerverwaltung ist wesentlich, wenn Sie an mehreren Projekten arbeiten und/oder mit externen Spezialisten zusammenarbeiten. Es erspart auch eine Menge Aufwand, Crowd-Tests in derselben Testmanagementlösung durchzuführen.
aqua und Zephyr bieten die gleiche Granularität, wenn es um Berechtigungen geht. Sie können benutzerdefinierte Rollen erstellen und einzelnen Nutzern eindeutige Berechtigungen zuweisen. Beide Tools bieten relevante QS-spezifische Berechtigungen, z. B. zum Bearbeiten und Ausführen von Testfällen.
Dies ist keine zwingende Voraussetzung, aber Sie sind vielleicht an einer Testmanagementlösung interessiert, die auch den gesamten Produktlebenszyklus abdeckt. Das spart viel Geld, da Sie weniger Lizenzen von anderen Anbietern benötigen, und die Synergieeffekte dürften Ihnen auch einige Stunden ersparen.
aqua ist eine Testmanagementlösung, die auch den gesamten Produktlebenszyklus abdecken kann. Zephyr ist die fehlende QS-Verbindung zu Jira, um das Gleiche zu tun. Letztlich bieten Ihnen aqua und Zephyr das nahtlose 4-Tools-in-1-Erlebnis und die damit verbundenen Kosteneinsparungen.
Hier sind ein paar Dinge, die Benutzende an beiden Tools mögen und nicht mögen
„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“
Jörg Großmann
Leiter der Abteilung Entwicklung bei Bank 11
„Die Tatsache, dass die Benutzeroberfläche recht einfach und übersichtlich gestaltet ist, ist hervorragend für die problemlose Nutzung, und die Tatsache, dass man kein Programmierungsexperte sein muss, um sie zu nutzen, ist ebenfalls sehr praktisch. Es gibt viele Fehler, welche die Leistung und Performance der Anwendung beeinträchtigen können. Es genügt, sich beim Kundenservice zu melden, und das Problem wird schnell gelöst. Trotzdem bin ich der Meinung, dass sie besser daran arbeiten sollten, dass man diese Art von Fehlern gar nicht erst bemerkt.“
Federico D.
Software-Entwicklungsingenieur in einem Unternehmen (>1000 Mitarbeitende)
„Die Berichtearstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Die Mitarbeiter erkennen nach der Nutzung von aqua sehr schnell den Mehrwert.“
Thomas Haeske
Leiter der Abteilung Organisation/IT der Berlin Hyp
„Die Massenbearbeitung von Testskripten ist nicht immer ganz einfach. Es kann Jira unübersichtlich machen, wenn man keine ausreichenden Kenntnisse über die Konfiguration von Jira hat.“
Liz H.
Testmanagerin in einem kleinen Unternehmen (<50 Mitarbeitende)
„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“
Jörn-Hendrick Sörensen
Test Manager bei KBA
„Mich stört, wie schwer es ist, mehrere Tests zu importieren. Der Importer in Jira ist inkonsistent und nicht benutzerfreundlich. Ich bin nie zuversichtlich, dass es beim ersten Versuch klappt.“
Ein G2-Reviewer
bei einem mittelgroßen Einzelhandelsunternehmen (50–1000 Mitarbeitende)
„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“
Jörg Großmann
Leiter der Abteilung Entwicklung bei Bank 11
„Die Berichtearstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Die Mitarbeiter erkennen nach der Nutzung von aqua sehr schnell den Mehrwert.“
Thomas Haeske
Leiter der Abteilung Organisation/IT der Berlin Hyp
„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“
Jörn-Hendrick Sörensen
Test Manager bei KBA
„Die Tatsache, dass die Benutzeroberfläche recht einfach und übersichtlich gestaltet ist, ist hervorragend für die problemlose Nutzung, und die Tatsache, dass man kein Programmierungsexperte sein muss, um sie zu nutzen, ist ebenfalls sehr praktisch. Es gibt viele Fehler, welche die Leistung und Performance der Anwendung beeinträchtigen können. Es genügt, sich beim Kundenservice zu melden, und das Problem wird schnell gelöst. Trotzdem bin ich der Meinung, dass sie besser daran arbeiten sollten, dass man diese Art von Fehlern gar nicht erst bemerkt.“
Federico D.
Software-Entwicklungsingenieur in einem Unternehmen (>1000 Mitarbeitende)
„Die Massenbearbeitung von Testskripten ist nicht immer ganz einfach. Es kann Jira unübersichtlich machen, wenn man keine ausreichenden Kenntnisse über die Konfiguration von Jira hat.“
Liz H.
Testmanagerin in einem kleinen Unternehmen (<50 Mitarbeitende)
„Mich stört, wie schwer es ist, mehrere Tests zu importieren. Der Importer in Jira ist inkonsistent und nicht benutzerfreundlich. Ich bin nie zuversichtlich, dass es beim ersten Versuch klappt.“
Ein G2-Reviewer
bei einem mittelgroßen Einzelhandelsunternehmen (50–1000 Mitarbeitende)
aqua is a veteran test management solution that can work as both a Jira plugin and standalone solution while not costing extra. Zephyr is a plugin that tries to make Jira a test management system. While the effort is admirable, you still run into several Jira limitations and feature omissions from Zephyr. This comparison of aqua and Zephyr testing tools confirms that you can run QA in Jira, but it works best with a dedicated TMS that offers a Jira plugin.