aqua vs. Kualitee: Vergleich von Tools für Software-Tests

KI

Künstliche Intelligenz (KI) ist eine sich schnell entwickelnde Technologie, sodass wir uns eher mit der Spitzentechnologie als mit der Basistechnologie beschäftigen werden. Hier erfahren Sie, was Sie von einer KI-gestützten Testmanagementlösung erwarten sollten:

Analysieren von Ihrem Arbeitsbereich, um QS-Kontext zu erhalten
Erstellung von Testfällen, Fehler und sogar Anforderungen aus einer einfachen Textbeschreibung
Vervollständigen der Entwürfe von Testfällen
Priorisieren von Tests
Entfernen doppelter Tests und Fehler

aqua nutzt das GPT-Sprachmodell von OpenAI, um ganze Tests und vollständige Entwürfe zu erstellen. ChatGPT könnte das auch tun, aber es kennt den Kontext Ihres Softwareprojekts nicht und kann Ihre bestehenden Tests nicht analysieren. Kualitee does not have AI testing functionality.

Generiert komplette Tests mit KI

Keine KI-Tests

Trainiert KI-Copilot mit Ihren Tests automatisch

Keine KI-Tests

Vollständigt Testentwürfe

Keine KI-Tests

Priorisieren von Tests

Keine KI-Tests

Entfernt Duplikate

Keine KI-Tests

Generiert komplette Tests mit KI

Trainiert KI-Copilot mit Ihren Tests automatisch

Vollständigt Testentwürfe

Priorisieren von Tests

Entfernt Duplikate

Keine KI-Tests

Testmanagement

Das Testmanagement ist der Hauptgrund, warum wir uns mit diesen beiden Tools beschäftigen. Sie sollten verschiedene Aspekte der Handhabung von Testfällen sowie auf Rückverfolgbarkeit ausgerichtete Funktionen berücksichtigen. Dazu gehören:

Erstellen, Ausführen, Freigeben und Verwalten von Testfällen im Arbeitsbereich
Gruppieren von Tests in Testszenarien, Aufteilen in Ordner, Zuweisen von Etiketten
Schnelles Navigieren in der Testsuite, Anwendung von Filtern, Verwendung von individuellen und gemeinsamen Ansichten
Anzeigen der gesamten Geschichte der Ausführung eines Testfalls
Speichern eines vollständigen Protokolls der Änderungen zur Einhaltung der Vorschriften
Visualisierung der Anforderungsabdeckung und der Abhängigkeiten zwischen Anforderungen, Testfällen und Fehlern

aqua und Kualitee sind beide leistungsstarke Testmanagement-Lösungen. Allerdings fehlen in Kualitee einige wesentliche Zeitsparmaßnahmen für die Organisation der QS-Arbeit. Es verfügt auch nicht über eine arbeitsbereichsweite Protokollierung. Diese Funktionalität ist für jedes Unternehmen wertvoll, dem Transparenz und Rückverfolgbarkeit wichtig sind, und sie ist wesentlich für Unternehmen in stark regulierten Branchen.

Testfälle, Testszenarien, Massenbearbeitung von Tests, benutzerdefinierte Felder
Ausführungen
Schnelle Navigation, Filter, Ansichten
Geschichte der Objektänderung

Protokollierung

Nicht verfügbar

Stornierung von Objektänderungen

Nicht verfügbar

Arbeitsabläufe

Nicht verfügbar

Gemeinsame Ansichten

Nicht verfügbar

Testfälle, Testszenarien, Massenbearbeitung von Tests, benutzerdefinierte Felder
Ausführungen
Schnelle Navigation, Filter, Ansichten
Geschichte der Objektänderung

Protokollierung

Stornierung von Objektänderungen

Arbeitsabläufe

Gemeinsame Ansichten

Nicht verfügbar

Urteil: aqua gewinnt durch vollständige Protokollierung und Arbeitsabläufe

Integrationen

Die meisten Tools basieren auf der Automatisierung durch gängige Tools von Drittanbietern, die QS-Spezialisten seit über einem Jahrzehnt verwenden. Die Anwendererfahrung ist viel besser, wenn Ihre Testmanagementlösung über native Integrationen für branchenführende Tools verfügt. Die Integration von REST-API ist unerlässlich, um nicht von der Kulanz des Anbieters abhängig zu sein.

Automatisierung des eigenen Frameworks oder Integration von Drittanbietern mit Testautomatisierungs-Tools
Native Integrationen von Drittanbietern: Selenium, Jenkins, JMeter, SoapUI, Ranorex
Jira-Integration und/oder Jira-Plugin
Unterstützung von REST API für die Integration beliebiger Tools

aqua und Kualitee setzen beide auf Lösungen von Drittanbietern zur Automatisierung. Kualitee verfügt über einen eigenen Bereich für Tests, die mit Selenium-Skripten durchgeführt werden. aqua hingegen fungiert als „Knotenpunkt“, über den Sie Tests aus 10 Testautomatisierungs-Tools ausführen und speichern können.

REST-API
Jira Integration

Jira Echtzeit-Projektsynchronisierung

Nicht verfügbar

Selenium, Jenkins, UFT, JMeter, SoapUI, Ranorex, Datenbank MSSQL, Datenbank Oracle für Testautomatisierung

Selenium

Fehlerbericht-Tool Capture

Keine native Integration von Fehlerberichten

Nicht verfügbar

Linear, Teamwork, CircleCI

REST-API
Jira Integration

Jira Echtzeit-Projektsynchronisierung

Selenium, Jenkins, UFT, JMeter, SoapUI, Ranorex, Datenbank MSSQL, Datenbank Oracle für Testautomatisierung

Fehlerbericht-Tool Capture

Nicht verfügbar

Selenium

Keine native Integration von Fehlerberichten

Linear, Teamwork, CircleCI

Urteil: aqua gewinnt durch zusätzliche native QS-Integrationen

Pricing flexibility

Die Tools unterscheiden sich darin, wie viel Geld sie im Voraus verlangen und wie die Skalierung aussieht. Einige Kriterien hierfür sind:

Monatliche oder jährliche Abrechnung
Kostenlose Lizenzen zum Durchsuchen oder sogar zur Durchführung von Tests
Hohe Einrichtungskosten
Abhängigkeit von Zahlungen für andere Tools

Kualitee und aqua liegen hier dicht beieinander. Der größte Unterschied besteht in den subventionierten Lizenzen. aqua bietet kostenlose Lizenzen für manuelle QS an, während Kualitee lediglich eine reduzierte Gebühr für Viewer-Lizenzen verlangt.

Funktionswünsche

Kostenlose Lizenzen für manuelle Tester

Viewer-Lizenzen

Individuelle Preisgestaltung für Unternehmen

Nicht verfügbar

Funktionswünsche

Kostenlose Lizenzen für manuelle Tester

Individuelle Preisgestaltung für Unternehmen

Viewer-Lizenzen

Nicht verfügbar

Modelle für die Bereitstellung

Die On-Premise-Bereitstellung ist in vielen Branchen ein Muss, doch Anbieter sagen oft nicht ausdrücklich, ob sie es anbieten oder nicht. Je nach Ihren Sicherheitsrichtlinien und Ihrem Umfang ist auch die Bereitstellung in einer herstellerunabhängigen Cloud eine vorteilhafte Option.

Anbieter Cloud
Externe Cloud: AWS, Azure, etc.
On-Premise

aqua und Kualitee unterstützen den Einsatz von On-Premise und in der Cloud, ganz nach den Bedürfnissen Ihres Unternehmens. Beide Unternehmen verkaufen On-Premise-Versionen als Service, anstatt unbefristete Lizenzen anzubieten. Der Vorteil ist, dass On-Premise keine hohen fünfstelligen Kosten für die Einrichtung oder absurde Wartungsgebühren wie bei alten Lösungen mit sich bringt.

Kualitee ermöglicht jedoch nicht, einen Cloud-Arbeitsbereich auf einem anderen Server einzurichten. Diese (von aqua unterstützte) Option bietet ein ausgewogenes Verhältnis zwischen Sicherheit und Komfort, und die meisten europäischen Unternehmen können ihre Daten nicht einfach in den USA hosten. Dies ist ein wichtiger Aspekt bei einem Vergleich der Testtools von aqua und Kualitee für den Cloud-Einsatz.

On-Premise

GDPR-konforme aqua-gehostete deutsche Cloud

Kualitee-gehostete US-Cloud

Isolierte unternehmenseigene Cloud-Lösung (beliebiges Azure Rechenzentrum)

Nicht verfügbar

On-Premise

GDPR-konforme aqua-gehostete deutsche Cloud

Isolierte unternehmenseigene Cloud-Lösung (beliebiges Azure Rechenzentrum)

Kualitee-gehostete US-Cloud

Nicht verfügbar

Urteil: aqua gewinnt durch das Angebot der benutzerdefinierten Cloud

Dashboards

QS-Dashboards dienen zwei wichtigen Zwecken. Sie helfen dem QS-Team, ihren Fortschritt zu verfolgen, aber sie machen auch andere Teams auf mögliche Engpässe aufmerksam. Zumindest sollten Sie in der Lage sein, alle Daten einzubeziehen und Dashboards mit dem Team zu teilen.

Verwendung aller Daten des Arbeitsbereichs
Erstellung privater und gemeinsamer Dashboards
Auswahl zwischen verschiedenen Arten von Diagrammen
Einrichten von KPI-/Wert-Benachrichtigungen, die als E-Mail-/App-Benachrichtigungen eingehen

Dashboards waren lange Zeit ein Schwachpunkt von Kualitee. Anfang 2023 verbesserten sie dies, indem sie neue Diagrammtypen hinzufügten und Filter anboten, um Daten schnell zu durchsuchen. aqua hat jedoch immer noch einen Vorteil mit besserer Anpassung und KPI-Benachrichtigungen, die automatisch nach Anomalien suchen und wichtige QS-Stakeholder alarmieren.

Alle Daten

15 wichtige Bereiche

Kreis-, Balken-, gestapelte Balkendiagramme, Tabellendiagramme

Kreis-, Liniendiagramm

KPI-Benachrichtigungen

Keine KPI-Benachrichtigungen

Alle Daten

Kreis-, Balken-, gestapelte Balkendiagramme, Tabellendiagramme

KPI-Benachrichtigungen

15 wichtige Bereiche

Kreis-, Liniendiagramm

Keine KPI-Benachrichtigungen

Urteil: aqua gewinnt durch individuelle Anpassung und KPI-Benachrichtigungen

Berichterstattung

Die Berichterstattung ist sowohl für interne als auch für externe Interessengruppen wichtig. Das Ziel ist es, mit so wenig oder so viel Aufwand wie möglich zu bekommen, was man braucht. Wenn ein Tool sowohl eine Vorlagenbibliothek als auch umfangreiche Anpassungsmöglichkeiten bietet, ist das ein guter Anfang.

Zugriff auf die vom Anbieter zur Verfügung gestellte Vorlagenbibliothek
Benutzerdefinierte Vorlagen erstellen und speichern
Verwendung und Umwandlung beliebiger Daten
Text- und Bildformatierung anwenden
Hinzufügen von externen Daten und Bildmaterial
Verwendung von Skripten und Parametrisierung zur automatischen Aktualisierung von Berichten

Im Gegensatz zu den Dashboards haben die Berichte in Kualitee kaum Fortschritte gemacht. Sie sind nach wie vor auf einige Berichtstypen beschränkt, mit denen Sie keinerlei Anpassungen vornehmen können. Die Basisberichte nutzen nicht einmal alle in Kualitee verfügbaren Daten vollständig aus. aqua verfügt über eine ähnliche Vorlagenbibliothek, bietet aber eine vollständige Anpassung, einschließlich des Hinzufügens und der Bearbeitung von externen Daten.

Vorlagenbibliothek
Diagramme

Benutzerdefinierte Berichte

Nicht verfügbar

Verwendung beliebiger Daten

Nicht verfügbar

Text- und Bildformatierung

Nicht verfügbar

Drag-and-drop

Nicht verfügbar

Externer Text und Bildmaterial

Nicht verfügbar

Diagramme

Nicht verfügbar

Pivot-Tabellen

Nicht verfügbar

Skripte

Nicht verfügbar

Parametrisierung

Nicht verfügbar

Vorlagenbibliothek
Diagramme

Benutzerdefinierte Berichte

Verwendung beliebiger Daten

Text- und Bildformatierung

Drag-and-drop

Externer Text und Bildmaterial

Diagramme

Pivot-Tabellen

Skripte

Parametrisierung

Nicht verfügbar

Urteil: aqua gewinnt durch das Angebot von tatsächlichen benutzerdefinierten Berichten

Nutzerverwaltung

Eine präzise Benutzerverwaltung ist wesentlich, wenn Sie an mehreren Projekten arbeiten und/oder mit externen Spezialisten zusammenarbeiten. Es erspart auch eine Menge Aufwand, Crowd-Tests in derselben Testmanagementlösung durchzuführen.

Standardrollen festlegen
Benutzerdefinierte Rollen erstellen
Berechtigungen pro Nutzer anwenden
Authentifizierung von Nutzern über SSO

Granular user management is useful even if security is not the biggest concern for your project. Both tools are solid here, but aqua offers per-user permission that Kualitee does not.

SSO
Standardnutzerrollen
Benutzerdefinierte Rollen

Individuelle Berechtigungen

Nur Rollenberechtigungen

SSO
Standardnutzerrollen
Benutzerdefinierte Rollen

Individuelle Berechtigungen

Nur Rollenberechtigungen

Urteil: aqua gewinnt durch individuelle Berechtigungen für Rollen

ALM

Dies ist keine zwingende Voraussetzung, aber Sie sind vielleicht an einer Testmanagementlösung interessiert, die auch den gesamten Produktlebenszyklus abdeckt. Das spart viel Geld, da Sie weniger Lizenzen von anderen Anbietern benötigen, und die Synergieeffekte dürften Ihnen auch einige Stunden ersparen.

Testfallmanagement
Anforderungsmanagement
Defektmanagement
Projektmanagement

aqua ist in erster Linie eine QS-Lösung, kann aber auch für den gesamten Lebenszyklus Ihres Produkts verwendet werden. Kualitee bietet nur Test- und Fehlermanagement: Sie müssen für etwas anderes beziehen, um Anforderungen und Projektzeitpläne zu verwalten.

Testfallmanagement
Defektmanagement

Anforderungsmanagement

Nicht verfügbar

Projektmanagement

Nicht verfügbar

Testfallmanagement
Defektmanagement

Anforderungsmanagement

Projektmanagement

Nicht verfügbar

Urteil: aqua gewinnt mit 4 Geräten zum Preis von 1

Was Benutzende sagen

Hier sind ein paar Dinge, die Benutzende an beiden Tools mögen und nicht mögen.

„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“

Jörg Großmann

Leiter der Abteilung Entwicklung bei Bank 11

„Die Benutzeroberfläche ist nicht sehr freundlich, aber die Funktionen sind einwandfrei. Manchmal dauert es eine Weile, bis die Seite geladen ist, und die Seite ist nicht responsiv. Es wäre hilfreich, wenn das Hinzufügen von Testfällen zum Testausführungszyklus schneller ginge.“

Marcello M.

Wissenschaftlicher Mitarbeiter in einem kleinen Unternehmen (<50 Mitarbeitende)

„Die Berichtearstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Die Mitarbeiter erkennen nach der Nutzung von aqua sehr schnell den Mehrwert.“

Thomas Haeske

Leiter der Abteilung Organisation/IT der Berlin Hyp

„Nicht anwenderfreundlich, verwirrend und nicht immer hilfreich. Der Prüfpfad für jeden Fehler zeichnet die Geschichte nicht gut auf, sodass die Daten schwer zu analysieren sind.“

Mirza Usama B.

Angestellter Software-Ingenieur (50–1000 Mitarbeitende)

„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“

Jörn-Hendrick Sörensen

Test Manager bei KBA

„Ich mag das Defektmanagement, die Benutzerverwaltung und die globalen Dashboards. Mir gefällt die Geschwindigkeit der Anwendung nicht. Manchmal wird es langsamer als das erwartete Verhalten für Anwendungen dieser Art.“

Kashif S.

Softwareentwickler in einem kleinen Unternehmen (<50 Mitarbeitende)

„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“

Jörg Großmann

Leiter der Abteilung Entwicklung bei Bank 11

„Die Berichtearstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Die Mitarbeiter erkennen nach der Nutzung von aqua sehr schnell den Mehrwert.“

Thomas Haeske

Leiter der Abteilung Organisation/IT der Berlin Hyp

„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“

Jörn-Hendrick Sörensen

Test Manager bei KBA

Marcello M.

Wissenschaftlicher Mitarbeiter in einem kleinen Unternehmen (<50 Mitarbeitende)

„Nicht anwenderfreundlich, verwirrend und nicht immer hilfreich. Der Prüfpfad für jeden Fehler zeichnet die Geschichte nicht gut auf, sodass die Daten schwer zu analysieren sind.“

Mirza Usama B.

Angestellter Software-Ingenieur (50–1000 Mitarbeitende)

Kashif S.

Softwareentwickler in einem kleinen Unternehmen (<50 Mitarbeitende)

Endgültiges Urteil

aqua ist eine Enterprise-Lösung, die sich durch traditionelle Tests auszeichnet, aber noch viel mehr bietet. Es verfügt über KI-Testfunktionen, verwaltet den gesamten Produktlebenszyklus und bietet erweiterte Berichte. Kualitee hält sich beim Testen wacker und wirbt mit einem attraktiven Preis, aber ein QS-Team würde für einen viel größeren Funktionsumfang dasselbe für aqua bezahlen.

Modernste KI-Testfunktionalitäten

Nur traditionelle QS

10+ Testintegrationen und REST API

1 native Testintegration + REST API

Individuelle Berechtigungen

Nur Rollenberechtigungen

Vollständige Protokollierung

Nicht verfügbar

Benutzerdefinierte Cloud

Nicht verfügbar

4 Werkzeuge zum Preis von 1

2 Werkzeuge zum Preis von 1

Modernste KI-Testfunktionalitäten

10+ Testintegrationen und REST API

Individuelle Berechtigungen

Vollständige Protokollierung

Benutzerdefinierte Cloud

4 Werkzeuge zum Preis von 1

Nur traditionelle QS

1 native Testintegration + REST API

Nur Rollenberechtigungen

Nicht verfügbar

2 Werkzeuge zum Preis von 1

Welche moderne Testmanagement-Lösung ist besser?

Die wichtigsten Unterschiede zwischen aqua und Kualitee

Wie wir vergleichen

KI

Urteil: aqua gewinnt (Kualitee hat keine KI-Tests)

Testmanagement

Integrationen

Pricing flexibility

Urteil: aqua gewinnt durch das Angebot kostenloser manueller QS-Lizenzen

Modelle für die Bereitstellung

Dashboards

Berichterstattung

Nutzerverwaltung

ALM

Was Benutzende sagen

Endgültiges Urteil

Gewinner