aqua und TestRail sind moderne Testmanagementlösungen, die sich an Unternehmen unterschiedlicher Größe richten. Sie haben scheinbar ähnliche Preise, aber bekommen Sie auch den gleichen Wert?
aqua bietet kostenlose KI-gestützte Tests
aqua eignet sich besser für Fehlerberichte
aqua ist besser für stark regulierte Industrien
Künstliche Intelligenz (KI) ist eine sich schnell entwickelnde Technologie, sodass wir uns eher mit der Spitzentechnologie als mit der Basistechnologie beschäftigen werden. Hier erfahren Sie, was Sie von einer KI-gestützten Testmanagementlösung erwarten sollten:
Künstliche Intelligenz in der QS ist in der Regel nicht sehr erfolgreich gewesen. Die einzige Ausnahme wären UI-Testtools, die Pixel vergleichen — aber ist das Ihre Traum-KI?
aqua hat das GPT-Sprachmodell von OpenAI übernommen, bevor es zum Mainstream wurde, um echte KI-Funktionen anzubieten. Sie können Tests einfach anhand einer Textbeschreibung erstellen oder den KI-Copiloten bitten, Entwürfe zu erstellen. Im Gegensatz zu ChatGPT kennt aqua den Kontext Ihrer Software und iteriert Ihre Testsuite.
Das Testmanagement ist der Hauptgrund, warum wir uns mit diesen beiden Tools beschäftigen. Sie sollten verschiedene Aspekte der Handhabung von Testfällen sowie auf Rückverfolgbarkeit ausgerichtete Funktionen berücksichtigen. Dazu gehören:
aqua und TestRail zeichnen sich beide durch ihre primäre Funktionalität aus. Sie können Tests erstellen und ausführen, die Geschichte der Ausführung speichern, schnell durch Ihre Testsuite navigieren und, wenn nötig, Informationen mit Aufsichtsbehörden teilen. Der größte Unterschied liegt in der Preisgestaltung: TestRail bietet Compliance-Funktionen nur in seinem Enterprise-Tarif an, auch wenn ein kleines Unternehmen sie vielleicht ebenfalls benötigt.
Außerdem verfügt TestRail nicht über eine native Fehlerverwaltung. Sie werden Lösungen von Drittanbietern verwenden müssen, die Sie zusätzliche Zeit und möglicherweise auch Geld kosten.
Die meisten Tools basieren auf der Automatisierung durch gängige Tools von Drittanbietern, die QS-Spezialisten seit über einem Jahrzehnt verwenden. Die Anwendererfahrung ist viel besser, wenn Ihre Testmanagementlösung über native Integrationen für branchenführende Tools verfügt. Die Integration von REST-API ist unerlässlich, um nicht von der Kulanz des Anbieters abhängig zu sein.
Beide Tools sind für die Testautomatisierung auf Lösungen von Drittanbietern angewiesen. aqua verfügt jedoch über eine weitaus umfangreichere Liste nativer QS-Integrationen, während Sie bei TestRail die Tools über eine REST API verbinden können. aqua verfügt außerdem über eine sehr leistungsstarke Integration mit Capture, einem Fehlerbericht-Tool, das automatisch die Ausführung aufzeichnet und Systeminformationen speichert.
Die Tools unterscheiden sich darin, wie viel Geld sie im Voraus verlangen und wie die Skalierung aussieht. Einige Kriterien hierfür sind:
aqua und TestRail verlangen keine zusätzlichen Kosten für die Einrichtung, aber da enden die Gemeinsamkeiten auch schon. TestRail bietet nur eine monatliche Abrechnung in seinem regulären Plan an, der jedoch einige eklatante Mängel aufweist, darunter die Rückverfolgbarkeit. Der Enterprise-Plan von TestRail wird jährlich abgerechnet, und es gibt keine kostenlosen Lizenzen für einige Ihrer Mitarbeiter.
Die On-Premise-Bereitstellung ist in vielen Branchen ein Muss, doch Anbieter sagen oft nicht ausdrücklich, ob sie es anbieten oder nicht. Je nach Ihren Sicherheitsrichtlinien und Ihrem Umfang ist auch die Bereitstellung in einer herstellerunabhängigen Cloud eine vorteilhafte Option.
aqua und TestRail verfügen beide über Cloud- und On-Premise-Angebote. Sie können in der Cloud des Anbieters bleiben, ein Cloud-Rechenzentrum eines Drittanbieters wählen oder die Testmanagementlösung auf Ihrem Server installieren.
QS-Dashboards dienen zwei wichtigen Zwecken. Sie helfen dem QS-Team, ihren Fortschritt zu verfolgen, aber sie machen auch andere Teams auf mögliche Engpässe aufmerksam. Zumindest sollten Sie in der Lage sein, alle Daten einzubeziehen und Dashboards mit dem Team zu teilen.
Beide Lösungen bieten visuelle Dashboards zur Anzeige und Aufteilung beliebiger benutzerdefinierter Daten. Es gibt genügend Funktionen, um Dashboards für jedes Teammitglied aufschlussreich zu machen. Sie können auch KPI-Warnungen einrichten, um benachrichtigt zu werden, wenn eine wichtige Kennzahl aus dem Rahmen fällt. TestRail bietet keine KPI-Warnungen, und auch die externe Freigabe von Dashboards ist nicht möglich.
Die Berichterstattung ist sowohl für interne als auch für externe Interessengruppen wichtig. Das Ziel ist es, mit so wenig oder so viel Aufwand wie möglich zu bekommen, was man braucht. Wenn ein Tool sowohl eine Vorlagenbibliothek als auch umfangreiche Anpassungsmöglichkeiten bietet, ist das ein guter Anfang.
aqua und TestRail verfügen über äußerst leistungsfähige Berichterstattung Suiten. Sie können beliebige Daten auf Dutzende Arten visualisieren. Beide Tools sind mit einer soliden Vorlagenbibliothek ausgestattet und lassen sich zudem hervorragend anpassen. Der Hauptunterschied: Bei TestRail müssen Sie mit Plugins arbeiten, um einen wirklich benutzerdefinierten Bericht zu erstellen. aqua hingegen bietet sowohl solide Vorlagen als auch umfangreiche Anpassungsmöglichkeiten standardmäßig.
Eine präzise Benutzerverwaltung ist wesentlich, wenn Sie an mehreren Projekten arbeiten und/oder mit externen Spezialisten zusammenarbeiten. Es erspart auch eine Menge Aufwand, Crowd-Tests in derselben Testmanagementlösung durchzuführen.
Granulare Berechtigungen sind für die Arbeit an mehreren Projekten, die Durchführung von Benutzerakzeptanztests und die Arbeit mit Freiberuflern nützlich. Grundlegende Rollenfunktionen sind in der Regel in Ordnung, aber Sie würden es nicht mögen, wenn Sie individuelle Berechtigungen benötigen, diese aber nicht festlegen können. aqua und TestRail bieten beide individuelle Berechtigungen, aber TestRail sperrt sie hinter dem Enterprise-Plan.
Dies ist keine zwingende Voraussetzung, aber Sie sind vielleicht an einer Testmanagementlösung interessiert, die auch den gesamten Produktlebenszyklus abdeckt. Das spart viel Geld, da Sie weniger Lizenzen von anderen Anbietern benötigen, und die Synergieeffekte dürften Ihnen auch einige Stunden ersparen.
Beide Lösungen sind auf die Qualitätssicherung spezialisiert, aber aqua beschränkt sich nicht nur auf das Testen. Sie können es für den gesamten Lebenszyklus des Produkts verwenden, während TestRail nur die QS abdeckt. Das ist eine erhebliche Kostenersparnis, denn mit aqua erhalten Sie 4 Tools zu dem Preis, den Sie für TestRail allein zahlen würden.
Hier sind ein paar Dinge, die Benutzende an beiden Tools mögen und nicht mögen.
„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“
Jörg Großmann
Leiter der Abteilung Entwicklung bei Bank 11
„Für das tägliche Testmanagement meines Projekts — ich kann eine Menge Dinge erledigen. Testfälle sind wiederverwendbar und ich kann über einige ihrer Daten berichten. Die Benutzeroberfläche ist ein wenig klobig, die Dokumentation ist nicht besonders hilfreich und die Berichte sind nicht so anpassbar, wie ich es mir gewünscht hätte. Ich würde auch gerne ein Tracking-Dashboard für ein oder mehrere Projekte einrichten.“
A G2-Rezensent
Rundfunkmedien (51–1000 Mitarbeitende)
„Die Berichtearstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Die Mitarbeiter erkennen nach der Nutzung von aqua sehr schnell den Mehrwert.“
Thomas Haeske
Leiter der Abteilung Organisation/IT der Berlin Hyp
„Nicht anwenderfreundlich, verwirrend und nicht immer hilfreich. Der Prüfpfad für jeden Fehler zeichnet die Geschichte nicht gut auf, sodass die Daten schwer zu analysieren sind.“
Suchismita Majhi
IT-Beraterin (ein > 1000 Mitarbeitende Unternehmen)
„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“
Jörn-Hendrick Sörensen
Test Manager bei KBA
„Manchmal werden Fehler über einen langen Zeitraum nicht behoben. Es gab ein Problem mit dem Hochladen von Bildern, das uns zeitweise behindert hat, und jetzt eines mit der Filterung. Auch bei der Berichterstattung mangelt es ein wenig. Ich würde mir wünschen, dass ich meine eigenen Berichte erstellen kann. Es gibt auch keine einfache Möglichkeit, Testberichte mit dem Browser-Stack zu verbinden, den wir für unsere automatisierten Tests verwenden.“
Jessica W.
Computer-Analystin (51–1000 Mitarbeitende)
„Ich war überrascht, ein so umfassendes und ausgereiftes Tool für das Testmanagement auf dem deutschen Markt zu finden, ohne dass ich mich vorher ernsthaft damit beschäftigt hatte.“
Jörg Großmann
Leiter der Abteilung Entwicklung bei Bank 11
„Die Berichtearstattung ist aussagekräftig und bietet eine gute Grundlage für Entscheidungen. Die Mitarbeiter erkennen nach der Nutzung von aqua sehr schnell den Mehrwert.“
Thomas Haeske
Leiter der Abteilung Organisation/IT der Berlin Hyp
„Manuelle Testfälle lassen sich mit aqua leicht automatisieren. Die nahtlose Integration mit Testautomatisierungstools hilft dabei.“
Jörn-Hendrick Sörensen
Test Manager bei KBA
„Für das tägliche Testmanagement meines Projekts — ich kann eine Menge Dinge erledigen. Testfälle sind wiederverwendbar und ich kann über einige ihrer Daten berichten. Die Benutzeroberfläche ist ein wenig klobig, die Dokumentation ist nicht besonders hilfreich und die Berichte sind nicht so anpassbar, wie ich es mir gewünscht hätte. Ich würde auch gerne ein Tracking-Dashboard für ein oder mehrere Projekte einrichten.“
A G2-Rezensent
Rundfunkmedien (51–1000 Mitarbeitende)
„Nicht anwenderfreundlich, verwirrend und nicht immer hilfreich. Der Prüfpfad für jeden Fehler zeichnet die Geschichte nicht gut auf, sodass die Daten schwer zu analysieren sind.“
Suchismita Majhi
IT-Beraterin (ein > 1000 Mitarbeitende Unternehmen)
„Manchmal werden Fehler über einen langen Zeitraum nicht behoben. Es gab ein Problem mit dem Hochladen von Bildern, das uns zeitweise behindert hat, und jetzt eines mit der Filterung. Auch bei der Berichterstattung mangelt es ein wenig. Ich würde mir wünschen, dass ich meine eigenen Berichte erstellen kann. Es gibt auch keine einfache Möglichkeit, Testberichte mit dem Browser-Stack zu verbinden, den wir für unsere automatisierten Tests verwenden.“
Jessica W.
Computer-Analystin (51–1000 Mitarbeitende)
aqua ist eine bewährte und ständig weiterentwickelte Lösung. Es bringt KI-Innovationen mit sich, versteckt wesentliche Funktionen nicht hinter einem Enterprise-Plan und bietet eine native Fehlerverfolgung. TestRail dient ausschließlich dem Testmanagement und weist noch in mehreren Bereichen Mängel auf, einschließlich der Integrationen für Testautomatisierung. Die zusätzlichen Kosten für die Rückverfolgbarkeit sind möglicherweise der größte Faktor im Vergleich der Testwerkzeuge aqua und TestRail für stark regulierte Branchen.