Durch die Kombination der Sprachfähigkeiten der KI-Technologie von ChatCPT mit der Präzision und Effizienz automatisierter Tests können Unternehmen ihren Testprozess rationalisieren und so eine umso höhere Softwarequalität erzielen. Könnte dies nun aber eine Bedrohung für eine echte Qualitätssicherung sein? Sehen wir uns diesen Artikel an.
Trotz der pessimistischen Schlagzeilen wird ChatGPT Ihnen nicht den Testing-Job wegnehmen. Es wird Sie sogar besser darin machen. Stellen Sie es sich als Ihren Coding-Freund vor, der in Sekundenschnelle Testfälle erstellen oder Edge Cases aufspüren kann, die Sie möglicherweise übersehen würden.
Hier ist Ihr Einstieg: Geben Sie ChatGPT eine User Story und bitten Sie es, negative Testszenarien zu generieren. Sie werden überrascht sein, wie es merkwürdige Edge Cases aufdeckt, die bei manuellen Reviews durchrutschen.
Denken Sie daran: Überprüfen Sie die Vorschläge immer doppelt, da die KI ungültige Testbedingungen halluzinieren kann. Teams, die KI-unterstütztes Testen verwenden, berichten von einer nahezu verdoppelten Produktivität, aber die Magie entsteht, wenn Sie KI-Geschwindigkeit mit menschlichem Urteilsvermögen kombinieren.
Ich denke, es ist ziemlich offensichtlich, dass ChatGPT eine künstliche Intelligenz ist. Aber was ist das eigentlich? Hier ist die Definition von ChatGPT an sich:
„ChatGPT ist ein Sprachmodell, das von OpenAI, einem Forschungslabor für künstliche Intelligenz, entwickelt wurde. Es basiert auf der Transformer-Architektur und wurde auf einer großen Menge von Textdaten von dem Internet trainiert.
ChatGPT kann auf der Grundlage von Eingaben menschenähnlichen Text generieren und ist damit in der Lage, eine Vielzahl sprachbezogener Aufgaben wie Textvervollständigung, Beantwortung von Fragen und Textgenerierung durchzuführen.
Es wurde auf spezifische Aufgaben abgestimmt, wie beispielsweise die Beantwortung von Kundendienstanfragen und die Beantwortung von Nutzeranfragen in einem konversationellen Kontext, was es zu einem beliebten Werkzeug für die Entwicklung von Chatbots und anderen konversationellen KI-Anwendungen macht.“
ChatGPT wurde im November 2022 für den Massengebrauch verfügbar. Dieser Chatbot wurde von OpenAI entwickelt und hat in der IT-Welt für viel Aufsehen gesorgt. Viele Spezialisten haben dieses Tool als einen guten „Komplizen“ entdeckt. Es hilft, bestimmte Aufgaben schneller zu erledigen, beispielsweise das Schreiben einfacher Codezeilen für Entwickler, das Überprüfen von Informationen und Fakten für Journalisten und das Schreiben von Originaltexten für Marketingfachleute. Einige Techniker waren aus demselben Grund ziemlich verzweifelt: Könnte ChatGPT nicht auch ihre Arbeitsplätze gefährden?
Unabhängig von der Einstellung sollten Mitarbeiter bei der Nutzung von KI-Tools vorsichtig sein, da sie anfällig für die Verbreitung falscher Informationen sein können und Aufgaben wie dem Schreiben die persönliche Note nehmen. Trotz des zunehmenden Einsatzes von KI müssen viele Unternehmen noch klare Richtlinien für die Nutzung der KI-Technologie durch ihre Mitarbeiter festlegen.
Und dann ist da noch Microsoft. Als größter Partner und Investor von Open AI (der Muttergesellschaft von ChatGPT) hat Microsoft seinen Mitarbeitern kürzlich erlaubt, den Chatbot für berufliche Zwecke zu nutzen, solange keine vertraulichen Informationen weitergegeben werden.
Wir haben auch ein hauseigenes GPT-Tool entwickelt, das wir gerne mit anderen teilen. Der KI-Copilot von aqua erstellt ganze Testfälle von Grund auf neu, vervollständigt Testentwürfe und hilft Ihnen bei der Priorisierung des QA-Aufwands. Im Gegensatz zur Verwendung von ChatGPT für Tests nutzt unsere Lösung den Kontext Ihrer Software und der Testsuite, um hochgradig personalisierte Vorschläge zu machen.
Testen Sie intelligenter, nicht härter: Testen Sie unser KI-gestütztes Test-Tool noch heute
Sie können Ihre Testfall-Erstellungszeit drastisch verkürzen, indem Sie ChatGPT für die Routinearbeit einsetzen. Beginnen Sie mit einem einfachen Prompt wie „generiere Grenzwerttestfälle für ein Login-Formular mit Benutzername 8-30 Zeichen“ – Sie erhalten Edge Cases, die Sie möglicherweise übersehen hätten.
Bitten Sie es, negative Szenarien zu brainstormen, nachdem Sie ihm den Kontext Ihrer App gegeben haben. Teams berichten, dass sich die Testabdeckung nahezu verdoppelt hat, als sie begannen, KI für das „Was könnte schiefgehen“-Denken zu nutzen.
Wählen Sie ein Feature aus, das Sie diese Woche testen, und bitten Sie ChatGPT, Gherkin-Szenarien dafür zu generieren. Sie werden innerhalb weniger Minuten Lücken in Ihrer aktuellen Testsuite entdecken.
Häufiger Fehler, den die meisten wiederholen: einfach kopieren und einfügen, was die KI liefert. Die KI glänzt bei Volumen und Vielfalt, aber Sie müssen trotzdem validieren, dass jeder Fall geschäftlich sinnvoll für Ihre spezifische Anwendung ist.


Die besten Resultate mit ChatGPT und anderen AI-Tools erzielen Sie, wenn Sie sie als smarte Assistenten behandeln und nicht als magische Problemlöser. Der Schlüssel liegt darin, dass Sie das Steuer in der Hand behalten und AI zwar Testszenarien generieren oder Skripte entwerfen lassen, aber alles, was dabei rauskommt, müssen Sie trotzdem reviewen.
Was funktioniert: Seien Sie richtig konkret mit Ihren Prompts. Statt zu fragen „schreiben Sie Test Cases für Login“, probieren Sie es mit „erstellen Sie negative Test Cases für ein mobiles Login-Formular mit Email/Passwort-Feldern, mit Fokus auf Validierungsfehlern.“
Wichtig: Die meisten Teams werfen sensible Kundendaten in öffentliche AI-Modelle. Machen Sie das nicht. Nutzen Sie anonymisierte Testdaten oder erstellen Sie Mock-Datasets.
Fangen Sie damit an, sich eine repetitive Aufgabe rauszupicken. Vielleicht die Generierung von Edge Case Szenarien für User Input Validation. Tracken Sie, wie viel Zeit Sie im Vergleich zur manuellen Erstellung sparen. Teams, die aqua cloud verwenden, stellen fest, dass AI ihre initiale Test Design Zeit um etwa 42 % reduziert, wobei Sie ungefähr 15 % dieser Zeit für Review und Verfeinerung einplanen müssen. Der Sweet Spot liegt nicht darin, menschliches Urteilsvermögen zu ersetzen, sondern es zu verstärken.
Schreiben Sie einen Testfall zum Erstellen und Bearbeiten einer neuen Anforderung
Testfall für das Erstellen und Bearbeiten einer neuen Anforderung
Ziel des Tests: Es soll überprüft werden, ob ein Benutzer erfolgreich eine neue Anforderung im Anforderungsmanagementsystem erstellen und bearbeiten kann.
Testumgebung: Anforderungsmanagementsystem, Internetbrowser
Testschritte:
Erwartete Ergebnisse:
Test Schlussfolgerung:
Wenn die Ergebnisse des Tests mit den erwarteten Ergebnissen übereinstimmen, wurde die Fähigkeit des Systems, eine neue Anforderung zu erstellen und zu bearbeiten, überprüft.
Hier ist der gleiche Testfall, den unser Tester manuell in aqua erstellt hat:


Öffnen von aquaWeb
Anforderung erstellen
Name
Speichern und schließen
Überprüfen
Anforderung öffnen
Anforderung bearbeiten
Speichern und schließen
Anforderung erneut öffnen
Beschreibung bearbeiten
Wir haben eine weitere Anfrage gestellt, um zu sehen, wie ChatGPT mit einem komplizierteren Testszenario zurechtkommt:



Testfall für die Erstellung und Bearbeitung eines Testfalls und die Verfolgung des letzten Bearbeiters
Zielsetzung des Tests: Zu überprüfen, ob ein Benutzer einen Testfall erstellen und bearbeiten kann und ob er den letzten Bearbeiter des Testfalls nachvollziehen kann.
Testumgebung: Test Management System, Internetbrowser
Testschritte:
Erwartete Ergebnisse:
Test Schlussfolgerung:
Wenn die Ergebnisse des Tests mit den erwarteten Ergebnissen übereinstimmen, wurde die Fähigkeit des Systems, einen Testfall zu erstellen und zu bearbeiten und den letzten Bearbeiter zu verfolgen, überprüft.
And here the same test case executed in aqua:
Anmeldung von U1
Abmelden U1
Anmeldung von U2
Abmelden U2
Anmeldung von UserA
Schritt1 wurde von U1 bearbeitet:

Schritt2 wurde von U2 bearbeitet:

„ChatGPT hat die Aufgabe perfekt ausgeführt, wobei berücksichtigt wurde, dass die Eingabedaten auf eine kurze Anfrage beschränkt waren, die in ein ChatGPT-Fenster gesendet wurde. Aufgrund des fehlenden Kontexts ist dieser Testfall jedoch zu allgemein: Es werden nicht die individuellen Anforderungen eines Unternehmens abgedeckt.“
Mit dem KI-Tool von aqua ist das Testen kein Rätselspiel mehr
ChatGPT kann verwendet werden, um die Genauigkeit und Effektivität von Chatbots zu testen, indem Testeingaben erzeugt und die Ausgaben ausgewertet werden. Dies kann helfen, Probleme mit Chatbots zu erkennen und zu beheben, bevor sie den Endbenutzer erreichen.
Natürliche Sprachverarbeitung (Natural Language Processing, NLP) ist ein Bereich der Informatik, der sich damit befasst, Computerprogramme in die Lage zu versetzen, menschliche Sprache, sowohl geschriebene als auch gesprochene, so zu verstehen und zu interpretieren, dass sie dem menschlichen Verstehen ähneln.
ChatGPT kann verwendet werden, um NLP-Modelle zu evaluieren und zu verbessern, indem Testeingaben erzeugt werden und die Fähigkeit des Modells, natürliche Sprache genau zu verarbeiten und zu verstehen, bewertet wird.
Die Sentiment Analyse, auch bekannt als Opinion Mining, ist ein Zweig der natürlichen Sprachverarbeitung (NLP), der sich auf die Ermittlung der in einem bestimmten Text ausgedrückten Stimmung konzentriert. Es zielt darauf ab, die geäußerte Stimmung als positiv, negativ oder neutral zu kategorisieren. Diese Methode wird von Unternehmen häufig verwendet, um die Stimmung der Kunden gegenüber ihrer Marke und ihren Produkten zu messen, indem sie das Feedback analysieren. So können sie wertvolle Erkenntnisse gewinnen und die Bedürfnisse ihrer Kunden besser verstehen.
ChatGPT kann verwendet werden, um Testeingaben für Sentiment Analyse Modelle zu generieren, die helfen, deren Genauigkeit zu bewerten und Bereiche mit Verbesserungsbedarf zu identifizieren.
Um die Genauigkeit eines Sprachassistenten zu verbessern, müssen Unternehmen eine große Menge an Daten durch die Aufzeichnung von Sprachproben erhalten, um das Spracherkennungssystem zu trainieren, damit es genauer und natürlicher für die Benutzer wird. Daraus ergibt sich ein weiteres Problem — wie soll man es testen, wenn so viele Daten vorhanden sind. Und ChatGPT kann teilweise dabei helfen, indem es Testeingaben für Anwendungen für Sprachassistenten generiert oder deren Fähigkeit bewertet, gesprochene Befehle genau zu erkennen und zu verarbeiten.
Dies sind nur einige Beispiele für Sprachassistenten und IoT-Anwendungen, die alle getestet und mit zusätzlichen Testdaten erweitert werden können:
Diese Technologie entwickelt sich jedoch ständig weiter und wird in neue Geräte und Produkte integriert. Um ihre Modelle zu perfektionieren, lagern Entwickler Aufgaben an eine globale Gemeinschaft von Nutzern aus, die für ihre Arbeit bezahlt werden, um genügend Daten zu sammeln. Doch dieser Ansatz ist ein zeit- und kostenintensiver Prozess, während ChatGPT Beispieldaten schneller und mit weniger Aufwand liefern kann. Dies stärkt auch die (grundsätzlich fehlerhafte) Sicherheit durch Verschleierung und beseitigt ethische Bedenken, die mit der Nutzung von unterbezahlter Arbeit aus Entwicklungsländern zur Schulung von KI-Modellen in Sprachassistenten verbunden sind.
Unser Team hat einen Überblick über KI-Test-Trends erstellt, um die Möglichkeiten, die mit ChatGPT und darüber hinaus bestehen, abzudecken. Das E-Book enthält auch einen Vergleich von Testmanagement-Lösungen mit KI-Funktionalität, um Ihnen zu helfen, diese Erkenntnisse zu nutzen.
Lernen Sie die 5 KI-Test-Trends kennen, um 12,8 Std./Woche pro Spezialist zu sparen
Die Zukunft des Testens mit KI birgt ein großes Potenzial zur Verbesserung der Effizienz und Genauigkeit des Testprozesses. Mit der Fähigkeit der KI, große Datenmengen zu analysieren, sich wiederholende Aufgaben zu automatisieren und Vorhersagen zu treffen, hat sie das Potenzial, die Art und Weise, wie Software getestet wird, zu revolutionieren. Hier sind einige Möglichkeiten, wie KI das Testen in Zukunft beeinflussen wird:
Es wird erwartet, dass der Einsatz von KI beim Testen die Effizienz und Genauigkeit des Testprozesses erheblich verbessert und es den Teams ermöglicht, sich auf komplexere Aufgaben zu konzentrieren und schneller hochwertige Software zu liefern.
AI-Tools wie ChatGPT revolutionieren die Testerstellung, aber sie haben echte blinde Flecken, auf die Sie achten müssen. Vage Anforderungen? Ihre AI spuckt generische Tests aus, die am Ziel vorbeigehen, besonders in spezialisierten Business-Domains.
Self-healing Automation hört sich brillant an, bis ein großes UI-Redesign alles durcheinanderbringt oder dynamische Elemente anfangen herumzuspringen, als würden sie Verstecken spielen.
Ein weiteres unterschätztes Problem: Sentiment Analysis Tools übersehen Sarkasmus komplett (denken Sie an Kundenreviews, die „einfach perfekt“ über ein kaputtes Produkt sagen). AI-generierte Testdaten können auch Biases einbacken, außer Sie fragen spezifisch nach diversen User-Szenarien – was die meisten Leute vergessen zu tun.
Deshalb müssen Sie AI-Output immer mit einem schnellen Sanity Check paaren. Lassen Sie sie Edge Cases abklopfen, klären Sie merkwürdige Business Logic ab und überprüfen Sie doppelt, dass Security-Protokolle intakt bleiben. Ihr AI-Assistent ist mächtig, aber nicht hellseherisch, also behandeln Sie ihn wie einen smarten Junior Developer, der klare Anweisungen braucht.
Rechenschieber wurden schon Jahrhunderte vor der Erfindung des Taschenrechners von Ingenieuren und anderen mathematisch interessierten Berufsgruppen verwendet. Die Einführung von Taschenrechnern hat diese Fachleute jedoch nicht überflüssig gemacht. Stattdessen wurde ihre Arbeit dadurch schneller, genauer und effizienter. In ähnlicher Weise können KI-Tools QS-Ingenieure dabei unterstützen, ihre Aufgaben effektiver und effizienter zu erfüllen, ohne sie notwendigerweise zu ersetzen.
Der Einsatz von KI-Tools bringt die Vorteile automatisierter Tests für sich wiederholende und zeitaufwändige Aufgaben wie Regressionstests. QA-Ingenieure können sich auf die höherwertigen Testaktivitäten konzentrieren, die menschliche Kreativität, Intuition und Problemlösungsfähigkeiten erfordern. Diese Tools können helfen, Muster zu erkennen, Daten zu analysieren und Erkenntnisse zu gewinnen, die manuell nur schwer zu erkennen sind. Sie verringern auch das Risiko menschlichen Versagens, was bei sicherheitskritischen Anwendungen besonders wichtig sein kann.
Zusammenfassend lässt sich sagen, dass Sie nicht hoffen sollten, den Menschen durch KI-Tests zu ersetzen, aber Sie können sie auch nicht ausschließen. QS-Ingenieure müssen bereit sein, diese Tools anzunehmen und ihre Fähigkeiten anzupassen, um von ihnen zu profitieren. Durch den Einsatz von KI-Tools können QS-Ingenieure ihre Arbeit verbessern, mehr Wert für ihr Unternehmen schaffen und letztlich die Qualität der von ihnen gelieferten Software steigern.
Reduzieren Sie Klicks durch Testen mit KI — gewinnen Sie mehr Zeit für Verbesserungen
ChatGPT steht für Chat Generative Pre-trained Transformer. Es ist ein Chatbot, der von OpenAI mit Hilfe von überwachtem Lernen und verstärkendes Lernen (reinforcement learning) entwickelt wurde.
KI kann vorhersagen, wo Fehler auftreten können, manuelle Testaufgaben automatisieren, Anwendungen kontinuierlich in Echtzeit überwachen und die Testabdeckung verbessern. So können sich die Teams auf komplexere Aufgaben konzentrieren und schneller hochwertige Software liefern.
Einer der Hauptvorteile des Einsatzes von KI bei Softwaretests ist die Fähigkeit, Muster zu erkennen und Anomalien zu entdecken, die für menschliche Tester schwer zu erkennen sind. Dies gilt insbesondere bei großen Datensätzen, weil es für menschliche Tester leicht sein kann, kritische Probleme zu übersehen.
Darüber hinaus kann KI bei der Optimierung von Tests helfen, indem sie ermittelt, welche Bereiche der Software am kritischsten zu testen sind und welche Tests wahrscheinlich am effektivsten sind, um Probleme aufzudecken. Dies reduziert den Zeit- und Ressourcenaufwand für das Testen, während gleichzeitig ein hohes Qualitätsniveau beibehalten wird.