ChatGPT im Software-Test: Alles, was Sie wissen müssen

Kürzlich hat Google wegen der latenten Bedrohung durch ChatGPT für sein Suchgeschäft und der Möglichkeit einer völligen Umwälzung den „Code Red“ ausgerufen. Auch Testunternehmen schlugen Alarm – Qualitätssicherung sei nicht mehr nötig. Aber lassen wir uns realistisch sein; das ist für QA-Ingenieure irrelevant. Erstens ist ChatGPT im Software-Test ein weiteres großartiges Tool für eine bessere und schnellere QA, aber kein vollständiger Ersatz. Zweitens ist es nicht immer verfügbar (im Gegensatz zu Ihrem QA-Ingenieur, der täglich erscheint und Dinge in einem Fehlerberichterstattungstool erledigt), und die Preisgestaltung ist noch unklar.

Ich denke, es ist ziemlich offensichtlich, dass ChatGPT eine künstliche Intelligenz ist. Aber was ist das eigentlich? Hier ist die Definition von ChatGPT an sich:

„ChatGPT ist ein Sprachmodell, das von OpenAI, einem Forschungslabor für künstliche Intelligenz, entwickelt wurde. Es basiert auf der Transformer-Architektur und wurde auf einer großen Menge von Textdaten von dem Internet trainiert.

ChatGPT kann auf der Grundlage von Eingaben menschenähnlichen Text generieren und ist damit in der Lage, eine Vielzahl sprachbezogener Aufgaben wie Textvervollständigung, Beantwortung von Fragen und Textgenerierung durchzuführen.

Es wurde auf spezifische Aufgaben abgestimmt, wie beispielsweise die Beantwortung von Kundendienstanfragen und die Beantwortung von Nutzeranfragen in einem konversationellen Kontext, was es zu einem beliebten Werkzeug für die Entwicklung von Chatbots und anderen konversationellen KI-Anwendungen macht.“

ChatGPT wurde im November 2022 für den Massengebrauch verfügbar. Dieser Chatbot wurde von OpenAI entwickelt und hat in der IT-Welt für viel Aufsehen gesorgt. Viele Spezialisten haben dieses Tool als einen guten „Komplizen“ entdeckt. Es hilft, bestimmte Aufgaben schneller zu erledigen, beispielsweise das Schreiben einfacher Codezeilen für Entwickler, das Überprüfen von Informationen und Fakten für Journalisten und das Schreiben von Originaltexten für Marketingfachleute. Einige Techniker waren aus demselben Grund ziemlich verzweifelt: Könnte ChatGPT nicht auch ihre Arbeitsplätze gefährden?

Unabhängig von der Einstellung sollten Mitarbeiter bei der Nutzung von KI-Tools vorsichtig sein, da sie anfällig für die Verbreitung falscher Informationen sein können und Aufgaben wie dem Schreiben die persönliche Note nehmen. Trotz des zunehmenden Einsatzes von KI müssen viele Unternehmen noch klare Richtlinien für die Nutzung der KI-Technologie durch ihre Mitarbeiter festlegen.

Und dann ist da noch Microsoft. Als größter Partner und Investor von Open AI (der Muttergesellschaft von ChatGPT) hat Microsoft seinen Mitarbeitern kürzlich erlaubt, den Chatbot für berufliche Zwecke zu nutzen, solange keine vertraulichen Informationen weitergegeben werden.

Wir haben auch ein hauseigenes GPT-Tool entwickelt, das wir gerne mit anderen teilen. Der KI-Copilot von aqua erstellt ganze Testfälle von Grund auf neu, vervollständigt Testentwürfe und hilft Ihnen bei der Priorisierung des QA-Aufwands. Im Gegensatz zur Verwendung von ChatGPT für Tests nutzt unsere Lösung den Kontext Ihrer Software und der Testsuite, um hochgradig personalisierte Vorschläge zu machen.

ChatGPT kann verwendet werden, um Testfälle für verschiedene Anwendungen zu generieren, wodurch der Zeit- und Arbeitsaufwand für die manuelle Erstellung von Testfällen reduziert wird. ChatGPT wird für QS-Zwecke vor allem wegen der Geschwindigkeit gelobt. Die Anforderung, einen einfachen Testfall zu schreiben, dauert in der Regel weniger als eine Minute. Aber gibt es noch andere Fälle, in denen ChatGPT für Tester eine sinnvolle Wahl ist?

Schreiben Sie einen Testfall zum Erstellen und Bearbeiten einer neuen Anforderung

Testfall für das Erstellen und Bearbeiten einer neuen Anforderung

Ziel des Tests: Es soll überprüft werden, ob ein Benutzer erfolgreich eine neue Anforderung im Anforderungsmanagementsystem erstellen und bearbeiten kann.

Testumgebung: Anforderungsmanagementsystem, Internetbrowser

Testschritte:

1. Starten Sie den Internetbrowser und melden Sie sich beim Anforderungsmanagementsystem an.
2. Klicken Sie auf dem Hauptbildschirm auf die Schaltfläche Neue Anforderung.
3. Geben Sie die erforderlichen Informationen für die neue Anforderung ein, beispielsweise den Titel der Anforderung, die Beschreibung, die Priorität und den Status.
4. Klicken Sie auf die Schaltfläche Speichern, um die neue Anforderung zu erstellen.
5. Überprüfen Sie, ob die neue Anforderung erfolgreich erstellt wurde, indem Sie die Liste der Anforderungen überprüfen.
6. Wählen Sie die neu erstellte Anforderung aus der Liste aus und klicken Sie auf die Schaltfläche Bearbeiten.
7. Aktualisieren Sie alle Informationen zu der Anforderung, wie beispielsweise die Beschreibung oder die Priorität.
8. Klicken Sie auf die Schaltfläche Speichern, um die Änderungen zu speichern.
9. Überprüfen Sie, ob die Änderungen gespeichert wurden, indem Sie die aktualisierten Informationen für die Anforderung in der Liste überprüfen.

Erwartete Ergebnisse:

• Das Anforderungsmanagementsystem sollte zugänglich sein und der Benutzer sollte sich erfolgreich anmelden können.
• Die Schaltfläche Neue Anforderung sollte zugänglich sein und der Benutzer sollte sie anklicken können.
• Der Benutzer sollte in der Lage sein, die erforderlichen Informationen für die neue Anforderung einzugeben und sie erfolgreich zu erstellen.
• Die neue Anforderung sollte in der Anforderungsliste angezeigt werden.
• Der Benutzer sollte in der Lage sein, die neu erstellte Anforderung auszuwählen und auf die Schaltfläche Bearbeiten zu klicken.
• Der Benutzer sollte die Möglichkeit haben, die Informationen für die Anforderung zu aktualisieren und die Änderungen zu speichern.

Test Schlussfolgerung:

Wenn die Ergebnisse des Tests mit den erwarteten Ergebnissen übereinstimmen, wurde die Fähigkeit des Systems, eine neue Anforderung zu erstellen und zu bearbeiten, überprüft.

Hier ist der gleiche Testfall, den unser Tester manuell in aqua erstellt hat:

Öffnen von aquaWeb

• Öffnen Sie aquaWeb im Browser
• aquaWeb öffnet sich im Browser
• PowerShell

Anforderung erstellen

• Bewegen Sie den Mauszeiger über Neu in der Multifunktionsleiste und klicken Sie auf Anforderung
• Es öffnet sich ein neuer Tab

Name

• Geben Sie den Namen der Anforderung ein
• der Name füllt

Speichern und schließen

• Klicken Sie in der Multifunktionsleiste auf Speichern und schließen
• Sie werden zur Ansicht Navigation weitergeleitet

Überprüfen

• Aktualisieren Sie die Ansicht und suchen Sie die Anforderung in der Liste
• Das Objekt erscheint in der Liste

Anforderung öffnen

• Öffnen Sie die Anforderung mit einem Doppelklick
• Die Anforderung wird in einem neuen Tab geöffnet

Anforderung bearbeiten

• Ändern Sie einige Werte in der Ansicht
• Die Werte können ausgewählt und geändert werden

Speichern und schließen

• Klicken Sie in der Multifunktionsleiste auf Speichern und schließen

Anforderung erneut öffnen

• Öffnen Sie die Anforderung erneut und prüfen Sie, ob die geänderten Werte mit den Werten übereinstimmen, die Sie geändert haben

Beschreibung bearbeiten

• Klicken Sie in die Beschreibung und geben Sie einen Text ein
• Der Text wird im Editor angezeigt

Wir haben eine weitere Anfrage gestellt, um zu sehen, wie ChatGPT mit einem komplizierteren Testszenario zurechtkommt:

Testfall für die Erstellung und Bearbeitung eines Testfalls und die Verfolgung des letzten Bearbeiters

Zielsetzung des Tests: Zu überprüfen, ob ein Benutzer einen Testfall erstellen und bearbeiten kann und ob er den letzten Bearbeiter des Testfalls nachvollziehen kann.

Testumgebung: Test Management System, Internetbrowser

Testschritte:

• Starten Sie den Internetbrowser und melden Sie sich beim Test Management System an.
• Klicken Sie im Hauptmenü auf die Schaltfläche „Testfall erstellen“.
• Geben Sie die erforderlichen Informationen für den Testfall ein, beispielsweise den Titel des Testfalls, die Beschreibung und die Schritte.
• Klicken Sie auf die Schaltfläche „Speichern“, um den neuen Testfall zu erstellen.
• Überprüfen Sie, ob der neue Testfall erfolgreich erstellt wurde, indem Sie die Liste der Testfälle überprüfen.
• Wählen Sie den neu erstellten Testfall aus der Liste aus und klicken Sie auf die Schaltfläche „Bearbeiten“.
• Aktualisieren Sie alle Informationen für den Testfall, wie beispielsweise die Testfallschritte.
• Klicken Sie auf die Schaltfläche „Speichern“, um die Änderungen zu speichern.
• Melden Sie sich von dem Test Management System ab.
• Melden Sie sich mit einem anderen Benutzerkonto wieder an.
• Navigieren Sie zur Liste der Testfälle und wählen Sie den zuvor erstellten Testfall aus.
• Klicken Sie auf die Schaltfläche „Bearbeiten“, um den Testfall zu bearbeiten.
• Nehmen Sie einige Änderungen in dem Testfall vor und klicken Sie auf die Schaltfläche „Speichern“, um die Änderungen zu speichern.
• Melden Sie sich von dem Test Management System ab.
• Melden Sie sich wieder mit dem ursprünglichen Benutzerkonto an.
• Navigieren Sie zur Liste der Testfälle und wählen Sie den zuvor erstellten Testfall aus.
• Überprüfen Sie die Protokollierung des Testfalls, um den letzten Bearbeiter des Testfalls zu ermitteln.

Erwartete Ergebnisse:

• Das Test Management System sollte zugänglich sein, und der Benutzer sollte sich erfolgreich anmelden können.
• Die Schaltfläche „Testfall erstellen“ sollte zugänglich sein, und der Benutzer sollte sie anklicken können.
• Der Benutzer sollte in der Lage sein, die erforderlichen Informationen für den Testfall einzugeben und ihn erfolgreich zu erstellen.
• Der neue Testfall sollte in der Liste der Testfälle angezeigt werden.
• Der Benutzer sollte in der Lage sein, den neu erstellten Testfall auszuwählen und auf die Schaltfläche „Bearbeiten“ zu klicken.
• Der Benutzer sollte in der Lage sein, die Informationen für den Testfall zu aktualisieren und die Änderungen erfolgreich zu speichern.
• Der Benutzer sollte in der Lage sein, sich abzumelden und mit einem anderen Benutzerkonto wieder anzumelden.
• Der neue Benutzer sollte in der Lage sein, den Testfall auszuwählen und ihn erfolgreich zu bearbeiten.
• Der Benutzer sollte in der Lage sein, sich abzumelden und mit seinem ursprünglichen Benutzerkonto wieder anzumelden.
• Der ursprüngliche Benutzer sollte in der Lage sein, die Geschichte des Testfalls zu überprüfen und den letzten Bearbeiter des Testfalls zu sehen.

Test Schlussfolgerung:

Wenn die Ergebnisse des Tests mit den erwarteten Ergebnissen übereinstimmen, wurde die Fähigkeit des Systems, einen Testfall zu erstellen und zu bearbeiten und den letzten Bearbeiter zu verfolgen, überprüft.

And here the same test case executed in aqua:

Test Steps

• Voraussetzung 1 – Bestehende Benutzer
• Folgende Benutzer sind vorhanden:

1. UserA
2. U1
3. U2

• Alle Benutzer haben mit der Rolle eines Projektadministrator Zugriff auf ein TestprojektX in aqua
• Voraussetzung 3 – Vorhandene Testausführung
• Es existiert ein Testfall, der von UserA ausgeführt wurde und für jeden Schritt wird ein Text im Feld „Tatsächliches Ergebnis“ angegeben

Anmeldung von U1

• U1 hat den Benutzername und E-Mail angegeben
• Klicken Sie auf Login
• Die Anmeldung von U1 war erfolgreich.
• Edit by U1
• U1: 

1. Klicken Sie auf Navigation und wählen Sie das in der Vorbedingung genannte Projekt aus.
2. Öffnen Sie den TestcaseY, klicken Sie auf „Ausführen“.
3. Wählen Sie die von UserA ausgeführte Ausführung und klicken Sie auf „Weiter“.
4. Bearbeiten Sie das aktuelle Ergebnis von Schritt 1
5. klicken Sie auf Speichern und schließen

• Die Testausführung wurde aktualisiert.
• Die Änderungen wurden gespeichert und geschlossen.

Abmelden U1

• U1 meldet sich von aqua ab
  Die Abmeldung von U1 war erfolgreich.

Anmeldung von U2

• U2 hat den Benutzername und E-Mail angegeben
• Klicken Sie auf Login
• Die Anmeldung von U2 war erfolgreich.
• Bearbeitung durch U2
• U2: 

1. Klicken Sie auf Navigation und wählen Sie das in der Vorbedingung genannte Projekt aus.
2. Öffnen Sie den TestcaseY, klicken Sie auf Ausführungen
3. Wählen Sie die von UserA ausgeführte Ausführung und klicken Sie auf „Weiter“.
4. Bearbeiten Sie das aktuelle Ergebnis von Schritt 2
5. Klicken Sie auf „Speichern und schließen“

• Die Testausführung wurde aktualisiert.
• Die Änderungen wurden gespeichert und geschlossen.

Abmelden U2

• U2 meldet sich von aqua ab
• Die Abmeldung von U2 war erfolgreich.

Anmeldung von UserA

• UserA hat den Benutzername und E-Mail angegeben
• Klicken Sie auf Login
• Die Anmeldung von UserA war erfolgreich.
• UserA: Änderungen prüfen
• UserA:
• Öffnen Sie den in der Vorbedingung erwähnten TestcaseY.
• Klicken Sie auf Ausführungen.
• Öffnen Sie die letzte Ausführung
• Prüfen Sie, ob ein Protokolleintrag nur für die bearbeiteten Schritte angezeigt wird
• Es zeigt den Eintrag nur für den Schritt an, der bearbeitet wurde; andere sind davon nicht betroffen und haben keinen Verlaufseintrag.

Schritt1 wurde von U1 bearbeitet:

Schritt2 wurde von U2 bearbeitet:

ChatGPT kann verwendet werden, um die Genauigkeit und Effektivität von Chatbots zu testen, indem Testeingaben erzeugt und die Ausgaben ausgewertet werden. Dies kann helfen, Probleme mit Chatbots zu erkennen und zu beheben, bevor sie den Endbenutzer erreichen.

Natürliche Sprachverarbeitung (Natural Language Processing, NLP) ist ein Bereich der Informatik, der sich damit befasst, Computerprogramme in die Lage zu versetzen, menschliche Sprache, sowohl geschriebene als auch gesprochene, so zu verstehen und zu interpretieren, dass sie dem menschlichen Verstehen ähneln.

ChatGPT kann verwendet werden, um NLP-Modelle zu evaluieren und zu verbessern, indem Testeingaben erzeugt werden und die Fähigkeit des Modells, natürliche Sprache genau zu verarbeiten und zu verstehen, bewertet wird.

Die Sentiment Analyse, auch bekannt als Opinion Mining, ist ein Zweig der natürlichen Sprachverarbeitung (NLP), der sich auf die Ermittlung der in einem bestimmten Text ausgedrückten Stimmung konzentriert. Es zielt darauf ab, die geäußerte Stimmung als positiv, negativ oder neutral zu kategorisieren. Diese Methode wird von Unternehmen häufig verwendet, um die Stimmung der Kunden gegenüber ihrer Marke und ihren Produkten zu messen, indem sie das Feedback analysieren. So können sie wertvolle Erkenntnisse gewinnen und die Bedürfnisse ihrer Kunden besser verstehen.

ChatGPT kann verwendet werden, um Testeingaben für Sentiment Analyse Modelle zu generieren, die helfen, deren Genauigkeit zu bewerten und Bereiche mit Verbesserungsbedarf zu identifizieren.

Um die Genauigkeit eines Sprachassistenten zu verbessern, müssen Unternehmen eine große Menge an Daten durch die Aufzeichnung von Sprachproben erhalten, um das Spracherkennungssystem zu trainieren, damit es genauer und natürlicher für die Benutzer wird. Daraus ergibt sich ein weiteres Problem — wie soll man es testen, wenn so viele Daten vorhanden sind. Und ChatGPT kann teilweise dabei helfen, indem es Testeingaben für Anwendungen für Sprachassistenten generiert oder deren Fähigkeit bewertet, gesprochene Befehle genau zu erkennen und zu verarbeiten.

Dies sind nur einige Beispiele für Sprachassistenten und IoT-Anwendungen, die alle getestet und mit zusätzlichen Testdaten erweitert werden können:

• Virtuelle persönliche Assistenten (Google, Siri)
• Smart Home Geräte (intelligente Lautsprecher, Lichtsteuerung, Thermostate)
• Automobil-Infotainment-Systeme
• Gesundheitsgeräte (tragbare Fitness-Tracker, intelligente Waagen, Blutzuckermessgeräte, TV- und Mediengeräte)

Diese Technologie entwickelt sich jedoch ständig weiter und wird in neue Geräte und Produkte integriert. Um ihre Modelle zu perfektionieren, lagern Entwickler Aufgaben an eine globale Gemeinschaft von Nutzern aus, die für ihre Arbeit bezahlt werden, um genügend Daten zu sammeln. Doch dieser Ansatz ist ein zeit- und kostenintensiver Prozess, während ChatGPT Beispieldaten schneller und mit weniger Aufwand liefern kann. Dies stärkt auch die (grundsätzlich fehlerhafte) Sicherheit durch Verschleierung und beseitigt ethische Bedenken, die mit der Nutzung von unterbezahlter Arbeit aus Entwicklungsländern zur Schulung von KI-Modellen in Sprachassistenten verbunden sind.

Die Zukunft des Testens mit KI birgt ein großes Potenzial zur Verbesserung der Effizienz und Genauigkeit des Testprozesses. Mit der Fähigkeit der KI, große Datenmengen zu analysieren, sich wiederholende Aufgaben zu automatisieren und Vorhersagen zu treffen, hat sie das Potenzial, die Art und Weise, wie Software getestet wird, zu revolutionieren. Hier sind einige Möglichkeiten, wie KI das Testen in Zukunft beeinflussen wird:

• Prädiktives Testen: KI-Algorithmen werden in der Lage sein, Softwarecode zu analysieren und vorherzusagen, wo Fehler wahrscheinlich auftreten werden, so dass Tester ihre Bemühungen effektiver konzentrieren können.
• Automatisiertes Testen: KI kann viele der manuellen Aufgaben automatisieren, die mit dem Testen verbunden sind, beispielsweise die Ausführung von Testfällen, Regressionstests und die Fehlersuche. Auf diese Weise können sich die Tester auf komplexere und kreativere Aufgaben konzentrieren. Die Verwendung von ChatGPT für die Testautomatisierung spiegelt das Potenzial nicht wider: QA-orientierte GPT-Lösungen werden viel besser sein.
• Kontinuierliche Tests: KI kann Softwareanwendungen in Echtzeit überwachen und automatisch Tests durchführen. So können Teams Bugs und Probleme frühzeitiger erkennen und die Zeit für das Testen von Änderungen reduzieren.
• Verbesserte Testabdeckung: KI kann Software analysieren, um unzureichend getestete Bereiche zu identifizieren und Tests zu empfehlen, die zur Verbesserung der Abdeckung hinzugefügt werden sollten.

Es wird erwartet, dass der Einsatz von KI beim Testen die Effizienz und Genauigkeit des Testprozesses erheblich verbessert und es den Teams ermöglicht, sich auf komplexere Aufgaben zu konzentrieren und schneller hochwertige Software zu liefern.

Rechenschieber wurden schon Jahrhunderte vor der Erfindung des Taschenrechners von Ingenieuren und anderen mathematisch interessierten Berufsgruppen verwendet. Die Einführung von Taschenrechnern hat diese Fachleute jedoch nicht überflüssig gemacht. Stattdessen wurde ihre Arbeit dadurch schneller, genauer und effizienter. In ähnlicher Weise können KI-Tools QS-Ingenieure dabei unterstützen, ihre Aufgaben effektiver und effizienter zu erfüllen, ohne sie notwendigerweise zu ersetzen.

Der Einsatz von KI-Tools bringt die Vorteile automatisierter Tests für sich wiederholende und zeitaufwändige Aufgaben wie Regressionstests. QA-Ingenieure können sich auf die höherwertigen Testaktivitäten konzentrieren, die menschliche Kreativität, Intuition und Problemlösungsfähigkeiten erfordern. Diese Tools können helfen, Muster zu erkennen, Daten zu analysieren und Erkenntnisse zu gewinnen, die manuell nur schwer zu erkennen sind. Sie verringern auch das Risiko menschlichen Versagens, was bei sicherheitskritischen Anwendungen besonders wichtig sein kann.

Zusammenfassend lässt sich sagen, dass Sie nicht hoffen sollten, den Menschen durch KI-Tests zu ersetzen, aber Sie können sie auch nicht ausschließen. QS-Ingenieure müssen bereit sein, diese Tools anzunehmen und ihre Fähigkeiten anzupassen, um von ihnen zu profitieren. Durch den Einsatz von KI-Tools können QS-Ingenieure ihre Arbeit verbessern, mehr Wert für ihr Unternehmen schaffen und letztlich die Qualität der von ihnen gelieferten Software steigern.