Manuelles vs. automatisiertes Testen: Unterschiede und Vorteile

Manuelle Tests haben den Vorteil, dass man meist ohne Vorarbeit direkt loslegen kann. Muss der Test nur ein oder zwei mal durchgeführt werden, ist man meist mit manuellen Tests schneller am Ziel. Allerdings steht man schnell vor dem Problem, dass der Test am Ende doch mehrfach wiederholt werden muss, weil z.B. Softwarebugs gefixed wurden oder neue Features eingefügt worden. Um so öfter der Test durchgeführt werden muss, desto unrentabler wird das manuelle Testen. Deshalb ist es ratsam sich von Anfang an Gedanken zu machen ob es Sinn macht einen automatisierten Test zu erstellen. Das bedeutet zwar zunächst einen gewissen initialen Aufwand, zahlt sich aber mit jedem Testdurchlauf der dann automatisch läuft um so mehr aus.

Was ist manuelles Testen?

Bei einem manuellen Test für embedded Geräte wird das Gerät in der Regel so verwendet wie es ein Anwender auch tun würde. Es empfiehlt sich hier das Handbuch oder die Anforderungen neben dran zu legen und alle Funktionen die darin beschrieben sind einmal von Hand auszuprobieren. Besonders gründlich ist es, wenn man neben diesem „Gut Pfad“ auch die schlechten Pfade testet – also Fehlbedienungen des Geräts und überprüft ob das Gerät dabei nicht kaputt geht oder abstürzt/hängen bleibt. Ein solcher manueller Test kann, je nach Komplexität des Gerätes, teilweise mehrere Tage in Anspruch nehmen.

Was ist automatisiertes Testen?

Beim automatisierten Testen versucht man alle, oder möglichst viele, Testszenarien zu automatisieren. Je nach Funktion des embedded Geräts können hierfür teilweise auch mechanische Vorrichtungen notwendig sein. Zusätzlich werden Tools benötigt die den Testablauf steuern und die Ergebnisse bewerten. Eine Entwicklung eines automatisierten Tests dauert nicht selten mehrere Wochen. Doch in der Regel zahlt sich dieser Aufwand über das gesamte Projekt gesehen immer aus. Denn automatisierte Tests können täglich, bei jeder Codeänderung durchgeführt werden. Sie liefern sofortiges Feedback über entstandene Fehler. Die Durchführung des Tests kostet keinen Aufwand mehr – da er automatisch läuft.

Beispiel aus der Embedded-Entwicklung

In diesem Beitrag möchten wir einmal beleuchten welchen Gamechanger die Testautomatisierung für Ihren Entwicklungsprozess darstellt. Dazu betrachten wir einmal in vereinfachter Form, wie ein Entwicklungsprojekt typischerweise abläuft, wenn man auf manuelle Softwaretests setzt und zeigen, welchen Unterschied es macht, wenn das gleiche Projekt unter gleichen Rahmenbedingungen mit automatisierten Tests durchgeführt wird.

Die Rahmenbedingungen sind:
Es werden 3 große Features entwickelt. Die Entwicklung von Feature A dauert 2 Monate, Feature B ist etwas größer und benötigt 4 Monate, Feature C benötigt 2 Monate. Bei der Programmierung von Feature B wird versehentlich ein Bug in Feature A erzeugt. Beim Programmieren von Feature C wird ein Bug in Feature B erzeugt.

Betrachten wir nun welchen Einfluss die Testautomatisierung gegenüber des manuellen Testens auf den Projektverlauf hat.

Projektverlauf mit manuellen Tests

Wenn Feature A fertig programmiert ist, wird es manuell getestet. Vollständige manuelle Tests eines Features sind sehr zeitaufwändig – in unserem Beispiel nehmen wir einmal an dass der manuelle Test 1 Woche in Anspruch nimmt. Der Test kann von einem Tester parallel zur Firmwareentwicklung von Feature B durchgeführt werden. Wir gehen davon aus, dass der Test ein „passed“ Ergebnis liefert.

Wenn Feature B fertig programmiert ist, wird Feature B manuell getestet. Da dieses Feature doppelt so umfangreich ist wie Feature A gehen wir von einer Testdauer von 2 Wochen aus. Um Zeit zu sparen wird nur das neue Feature B getestet. Dadurch fällt der entstandene Bug für Feature A an dieser Stelle nicht auf.

Wenn Feature C fertig programmiert ist, wird zunächst Feature C manuell getestet. Auch dieser Test wird bestanden und der Bug, der sich in Feature B eingeschlichen hat, fällt zunächst nicht auf. Da die Firmwareentwicklung nun abgeschlossen ist und Geräte ausgeliefert werden sollen, werden die Tests für Feature A und B vorsichtshalber noch einmal wiederholt, um sicherzustellen, dass alle Tests mit der fertigen Software durchgeführt wurden. Die Bugs in Feature A und B fallen nun bei diesem Test nun auf und werden an den/die Firmwareentwickler gemeldet.

Wann genau die beiden Bugs entstanden sind, ist in diesem Szenario unbekannt. Die Entwickler werden sich zunächst Feature A noch einmal genauer ansehen. Da die Entwicklung dieses Features zu diesem Zeitpunkt bereits mehr als ein halbes Jahr zurückliegt, wird es einige Zeit in Anspruch nehmen, sich wieder in den Code einzuarbeiten. Handelt es sich bei dem Fehler z.B. um einen Buffer Overflow, wird der Entwickler in der Komponente A nicht direkt fündig und es folgen sehr aufwändige Debugging-Sessions, bis die verursachende Codestelle in Feature B gefunden werden kann. Das gleiche gilt auch für den Bug 2. In diesem Szenario gehen wir deshalb von 1 Monat Fehlersuche + Bugfixing aus.

Da beim Bugfixing der Code geändert wird, ist es dringend zu empfehlen, vor der Auslieferung noch einmal alle Features zu testen – dieser manuelle Test dauert weitere 4 Wochen.

In diesem Szenario kann das erste Gerät nach 11 Monaten ausgeliefert werden.

Projektverlauf mit Testautomatisierung

Betrachten wir nun das gleiche Szenario mit Testautomatisierung.

Während Feature A programmiert wird, kann parallel ein automatisierter Test für dieses Feature programmiert werden. Als Grundlage für den Test dient das Anforderungsprofil. Mit der embedded Testplattform von emintes ist es realistisch einen solchen Test in ca. 3 Wochen zu erstellen.

Ist Feature A fertig programmiert, kann der automatisierte Test für dieses Feature aktiviert werden. Der Test wird nun bei jeder Codeänderung automatisch über die CI-Tools ausgeführt. Die Entwickler erhalten somit direkt nach jeder Codeänderung in weniger als einer Stunde eine Rückmeldung, ob der Test bestanden wurde.

Während der Programmierung von Feature B entsteht nun der Bug in Feature A. Durch die automatisierten Tests bekommt der Entwickler nun sofort das Feedback, dass seine Codeänderung zu einem Bug in Feature A geführt hat (z.B. durch einen Buffer Overflow). Die Fehlerursache kann dadurch auf wenige Zeilen Code eingegrenzt werden. Damit ist es für den Entwickler sehr einfach, den Bug in kurzer Zeit zu beheben. Wir setzen hier einmal großzügig eine Woche zusätzlichen Aufwand für die Behebung des Bugs an. Nachdem der Bug behoben ist, meldet der Test auch wieder ein passed Ergebnis und der Firmwareentwickler kann seine Arbeit an Feature B fortsetzen.

Das gleiche Schema gilt für die Programmierung von Feature C. Der entstandene Bug wird sofort erkannt und kann dadurch schnell behoben werden.

Ist Feature C fertig entwickelt, läuft der automatisierte Test erneut durch und testet alle 3 Features. Da der Test automatisiert abläuft dauert dieser weniger als 1 Tag.

Eine Auslieferung des ersten Gerätes kann in diesem Szenario nach 8,5 Monaten erfolgen.

Zusammenfassung

Stellen wir einmal die Aufwände der beiden Szenarien gegenüber:

Insgesamt verkürzt sich die Projektlaufzeit durch die Testautomatisierung um 23% bei nahezu gleichem Arbeitsaufwand.

Auf den ersten Blick erscheinen die 12 Wochen (3 Monate) Arbeit, die in die Testentwicklung fließen, zunächst recht hoch. Betrachtet man jedoch den Aufwand, der in die manuellen Tests fließt, so summieren sich hier auch 11 Wochen auf. Insbesondere wenn manuelle Tests mehrfach wiederholt werden müssen (was häufig der Fall ist), kommen hierfür sehr viele Stunden/Tage zusammen. Eine Testautomatisierung lohnt sich daher in den meisten Fällen. Auch wenn zu einem späteren Zeitpunkt noch Änderungen an der Software vorgenommen werden müssen, profitiert man massiv davon, wenn automatisierte Tests vorhanden sind und man diese nur noch einmal durchführen muss und schnell ein Ergebnis erhält.

Ein genauerer Blick auf das Beispiel zeigt aber auch: Wenn zu viel Aufwand (und Kosten) in die Testautomatisierung gesteckt werden muss, können die Vorteile unter Umständen wieder zunichte gemacht werden. Bei der Entwicklung unserer Embedded Testplattform stand deshalb die Einfachheit des Testsystems im Vordergrund. Die Erstellung eines automatisierten Tests soll schnell und einfach sein – mit unserem Testsystem lohnt sich die Testautomatisierung daher fast immer.

Aufwand für automatisierte Tests reduzieren

Mit unserer embedded Testplattform von emintes helfen wir, den Aufwand für das Erstellen von automatisierten Tests deutlich zu reduzieren. Denn mit unseren KI-Agenten haben Sie ein Tool an der Hand, welches Sie beim Erstellen der Tests unterstützt. Sowohl die Testspezifikation als auch der Test selbst kann per Mausklick erstellt werden. So entsteht binnen weniger Minuten eine gute Grundbasis auf der Sie aufbauen können. Sehen Sie sich unsere KI-Agenten zur Testautomatisierung doch einmal näher an.