Software testen: les 11 van 11, Regressietesten en testautomatisering
Regressietest en testautomatisering: wat gaat stuk bij een wijziging?
Daan lost de prijsfout bij leeftijd 12 op. Noor test het opnieuw en het werkt. Klaar? Misschien rekent de pagina nu de 65-plussers verkeerd. Daarom bestaat de regressietest. In deze laatste les leer je wat regressie is, wat de testpiramide laat zien, wat je automatiseert en hoe testen past in CI/CD. Je sluit af met je eigen testaanpak in vijf stappen.
Regressietest: wat werkte, kan stuk gaan
Regressie betekent achteruitgang. Een regressietest controleert of iets wat eerst werkte, na een wijziging nog steeds werkt. Elke aanpassing kan iets anders raken, ook de oplossing van een fout.
Let op het verschil met de hertest (confirmation testing) uit les 10. De hertest kijkt of die ene fout weg is: krijgt leeftijd 12 nu € 18? De regressietest kijkt breder: kloppen de prijzen voor 0, 11, 64 en 65 jaar nog, en de korting? Vaak doe je allebei.
Testsoorten van klein naar groot
De ISTQB-syllabus noemt deze testniveaus, van klein naar groot:
- Unittest (unit test of componenttest): een heel klein stukje code apart testen. Bijvoorbeeld alleen de prijsberekening bij een leeftijd.
- Integratietest: testen of stukjes goed samenwerken. Komt de prijs goed in het winkelmandje?
- Systeemtest: het hele systeem testen, zoals een klant het gebruikt.
- Systeemintegratietest: samenwerken met andere systemen, zoals de bank en de mail met e-tickets.
- Acceptatietest: Inge en echte gebruikers controleren of het doet wat ze nodig hebben. Zie les 4.
Een test van begin tot eind, van stoel kiezen tot e-ticket in de mail, heet vaak een end-to-end test (e2e test).
De testpiramide
Mike Cohn beschreef de testpiramide in Succeeding with Agile (2009). Hij laat zien hoe je geautomatiseerde tests verdeelt. Testautomatisering betekent: een computer voert de test uit in plaats van een mens.
Onderin staan veel kleine, snelle unittests. In het midden staan service-tests: tests die de werking achter het scherm controleren, zonder door de pagina te klikken. Bovenin staan weinig UI-tests. UI staat voor user interface: het scherm waarop je klikt. Een programma klikt dan zoals een mens. Dat is trager en gaat sneller stuk als het scherm verandert.
De piramide geeft geen vaste verhouding. Het aantal lagen en hun namen verschillen per team.
Rooktest en wat je wel en niet automatiseert
Een rooktest (smoke test) is een kleine set tests die alleen nagaat of de belangrijkste functies werken. Gaat de site open, kun je een kaartje in je mandje leggen? Zo niet, dan heeft verder testen geen zin.
Automatiseren of niet?
Wel automatiseren: tests die je vaak herhaalt en die altijd hetzelfde gaan., zoals de regressietests voor prijzen en kortingen. Die haal je uit je grenswaarden in les 6 en je beslistabel in les 7.
Niet automatiseren: iets eenmaligs, iets wat nog vaak verandert, of iets waar oordeel nodig is, zoals of een tekst duidelijk is. Daarvoor heb je exploratory testing uit les 8 en de gebruikstest uit les 9.
CI/CD en DevOps in gewone taal
Continuous integration (CI) betekent dat ontwikkelaars hun werk vaak samenvoegen, minstens elke dag. Elke keer zet een computer de software in elkaar (build) en draait tests. De letters CD hebben twee betekenissen. Continuous delivery: de software kan op elk moment live, maar een mens kiest het moment. Continuous deployment: elke wijziging die alle tests doorstaat, gaat automatisch live. De weg die een wijziging aflegt, heet de pijplijn (pipeline). Een voorbeeld:
- 1WijzigingDaan past de code aan
- 2SamenvoegenBij de code van het team
- 3BuildSoftware in elkaar zetten
- 4UnittestsKlein en snel
- 5Overige testsRooktest en regressietests
- 6Klaar om live te gaanContinuous delivery
- 7LiveAutomatisch bij continuous deployment
DevOps is een manier van werken waarin ontwikkeling (inclusief testen) en beheer samen optrekken., met snelle terugkoppeling. Shift left betekent: eerder testen. Je kijkt al naar de eisen voordat er code is, zoals in les 4. Later testen blijft wel nodig.
Je eigen testaanpak in vijf stappen
Zo zet je alles samen voor jouw eigen project:
- Begrijp wat goed is. Lees de eisen en kijk verder dan "het werkt". Zie les 1, les 2 en les 4.
- Kies waar het risico zit. Kans maal schade bepaalt wat je grondig test. Zie les 3.
- Ontwerp slimme tests. Schrijf testcases met grenswaarden en beslistabellen. Zie les 5, les 6 en les 7.
- Test en verken. Voer je tests uit en zoek vrij met een charter. Zie les 8 en les 9.
- Meld, hertest en herhaal. Meld fouten, hertest en automatiseer je regressietests. Zie les 10 en deze les.
Probeer het zelf
Daan lost de kortingsfout uit de oefening van les 10 op: een lid met een kortingscode kreeg 25% in plaats van 15%. Schrijf op: welke ene hertest doe je, en welke vijf regressietests? Kies uit prijzen, aantallen, kortingen en de mail met e-tickets. Welke zou jij automatiseren?
Onthoud
- Hertest: is de fout weg? Regressietest: ging er elders iets stuk?
- De testpiramide van Mike Cohn (2009): veel unittests, minder service-tests, weinig UI-tests. Geen vaste percentages.
- Automatiseer wat vaak terugkomt. Oordelen en verkennen doen mensen.
- Continuous delivery: altijd klaar om live te gaan. Continuous deployment: elke goedgekeurde wijziging gaat automatisch live.
Check jezelf
Daan lost de fout bij leeftijd 12 op. Je controleert of 65-plussers nog € 14 betalen. Wat voor test is dat?
Een regressietest: je kijkt of de wijziging elders niets heeft beschadigd.
Welke laag van de testpiramide heeft de meeste tests?
De onderste laag: de unittests.
Gaat bij continuous delivery elke wijziging automatisch live?
Nee. De software kan altijd live, maar een mens kiest het moment. Automatisch live is continuous deployment.
Iets aan gehad? Gun het een ander ook: deel de cursus.
Veelgestelde vragen
Wat is een regressietest?
Een regressietest controleert of iets wat eerst werkte nog steeds werkt na een wijziging. Regressie betekent achteruitgang. Je zoekt dus naar onderdelen die door een aanpassing ongemerkt stuk zijn gegaan.
Wat is het verschil tussen een hertest en een regressietest?
Een hertest (confirmation testing) controleert of een gemelde fout echt is opgelost. Een regressietest controleert of de wijziging elders niets heeft beschadigd. Na een oplossing doe je vaak allebei.
Wat is de testpiramide?
Een plaatje van Mike Cohn uit zijn boek Succeeding with Agile (2009). Onderin veel kleine unittests, in het midden service-tests en bovenin weinig tests via het scherm. Er horen geen vaste percentages bij.
Wat is het verschil tussen continuous delivery en continuous deployment?
Bij continuous delivery kan de software op elk moment live, maar een mens kiest wanneer. Bij continuous deployment gaat elke wijziging die alle tests doorstaat automatisch live.