Software testen: les 11 van 11, Regressietesten en testautomatisering

Regressietest en testautomatisering: wat gaat stuk bij een wijziging?

Daan lost de prijsfout bij leeftijd 12 op. Noor test het opnieuw en het werkt. Klaar? Misschien rekent de pagina nu de 65-plussers verkeerd. Daarom bestaat de regressietest. In deze laatste les leer je wat regressie is, wat de testpiramide laat zien, wat je automatiseert en hoe testen past in CI/CD. Je sluit af met je eigen testaanpak in vijf stappen.

Regressietest: wat werkte, kan stuk gaan

Regressie betekent achteruitgang. Een regressietest controleert of iets wat eerst werkte, na een wijziging nog steeds werkt. Elke aanpassing kan iets anders raken, ook de oplossing van een fout.

Let op het verschil met de hertest (confirmation testing) uit les 10. De hertest kijkt of die ene fout weg is: krijgt leeftijd 12 nu € 18? De regressietest kijkt breder: kloppen de prijzen voor 0, 11, 64 en 65 jaar nog, en de korting? Vaak doe je allebei.

Testsoorten van klein naar groot

De ISTQB-syllabus noemt deze testniveaus, van klein naar groot:

Een test van begin tot eind, van stoel kiezen tot e-ticket in de mail, heet vaak een end-to-end test (e2e test).

De testpiramide

Mike Cohn beschreef de testpiramide in Succeeding with Agile (2009). Hij laat zien hoe je geautomatiseerde tests verdeelt. Testautomatisering betekent: een computer voert de test uit in plaats van een mens.

UI-tests Service-tests achter het scherm Unittests klein en snel weinig tests veel tests trager sneller
De testpiramide van Mike Cohn: de lagen unit, service en UI. Er horen geen vaste percentages bij.

Onderin staan veel kleine, snelle unittests. In het midden staan service-tests: tests die de werking achter het scherm controleren, zonder door de pagina te klikken. Bovenin staan weinig UI-tests. UI staat voor user interface: het scherm waarop je klikt. Een programma klikt dan zoals een mens. Dat is trager en gaat sneller stuk als het scherm verandert.

De piramide geeft geen vaste verhouding. Het aantal lagen en hun namen verschillen per team.

Rooktest en wat je wel en niet automatiseert

Een rooktest (smoke test) is een kleine set tests die alleen nagaat of de belangrijkste functies werken. Gaat de site open, kun je een kaartje in je mandje leggen? Zo niet, dan heeft verder testen geen zin.

Automatiseren of niet?

Wel automatiseren: tests die je vaak herhaalt en die altijd hetzelfde gaan., zoals de regressietests voor prijzen en kortingen. Die haal je uit je grenswaarden in les 6 en je beslistabel in les 7.

Niet automatiseren: iets eenmaligs, iets wat nog vaak verandert, of iets waar oordeel nodig is, zoals of een tekst duidelijk is. Daarvoor heb je exploratory testing uit les 8 en de gebruikstest uit les 9.

CI/CD en DevOps in gewone taal

Continuous integration (CI) betekent dat ontwikkelaars hun werk vaak samenvoegen, minstens elke dag. Elke keer zet een computer de software in elkaar (build) en draait tests. De letters CD hebben twee betekenissen. Continuous delivery: de software kan op elk moment live, maar een mens kiest het moment. Continuous deployment: elke wijziging die alle tests doorstaat, gaat automatisch live. De weg die een wijziging aflegt, heet de pijplijn (pipeline). Een voorbeeld:

Voorbeeld van een CI/CD-pijplijn
  1. 1WijzigingDaan past de code aan
  2. 2SamenvoegenBij de code van het team
  3. 3BuildSoftware in elkaar zetten
  4. 4UnittestsKlein en snel
  5. 5Overige testsRooktest en regressietests
  6. 6Klaar om live te gaanContinuous delivery
  7. 7LiveAutomatisch bij continuous deployment

DevOps is een manier van werken waarin ontwikkeling (inclusief testen) en beheer samen optrekken., met snelle terugkoppeling. Shift left betekent: eerder testen. Je kijkt al naar de eisen voordat er code is, zoals in les 4. Later testen blijft wel nodig.

Je eigen testaanpak in vijf stappen

Zo zet je alles samen voor jouw eigen project:

  1. Begrijp wat goed is. Lees de eisen en kijk verder dan "het werkt". Zie les 1, les 2 en les 4.
  2. Kies waar het risico zit. Kans maal schade bepaalt wat je grondig test. Zie les 3.
  3. Ontwerp slimme tests. Schrijf testcases met grenswaarden en beslistabellen. Zie les 5, les 6 en les 7.
  4. Test en verken. Voer je tests uit en zoek vrij met een charter. Zie les 8 en les 9.
  5. Meld, hertest en herhaal. Meld fouten, hertest en automatiseer je regressietests. Zie les 10 en deze les.

Probeer het zelf

Daan lost de kortingsfout uit de oefening van les 10 op: een lid met een kortingscode kreeg 25% in plaats van 15%. Schrijf op: welke ene hertest doe je, en welke vijf regressietests? Kies uit prijzen, aantallen, kortingen en de mail met e-tickets. Welke zou jij automatiseren?

Onthoud

Check jezelf

Daan lost de fout bij leeftijd 12 op. Je controleert of 65-plussers nog € 14 betalen. Wat voor test is dat?

Een regressietest: je kijkt of de wijziging elders niets heeft beschadigd.

Welke laag van de testpiramide heeft de meeste tests?

De onderste laag: de unittests.

Gaat bij continuous delivery elke wijziging automatisch live?

Nee. De software kan altijd live, maar een mens kiest het moment. Automatisch live is continuous deployment.

Je hebt alle lessen gehad

Test wat je hebt geleerd en haal je certificaat.

Naar de toets

Iets aan gehad? Gun het een ander ook: deel de cursus.

Deel via WhatsApp

LinkedIn Facebook E-mail

Veelgestelde vragen

Wat is een regressietest?

Een regressietest controleert of iets wat eerst werkte nog steeds werkt na een wijziging. Regressie betekent achteruitgang. Je zoekt dus naar onderdelen die door een aanpassing ongemerkt stuk zijn gegaan.

Wat is het verschil tussen een hertest en een regressietest?

Een hertest (confirmation testing) controleert of een gemelde fout echt is opgelost. Een regressietest controleert of de wijziging elders niets heeft beschadigd. Na een oplossing doe je vaak allebei.

Wat is de testpiramide?

Een plaatje van Mike Cohn uit zijn boek Succeeding with Agile (2009). Onderin veel kleine unittests, in het midden service-tests en bovenin weinig tests via het scherm. Er horen geen vaste percentages bij.

Wat is het verschil tussen continuous delivery en continuous deployment?

Bij continuous delivery kan de software op elk moment live, maar een mens kiest wanneer. Bij continuous deployment gaat elke wijziging die alle tests doorstaat automatisch live.

Aangeraden door