Software testen: les 10 van 11, Een bug melden en rapporteren
Een bug melden die een ontwikkelaar meteen snapt
Een fout vinden is de helft van het werk. De andere helft is de bug melden, zo dat iemand anders hem kan terugvinden en oplossen. In deze les leer je hoe Noor de prijsfout uit les 9 meldt aan Daan, wat ernst en prioriteit zijn en hoe ze Inge kort laat weten hoe het testen gaat.
Slechte en goede bugmelding naast elkaar
Een bug is een fout in de software. Een bugmelding (bug report) is het bericht waarin je die fout beschrijft. Vaak zet je hem in een bugvolgsysteem: een programma waarin het team alle meldingen bijhoudt. Kijk naar de twee meldingen hieronder. Ze gaan over dezelfde fout.
Zo niet
- Titel
- Prijzen kloppen niet!!
- Beschrijving
- Bij kinderen gaat het fout. Daan, dit had je toch moeten zien? Graag snel fixen.
Zo wel
- Nummer
- BUG-042 (voorbeeld)
- Titel
- Leeftijd 12 krijgt kindprijs € 9 in plaats van € 18
- Omgeving
- Testomgeving, bestelpagina, laptop
- Stappen
- 1. Open de bestelpagina
2. Kies 1 kaartje
3. Vul leeftijd 12 in
4. Kijk naar de prijsregel - Verwacht
- € 18,00 (12 t/m 64 jaar)
- Werkelijk
- € 9,00 (kindprijs)
- Ernst / prioriteit
- Middel / hoog: vóór de start van de verkoop oplossen
- Bijlage
- Schermafbeelding van de prijsregel
Bedacht voorbeeld bij Theater De Kleine Komeet.
De slechte melding zegt niet waar, hoe en met welke leeftijd. Daan moet eerst gaan zoeken. En de toon wijst naar hem. De goede melding kan iedereen in één minuut nadoen.
Wat zet je in een goede bugmelding?
De ISTQB-syllabus, een veelgebruikte lesstof voor testers, noemt onder meer deze onderdelen. In gewone taal:
- Uniek nummer en titel. De titel vat de fout samen in één zin: wat gaat er mis en waar.
- Wie, wanneer en waar. Je naam, de datum, en de omgeving waarin je testte.
- Stappen om het na te doen. Zo precies dat een ander dezelfde fout ziet. Noem de testdata, zoals "leeftijd 12". Dat heet reproduceren: de fout opnieuw laten optreden.
- Verwacht en werkelijk resultaat. Wat had er moeten gebeuren, volgens de eisen? Wat gebeurde er echt? Dit kende je al uit de testcase in les 5.
- Bewijs. Een schermafbeelding, een korte opname of een foutmelding.
- Ernst, prioriteit en status. Daarover lees je hieronder meer.
Vriendelijk en feitelijk melden
Je meldt een fout in de software, niet een fout van een persoon. Schrijf dus wat je zag, niet wie het fout deed. Meld één fout per melding. Een tester en een ontwikkelaar werken aan hetzelfde doel: een kaartverkoop die goed werkt.
Ernst en prioriteit: niet hetzelfde
Ernst (severity) zegt hoe groot de gevolgen van de fout zijn voor gebruikers of voor de eisen. Prioriteit (priority) zegt hoe snel de fout opgelost moet worden. Wie wat bepaalt, verschilt per team. Vaak schat de tester de ernst in en praat de product owner mee over de prioriteit.
Ze lopen niet altijd gelijk op. Twee bedachte voorbeelden:
- De naam van het theater staat verkeerd gespeld bovenaan de site. Lage ernst, want alles werkt. Maar hoge prioriteit, want iedereen ziet het.
- De site loopt vast als iemand 10 kaartjes bestelt voor een voorstelling die volgend jaar pas speelt. Hoge ernst, want bestellen lukt niet. Maar de verkoop daarvoor begint pas over maanden, dus het kan even wachten.
De levensloop van een bugmelding
Een melding doorloopt een aantal statussen. Een status is de stand van zaken, zoals "nieuw" of "opgelost". Er bestaat geen vaste, officiële levensloop: elk team en elk bugvolgsysteem heeft eigen namen. Dit is een voorbeeld:
- 1NieuwNoor meldt de fout
- 2BeoordeeldTeam kijkt: echt een fout?
- 3In behandelingDaan zoekt de oorzaak
- 4OpgelostDaan zet de aanpassing klaar
- 5HertestNoor test het opnieuw
- 6GeslotenDe fout is weg
Er zijn ook zijpaden. Een melding kan worden afgewezen (het blijkt geen fout), dubbel zijn (iemand meldde hem al) of worden uitgesteld (later oplossen). En als de fout bij de hertest nog bestaat, gaat de melding weer open: heropend. De hertest (confirmation testing) controleert alleen of deze ene fout echt weg is. Of de aanpassing ergens anders iets stuk maakte, zie je met een regressietest. Daarover gaat les 11.
Een kort testrapport voor Inge
Inge is product owner. Zij beslist of de kaartverkoop live mag. Ze wil weten: hoe staat het ervoor? Een testrapport geeft dat overzicht. Tijdens het testen stuur je een voortgangsrapport. Aan het eind stuur je een eindrapport. Daarin staan ook de risico's en fouten die overblijven en wat het team ervan leerde.
Voorbeeld: voortgangsrapport week 2 (bedacht)
Getest: prijzen, aantal kaartjes, kortingen, zaalkaart.
Nog niet getest: betalen met creditcard, annuleren.
Open fouten: 3, waarvan 1 met hoge prioriteit (BUG-042, verkeerde prijs bij leeftijd 12).
Risico: het testen van betalen loopt achter, omdat de testomgeving van de bank nog niet werkt.
Volgende week: betalen en annuleren testen, BUG-042 hertesten.
Zet het belangrijkste bovenaan. Inge moet na een minuut weten of er reden tot zorg is. Vergelijk het met de stopcriteria uit je testplan in les 3.
Probeer het zelf
Noor ziet dat een lid van de vriendenclub met een kortingscode 25% korting krijgt in plaats van 15%. Schrijf hier een bugmelding voor met: titel, stappen, testdata, verwacht resultaat, werkelijk resultaat, ernst en prioriteit. Twijfel je over de regel? Kijk naar de beslistabel in les 7.
Onthoud
- Een goede bugmelding heeft een duidelijke titel, stappen, testdata, verwacht en werkelijk resultaat, omgeving en bewijs.
- Meld feitelijk en vriendelijk: wat je zag, niet wie het fout deed.
- Ernst is hoe groot de gevolgen zijn. Prioriteit is hoe snel het opgelost moet worden.
- Er is geen vaste officiële levensloop; elk team heeft eigen statussen.
- Een testrapport geeft de lezer in een minuut een beeld: wat getest, wat open, welke risico's.
Check jezelf
Waarom is "Prijzen kloppen niet!!" een slechte titel?
Hij zegt niet welke prijs, waar en bij welke invoer. Daan kan de fout zo niet nadoen.
Een typfout in de naam van het theater: hoge of lage ernst?
Lage ernst, want alles werkt. De prioriteit kan wel hoog zijn, omdat iedereen het ziet.
Wat doe je als de fout bij de hertest nog bestaat?
Je heropent de melding en schrijft erbij wat je opnieuw zag.
Ken je iemand die dit ook kan gebruiken? Deel de cursus.
Veelgestelde vragen
Wat zet je in een bugmelding?
Een duidelijke titel, de stappen om de fout na te doen, de testdata, wat je verwachtte en wat er echt gebeurde, de omgeving waarin je testte, ernst en prioriteit, en een schermafbeelding. Geef de melding ook een uniek nummer.
Wat is het verschil tussen ernst en prioriteit van een bug?
Ernst (severity) zegt hoe groot de gevolgen van de fout zijn. Prioriteit (priority) zegt hoe snel hij opgelost moet worden. Een kleine fout kan toch haast hebben, en een grote fout kan soms wachten.
Wat zijn bevindingen bij testen?
Een bevinding is alles wat je tijdens het testen opvalt en wat afwijkt van wat je verwachtte. Vaak is het een bug, maar het kan ook een fout in de eisen zijn, een vraag of een misverstand. Daarom bekijkt het team elke bevinding eerst.
Wat staat er in een testrapport?
Wat er getest is, wat de uitkomst is, welke fouten nog openstaan en welke risico's overblijven. Een rapport aan het eind bevat ook wat het team ervan heeft geleerd. Houd het kort en schrijf voor de lezer.