Met het Test Intelligence Platform van Orangebeard is het Test & Quality team van AFAS niet langer dagelijks uren kwijt aan het analyseren van testresultaten en het selecteren van testen voor de volgende run. Alle testen, testsets en testresultaten zijn nu eenvoudig toegankelijk. De uitkomst van elke testrun laat zien wat er misging, waarom en wie ervoor verantwoordelijk is. Dat levert AFAS elke dag dubbel tijdswinst op – voor zowel het Test & Quality team als voor het interne audit proces – en versnelt daarnaast het leveringsproces aanzienlijk, terwijl de kwaliteit verzekerd blijft.
Over AFAS
AFAS Software is een Nederlands familiebedrijf en ontwikkelt innovatieve ERP-software voor de zakelijke markt. Deze slimme oplossingen ondersteunen de digitale administratieve processen van moderne bedrijven. Van CRM tot financiën, van HR tot workflowbeheer.
AFAS inspireert beter ondernemen. Met software en alles wat ervoor nodig is om die software zo te gebruiken dat je er een hoger doel mee bereikt. Met innovatie als kernfocus is AFAS altijd op zoek naar slimme oplossingen om prestaties te verbeteren en tijd over te houden voor wat echt belangrijk is. Voor kwaliteit én werkplezier. Daarom is Orangebeards intelligente SaaS-platform zo’n goede match.
De uitdaging
AFAS werkt nauw samen met klanten om hun producten continu te verbeteren. Het hele jaar door worden er nieuwe functies en functionaliteiten ontwikkeld en getest. Drie keer per jaar brengt het ontwikkelteam nieuwe updates voor hun producten uit.
Updates, bugfixes en nieuwe releases worden pas gelanceerd nadat ze grondig zijn gecontroleerd, gedocumenteerd en getest door de Test & Quality team afdeling. De 16 softwaretesters in het team testen de software zowel handmatig als automatisch om ervoor te zorgen dat er geen bugs in productie komen.
Met zoveel producten die continu worden verbeterd, neemt geautomatiseerd testen een groot deel van het testwerk bij AFAS in beslag. Vóór de introductie van Orangebeard werkte het Test & Quality team met een Jenkins server en SVN. De testtool Ranorex werd gebruikt om ‘s nachts testsets te automatiseren en uit te voeren. Zowel Jenkins als Ranorex werden gebruikt voor rapportage.
Met veel geautomatiseerde testen was het monitoren en rapporteren van de kwaliteit een van de knelpunten in de continuous deliverypipeline van AFAS. Dit kwam doordat het kwaliteitsteam de resultaten van de testruns handmatig moest controleren. Elke dag weer. Elke ochtend doorliep het team dezelfde testen, vergeleken ze statische HTML-rapporten en controleerden ze de rode en groene vinkjes in Ranorex om de uitkomsten te begrijpen.
Een tweede knelpunt was dat AFAS in al die jaren van testautomatisering een groot aantal testscripts verzamelde. En met elke nieuwe levering groeide het aantal testen en testsets. Het werd steeds moeilijker en tijdrovender voor AFAS om de juiste testsets te selecteren en het overzicht te houden van wie wat testte, wat er gebeurde en waarom. Dit repetitieve controleren en selecteren was tijdrovend, evenals voor het verzamelen van benodigde informatie voor audits. Al dat werk leverde het team nog steeds geen duidelijke, bruikbare informatie en de juiste rapporten op.
Daarom was AFAS op zoek naar een systeem dat ze kon helpen met eenduidig kwaliteitsoverzicht en inzicht. Een tool waarmee ze ook tijd konden besparen door de noodzaak van terugkerende handmatige controles, tijdrovend verzamelwerk voor audits en analyse van de testresultaten te verminderen. De meeste tools die ze vonden, waren te duur voor de meerwaarde die deze tools konden bieden. AFAS zocht daarnaast naar een systeem dat meer was dan alleen een dashboard.
Test Intelligence als dé oplossing
Orangebeard is een intelligent geautomatiseerd testplatform. Orangebeard verbindt direct met alle test- en build tools en verzamelt alle (meta) testgegevens. Orangebeard gebruikt machine learning, RAG technologie en GenAI om de testdata te analyseren, de resultaten te classificeren, trends en patronen te ontdekken plus het team alle inzichten te geven die nodig zijn voor een soepel en dekkend testproces. Bugs, fouten en problemen worden automatisch gecategoriseerd en de historie ervan wordt ten behoeve van traceability onbeperkt opgeslagen. De gebruiksvriendelijke interface van Orangebeard zorgt ervoor dat de gebruikers alle antwoorden in een paar klikken vinden.
10x winst voor AFAS
- 50% tijdsbesparing op test
- Sneller leveren door kortere testcycli
- Beter inzicht in bestaande testsets
- Onbeperkte testgeschiedenis voor traceability
- Flexibele tool; aanpasbaar aan wat AFAS nodig heeft
- Geen tijdrovende repetitieve analyses meer
- Automatische bugclassificatie en testselectie
- Alle testresultaten in één tool
- Complete audit-trail, realtime inzichtelijk
- Gebruiksvriendelijke interface
Met de automatische analyse in Orangebeard hoeven testers geen uren meer te besteden aan het handmatig doorlopen van alle testresultaten uit de nachtelijke runs om te begrijpen wat er is gebeurd. Testers zien nu sneller dan ooit waar een fout of bug zit of wat een storing veroorzaakt. Elke ochtend krijgen zij direct te zien wat hen die dag te doen staat. Orangebeard geeft iedereen ook onbeperkt inzicht in de testgeschiedenis. Zodoende kan iedere gebruiker de resultaten en uitkomsten zover als nodig is terug in de tijd bekijken en vergelijken, voor nog beter begrip en volledige aantoonbaarheid en traceability voor audits en compliance.
Door deze repetitieve en tijdrovende handmatige analyses te verminderen, is tot wel 50% van de tijd van het IT team bij AFAS vrijgemaakt. Tijd die ze nu kunnen besteden aan belangrijkere testtaken.
“Met wat er nog op de roadmap van Orangebeard staat, verwachten we dat de tijd en kosten die we besparen, blijft groeien. De volgende nieuwe functie van Orangebeard, Auto Test Pilot (Predictive Test Selection), zal ons enorm helpen om onze time-to-market verder te versnellen door automatisch de beste testsets voor elke nieuwe release te selecteren.”
Hoewel Orangebeard een standaardapplicatie is, is het platform zeer flexibel en kan het worden aangepast aan ieders behoeften en werkwijze. Bijvoorbeeld in de categorisatie van bugs. Die flexibiliteit is zeer waardevol.
Die flexibiliteit zit ook zeker in de samenwerking met de mensen van Orangebeard. Ze zijn makkelijk benaderbaar, denken mee en werken graag samen om ook hun product te verbeteren. En gaan dingen niet zo soepel als gepland? Dan communiceren ze snel en vinden ze altijd een geschikte oplossing.
We zijn zeer tevreden over zowel het product als het bedrijf.”