Kuten kaikki tiedämme, Atlassianin JIRA on nykyään suosituin järjestelmä softakehitystiimien työnohjaukseen. Eikä syyttä. Issuet, bugit, tarinat ja epicit ja niiden hallinta sekä workflow’n kustomointi on Jirassa helppoa. Softakehityksessä oleellinen työvaihe, mutta usein oiottu sellainen, on kehitetyn koodin testaus. Nykyään Jiraa voi käyttää myös testinhallintaan, joten mikset harkitsisi myös sen tekemistä Jiran puolella? Ilman lisäosia testauksen hallinta on hyvin rajoitettua Jirassa, koska järjestelmää ei ole siihen suunniteltu, mutta lisäosan kanssa tilanne on jo toisenlainen.

Tietenkin erillinen testaukseen tarkoitettu työkalu voi olla myös hyvä vaihtoehto, sillä se on suunniteltu ja käyttöliittymältään optimoitu nimenomaan testaukseen ja käyttää Jiraa issueiden, bugien ja tarinoiden hallintaan. Viimeisten vuosien aikana Jiran testilisäosat ovat kehittyneet siinä määrin, että ne ovat yhtä helppoja käyttää ja vastaavat ominaisuuksiltaan dedikoituja testihallintatyökaluja tai ainakin hyvin lähellä niitä. Usein myös Jiran testauslisäosan hinta voi olla pieni osa dedikoitujen testihallintatyökalujen hinnoista. Asiakkaamme ovatkin huomanneet, että testilisäosalla saavutettavat hyödyt ovat todella varteenotettavia.

Kun testauksen hallinta tapahtuu Jirassa, testaajat ja kehittäjät voivat käyttää yhtä ja samaa työkalua. Tällä saavutetaan useita hyötyjä:

• Sekä testausta että kehitystä voidaan hallita samalta Kanban-taululta
• Jos kehittäjät ja testaajat tekevät kumpiakin tehtäviä, on helppoa, kun ei tarvitse siirtyä työkalusta toiseen
• Raportoinnissa voidaan hyödyntää testimetriikkaa helposti
• On ketterän kehittämisen (Agile) hengen mukaista!

Xray Test Management 

Viimeaikoina kaikkein suosituin testauslisäosa on ollut Xray. Käyttöliittymä on samanlainen kuin JIRAssa, eli jos JIRAa osaa käyttää, osaa todella nopeasti käyttää myös XRaytä. XRay on toteuttanut testauksen helposti ymmärrettävästi ja käytettävästi Jiran päälle. Raportit, testaussuunnitelmat, test runit ja testicaset ovat helposti hallittavissa. XRay on toimintalogiikaltaan hyvin samanoloinen kuin esimerkiksi testaajille tutut Microfocus ALM (ex. HP:n Quality Center) tai IBM:n Rational Quality Manager.

XRayssä on myös vaatimushallintaominaisuus, eli osa issuetyypeistä voidaan määritellä vaatimuksiksi, ja testitapaukset voi linkittää vaatimuksiin ja saada jäljitettävyyden kuntoon. XRAYn vaatimushallintaominaisuudet eivät ehkä ole ihan niin kattavat kuin niillä lisäosilla, jotka on tehty ainoastaan vaatimushallintaan, mutta siitä huolimatta XRay on ollut riittävä ratkaisu monille vaativille asiakkaillemmekin.

Testaussuunnitelmien hallinnassa on erittäin hyvä toiminto, että voi järjestellä suunnitelmat tai testisetit kansioihin. Jos testitapauksia siis on paljon, vaikkapa tuhansia, niin kansioiden käyttö auttaa niiden järjestelyssä todella. Myös Dashboard Gadget:ejä löytyy muutama, joilla testaus-status näkymän saa rakennettua mukavasti. Gadgetit toimivat myös Confluencessa.

Yhdistelmä sopivaa hintaa, laajoja ominaisuuksia, helppokäyttöisyttä ja hyviä testisuunnitelmien sekä testitapausten hallintaominaisuuksia on johtanut siihen, että XRay on Contribyten asiakkaiden keskuudessa suosituin Jiran testilisäosa. Lue lisää XRaysta täältä!

Zephyr

Zephyr oli ensimmäinen testauslisäosa, joka oli Jiraan saatavilla – eli testauslisäosien vanhin ja kaunein. Tai no, ainakin vanhin. Zephyr on kaiken kaikkiaan eniten myyty testauspalikka, mutta se johtuu osaksi siitä, että se on ehtinyt olla markkinoilla pisimpään. Zephyr eroaa logiikaltaan hieman muista testilisäosista siinä, että se ei käytä muualla niin tuttua jakoa testitapauskirjastoon, testisuunnitelmaa ja testin ajoon, vaan testitulokset tallentuvat suoraan testitapaukseen. Automaattitestauksessa ajokertoja saattaa tulla nopeasti tuhansia, jolloin tulosten käsittely on Zephyrissä lisäosia hankalampaa. Jäljitettävyys ei ole myöskään yhtä hyvällä tasolla verrattuna vaikka Xrayhin.

Toinen Zephyrin rajoite on lisäosasta oletuksena puuttuva REST-rajapinta. Rajapinnan voi kuitenkin ostaa erikseen lisäosana (ZAPI) Zephyriltä. REST-rajapintalisäosan (ZAPI) kanssa Zephyr on jo kaksi kertaa Xraya kalliimpi. Ilman rajapintaa ero on 50% Zephyrin hyväksi.

Zephyrin hyvä puoli on se, että vanhimpana ja eniten käytettynä testauslisäosana lähes jokainen osaa sitä käyttää, jos on käyttänyt Jiraa pidempään. Raportointiominaisuudet on myös hyvät Zephyrissä.

Test Management for JIRA

Entiseltä nimeltään Kanoah ja myös joskus Adaptavist Test Management -nimellä kulkeva TM for JIRA on kolmas suosittu vaihtoehto. Vaikka TM käyttääkin Jiran issueita, siinä on rakennettu kokonaan oma käyttöliittymä testaukseen ja testauksen hallintaan. Mikäli Jiraa käytetään suurimmalta osin testaukseen tai mikäli Jiran käyttöliittymä tuntuu testaajista vieraalta, kannattaa tutustua ja kokeilla TM:ää lähemmin. TM:ssä on esimerkiksi testisuunnitelmien ja testiajojen näkymät on tehty palvelemaan mahdollisimman hyvin testaajaa. Ominaisuuksiltaan TM on Zephyriä kattavampi ja vastaa niiltä osin Xrayta. Raportointi, testikirjaston hallinta, erilliset testituloksien tekeminen on helppoa.

Koska TM ei käytä Jiran käyttöliittymää sellaisenaan, vaan tekee siihen paljon muutoksia (verrattuna varsinkin hyvin spartaaniseen Xrayhin), voi sen kanssa esiintyä teknisiä ongelmia eri Jira-versioiden kanssa.

Synapse 

Synapseen asiakkaamme eivät ole päätyneet läheskään niin usein kuin Xrayhin, Zephyriin tai Test Management for Jiraan. Lyhyesti sanottuna se on samantyylinen kuin TM for JIRA ja ominaisuudet ovat samalla tasolla TM:n ja Xrayn tasolla. Ainoa isompi ero on, että JIRA Cloud -versiota ei ole ollenkaan. Toinen ero on se, että Synapsessa ei jostain syystä ole testitapauksen precondition-ominaisuutta. Tietenkin itse voi luoda precondition-nimisen custom-kentän jos tietoa tarvitsee. Vastaavasti custom-kentän voi luoda myös testitapauksen automaatti-/manual-tiedolle. Kolmas ero on termistö, joka on hieman erilainen kuin Xrayssä käytetty termistö.

Kaiken kaikkiaan Synapse on varteenotettava, mutta vähemmän tunnettu vaihtoehto testaajien keskuudessa.

Lisäosien hinnoittelun vertailu

Alla vertailu eri testauslisäosista. Halvin on merkitty vihreällä kussakin kategoriassa.

Hinnoittelu Jiran Server-versiolle*

* aloitushinta, uusintahinta puolet tästä vuosittain. Tarkempia tietoja Atlassianin lisäosakaupassa.

Hinnoittelu Jiran Cloud-versiolle*

* aloitushinta, uusintahinta puolet tästä vuosittain. Tarkempia tietoja Atlassianin lisäosakaupassa.

Hinnoittelu on loogista. Hinnoissa huomataan että selkeästi kalliimmassa kastissa ovat Zephyr ja TM for JIRA, joiden hinnoittelu pysyy koko ajan lähellä toisiaan. Halvempi kaksikko, XRAY ja Synapse pysyvät myös nolostuttavan lähellä toisiaan. Server versiossa ero edullisemman ryhmän ja kalliimman ryhmän välillä on 50% koko ajan. Cloud-versiota Synapsesta ei olekaan olemassa, ja Cloud-versiossa XRAY on selkeästi edullisin vaihtoehto.

Yhteenveto

Xray on ollut viime vuoden, parin aikana Contribyten asiakkaiden keskuudessa suosituin vaihtoehto. TM for JIRA on ollut kakkosena ja Zephyr ja Synapse selkeästi ovat vähän jääneet kahden johtajan jalkoihin. XRAY on Contribyteläisten suosikki koska hinta-laatu suhde on kohdallaan ja käyttö on ongelmatonta. XRAYstä on myös tullut uusia versioita parannuksilla tasaiseen tahtiin.

Kiinnostavatko Atlassian-lisäosat? Lue niistä lisää tästä blogista!