English
HP TRONIC -konserniin kuuluva Datart on yksi Tšekin ja Slovakian johtavista kulutuselektroniikan vähittäismyyjistä. Olipa kyse kivijalkamyymälöistä tai verkkokauppamyynnistä, Datart on ollut mukana jo 32 vuoden ajan. Se on saanut Mastercard Vuoden kauppias 2021 -palkinnon elektroniikkakategoriassa sekä Luotetuin brändi 2020 ja 2021 -palkinnot. Vuonna 2022 HP TRONIC -konserni, mukaan lukien DATART, kasvatti liikevaihtoaan 5 %:lla 25,3 miljardiin Tšekin korunaan (CZK). EBITDA-liikevoitto oli 942 miljoonaa CZK.
Tässä artikkelissa opit, että:
- testaamiselle on aina syy
- testin käyttöönoton on oltava täydellinen
- A/B-testi voi olla loistava aloitus
- merkittäviä tuloksia on mahdollista saavuttaa suhteellisen lyhyessä ajassa
- ajoittainen testaaminen voi yllättää
Oliko alussa kyse analytiikasta, uteliaisuudesta vai intuitiosta?
Useat nimekkäät asiakkaat aloittivat Luigi’s Boxin kanssa samasta pisteestä kuin Datart. Alussa he ottivat verkkokaupassaan käyttöön Luigi’s Box Analyticsin. Koska analytiikka tarjosi jo paljon tietoa, heräsi kysymys, voisiko Luigi’s Box olla yhtä luotettava kumppani haussa tai pikahaussa käytettäessä Luigi’s Box Searchia kuin se oli analytiikan kanssa.
Datart ymmärtää, miten tärkeä haku on sen verkkokaupoille ja mikä voi vaikuttaa sen oikeisiin tai vääriin asetuksiin. Kustannusten lisäksi on myös muita tärkeitä mittareita, kuten tuotettu liikevaihto, konversioprosentti ja tehtyjen ostosten määrä. Vastuulliseen lähestymistapaan kuuluu ehdottomasti hypoteesien testaaminen ja todentaminen. Datart innovoi, mikä näkyy useilla alueilla. Se tekee parhaansa parantaakseen käyttäjäkokemusta, ja ymmärrettävästi he etsivät parempia ratkaisuja, jotka auttavat käyttäjiä ja samalla kasvattavat liikevoittoa.
He kehittivät hakuaan sisäisesti, ja jossain vaiheessa oli tarpeen varmistaa, voisiko ulkoinen haku olla vähintään yhtä hyvä, ellei parempi, kuin sisäinen.
Testin käyttöönotto ei tapahdu muutamalla klikkauksella
Mitä tahansa haluammekin testata, on ratkaisevan tärkeää, että kaikki on mietitty etukäteen. Esimerkiksi menetelmät, vertailtavat arvot, testin toteutettavuus tai arviointitapa. Toisaalta on otettava huomioon tekninen toteutus, vaikeusaste sekä kehittäjille asetetut vaatimukset tai mahdolliset tekniset erikoistumiset tai määrittelyt. Testi voi toimia sekä frontend- että backend-integraatiossa. Datartin tapauksessa kyseessä oli monimutkaisempi ja vaativampi backend-integraatio. Useimmat asiakkaat ovat ammatillisesti ja henkilökohtaisesti valmistautuneita vastaavaan testaamiseen, joten tällaisten tehtävien hoitaminen ei yleensä aiheuta ongelmia.
Onneksi Datartilla on asiantuntijatiimi, joka ei aliarvioinut mitään osa-alueita, vaan antoi vaiheittaiset tiedot ja määritykset sekä muokkasi tarvittavat arvot kommunikoimaan järjestelmämme kanssa oikein rajapinnan (API) kautta.
Jo ennen A/B-testin suorittamista tarvitaan useita testejä sellaisten mahdollisten virheiden eliminoimiseksi, jotka voisivat merkittävästi vaikuttaa tulokseen.
Miksi A/B-testi?
On monia tapoja kokeilla tai testata jotakin. Ensimmäinen vaihtoehto on korvata yksi ratkaisu toisella ja tutkia, onko uusi ratkaisu tehokkaampi. Tässä on kuitenkin suuri riski. Datartin kokoisen asiakkaan kohdalla pienikin, muutaman prosenttiyksikön poikkeama voi näkyä merkittävänä tuloksen laskuna, mikä ei ole hyväksyttävää millekään yritykselle.
Turvallisempi vaihtoehto on kuitenkin käyttää ensin niin sanottua offline-A/B-testiä. Siinä olemassa olevia hakutuloksia esimerkiksi tietyltä ajanjaksolta verrataan testattavan työkalun tarjoamiin tuloksiin. Olemme kehittäneet tämän testimenetelmän ja käyttäneet sitä jo pitkään, minkä ansiosta eliminoimme periaatteessa riskin siitä, että uusi haku tietyillä lausekkeilla näyttäisi huonompia tai ei lainkaan tuloksia. Tämä tekee testaamisesta turvallisempaa myös suuremmille asiakkaille, joilla yksittäisten hakujen määrän vuoksi pienelläkin poikkeamalla voi olla suuri vaikutus.
Offline-A/B-testin jälkeen asiakkaat siirtyvät sujuvasti “livenä” tehtävään online-A/B-testiin. Sen perustana on menetelmä, jossa osalle kävijöistä näytetään toinen versio ja osalle toinen. Ratkaisujen näyttösuhde valitaan, ja se voi olla 50:50. Alussa se voi kuitenkin olla esimerkiksi vain 80:20, jotta asiakas voi varmistaa, että testattava versio on vähintään yhtä hyvä kuin alkuperäinen. Lopuksi molempiin tuloksiin perustuvaa vertailua verrataan suhteellisesti, ja jos syöttöarvot, kuten istuntojen määrä, olivat tilastollisesti merkitseviä, voimme siirtyä arviointiin.
Tulos alle kahdessa viikossa
Jos testaisimme erikoistapauksia tai jos kyseessä olisi vähäliikenteinen verkkokauppa, testi kestäisi liian kauan, koska vähäinen kävijämäärä ei olisi tilastollisesti riittävän merkitsevä. Silloin ei yksinkertaisesti olisi mahdollista määrittää, kumpi vertailtavista ratkaisuista on testin voittaja.
Jotkut asiakkaat testaavat viikon, toiset kuukausia. Liikenteen määrän ja konversioiden määrän perusteella voimme arvioida, kuinka kauan testi kestää. Sen jälkeen tarkistamme tuloksen tilastollisen merkitsevyyden avulla vähentääksemme odottamattoman tuloksen riskiä. Kaikki määritellään aina etukäteen. Näin testin alku ja loppu sekä vertailtavat mittarit ja arviointimenetelmä ovat selkeät. Sääntöjä ei saa muuttaa “kesken pelin”.
Tässä tapauksessa meillä oli riittävästi lähtötietoja, hyvä ajoitus ja testin tarkka arviointi. Datartin testi suoritettiin 1.–12. syyskuuta 2022. Alle kahdessa viikossa kerättiin tarvittavat tiedot – ja testi voitiin arvioida ja voittaja määrittää.
Luigi’s Box A/B-testin voittajana
Vertaileva A/B-testi otettiin käyttöön verkkokaupan tšekinkielisessä ja slovakiankielisessä versiossa. Molemmat testit eroavat toisistaan joiltakin arvoiltaan, sillä kunkin maan markkinat toimivat eri tavalla haun osalta.
Molemmissa testatuissa verkkokaupoissa jakosuhde oli 50:50. 50 % käyttäjistä sai alkuperäisen hakuversion ja 50 % sai Luigi’s Box Search -version.
Molempien testien tulokset olivat tilastollisesti merkitseviä valitun menetelmän mukaisesti.
Tärkein vertailtava mittari oli “konversioprosentti” – hakua käyttävien asiakkaiden konversioprosentti.
Testien arvioinnin jälkeen havaitsimme, että alkuperäiseen hakuversioon verrattuna Luigi’s Box Search oli todistetusti parempi verkkokaupan molemmilla kieliversioilla.
Toinen mielenkiintoinen tieto on, että ratkaisumme eliminoi virheelliset tulokset ja tuloksettomat haut joissakin kategorioissa. Luigi’s Box voi olla luotettava vastaus, jos ratkaiset samankaltaista osuvuuteen liittyvää ongelmaa.
Yhteenveto
Valitut mittarit osoittivat, että Luigi’s Boxin käyttämä tekoäly ja koneoppiminen voivat nostaa konversioprosenttia, tässä tapauksessa 14–19 %. Segmentistä ja haun tilasta riippuen ero konversioprosentissa voi olla vieläkin suurempi. Konversioprosentin nousun myötä tietenkin myös myynti kasvoi – mikä onkin toivottu tulos. Tällaisten testitulosten jälkeen ei ole yllättävää, että Datart ottaa käyttöön Luigi’s Box Searchin sekä haku- että pikahakutyökalunaan molemmissa testatuissa verkkokaupoissaan.
Tämä esimerkki osoittaa selvästi, että työkalumme vuosien tutkimuksella ja kehityksellä on korkea lisäarvo asiakkaalle.
