Et af de fine aspekter ved online-mediet er muligheden for at lære, hvad der virker. Der er forskellige test-metoder, man kan anvende på et site. Det bliver et levende laboratorium, hvor små og store ændringer kan testes her og nu.

Det er noget sværere at teste effekten af tv-reklamer, annoncer i aviser og ugeblade, selv om det også er en industri i sig selv.

Online anvender man generelt simple tests, som kaldes A/B Split Testing, og en mere kompleks testmetode kendt som Multi-variate Test.

A/B Split Testing

Princippet er at lave to varianter af den samme side. Den ene variant viser et billede af en hund, den anden af en kat. Hvilken variant virker bedst?

Idéen er, at flere varianter af samme indhold kan testes mod hinanden for at finde den variant, der virker bedst.

For at lave effektmålinger skal man først opsætte "conversion goals". Hvad er det, vi gerne vil have læserne til at gøre? Det kan være at købe noget, at downloade produktark eller at tilmelde sig et nyhedsbrev.

Effektmålingen er simpelthen at se, hvor stor procentdel af visninger der kan konverteres til vores conversion goals. Jo større conversion rate, des bedre.

En annonce på Google Adwords kan for eksempel laves i to-fem varianter. Efter 1.500 visninger af hver annonce er der et fint statistisk grundlag for at vælge den annonce, der fungerer bedst.

Derefter kan man lave fire nye varianter og teste dem mod den bedst fungerende annonce - og blive ved, indtil resultatet næppe kan optimeres mere.

A/B Split Testing er enkelt at lave, men man skal overveje fremgangsmåden. Det kan jo være, at alle varianter er dårligere end det eksisterende indhold.

Derfor kan man teste på et mindre udvalg af læserne. På webserveren kan man omdirigere for eksempel 10% af trafikken til en anden variant, hvor man gennemfører testen. Dette princip er kendt som redirecting.

Fordelen er, at et uheldigt eksperiment kun får begrænset effekt. Til gengæld er det lidt mere bøvlet at have to websites. Hvis trafikmængden er stor nok, er det alligevel den rigtige fremgangsmåde.

Multi-variate Testing

Nu bliver det lidt mere kompliceret. Lad os sige, at vi vil teste forskellige overskrifter på en side. Og billeder. Og forskellige versioner af brødteksten. Alt sammen på samme tid, selvfølgelig.

Hvis vi for eksempel har:

• 2 overskrifter
• 3 billeder
• 2 tekster

…så har vi 2 × 3 × 2 = 12 varianter.

Vi har også 5 conversion goals, så I alt har vi 60 mulige conversions. Vi kan ikke vide noget om effekten, før alle conversions gennemføres, og for at få en statistisk signifikans skal vi en del højere op.

Multi-variate testing kan fortælle, hvilken version der med sikkerhed vinder over de øvrige, men det kræver masser af trafik og mange conversions.

Nu kan man hurtigt fjerne de kombinationer, som helt sikkert ikke vinder, så efterhånden som der opsamles data nok, kan man luge ud i de ikke-fungerende varianter og dermed øge trafikken på de tilbageværende.

Har man et website, som er stort nok, er det ikke til at komme udenom multi-variate testing. Det er en effektiv metode til at bestemme, hvad der virker bedst. Det er ikke et spørgsmål om smag.

Målingen sker som en sammenligning mod den originale version. Et resultat på 72% fortæller altså, at denne version laver conversions 72% bedre end den oprindelige side.

Når det tager overhånd

Det er en god idé at måle effekt, og det er en god idé at teste i løbet af udviklingsprocessen såvel som bagefter. Det gør vi selv.

Alligevel kan et stort fokus på måling også have en bagside.

Ofte bliver der brugt store ressourcer på at teste forskellige varianter - og dermed glemmer man (eller har ikke tid til) at udvikle en helt alternativ metode, som kan være et kvantespring bedre.

Vi kunne teste 120 forskellige hestevogne mod hinanden, men det ville jo ikke opfinde bilen.

Google er kendt som et sted, hvor der testes intensivt. Meget software fra Google har dårlige brugergrænseflader og burde være lavet anderledes (ja, det tør jeg godt sige højt).

En designer hos Google har netop forladt sit job af denne grund. Jeg er enig med Google i, at det er godt at teste igen, igen, igen.

Omvendt forstår jeg også godt den stakkels mand, hvis kreativitet blev slået ihjel af at skulle argumentere for hver eneste pixel.