AB testování v online marketingu je metoda, při které se porovnává výkon dvou (někdy i více) reklam nebo dvou verzí internetové stránky s cílem zjistit, která z nich má lepší výkon. Teorie je taková, že pokud se v průběhu experimentu uživatelům náhodně zobrazují dvě varianty v poměru 50/50, lze při správně provedeném testu a správně nastaveném měření zjistit, která z nich je úspěšnější.
Výhody AB testování
Pomocí AB testování se z procesu odstraní často zkreslené subjektivní názory inzerenta nebo majitele webu a o vítězné variantě rozhodují ti nejpovolanější – potenciální zákazníci. Nejčastěji se testuje konverzní poměr, v případě reklam má smysl testovat i míru prokliku CTR a další statistiky.
Metoda AB testu
Na začátku každého AB testu by měla být informovaná hypotéza. Zkoušet nahodile měnit texty reklamy nebo prvky na webu a doufat, že některý z nich si povede výrazně lépe, není AB testování. Každému AB testu by měla předcházet analýza statistik a chování uživatelů, na základě které se vytvoří hypotéza, jejíž pravdivost se potom ověří AB testem.
Chyby a možná zkreslení AB testu
Přestože AB testování je výborný pomocník, v případě nesprávně provedeného testování může dojít ke zkresleným výsledkům. Chyby při AB testování:
- Nedostatečné statistiky. Jedná se vůbec o nejčastější chybu při AB testování. Pokud má web nebo reklama jednotky konverzí za měsíc, je nemožné dojít ke statisticky spolehlivému závěru a výsledek takového AB testu se příliš neliší od náhodného výběru.
- Testování variant v odlišných podmínkách. Například zobrazovat jednu variantu první týden a druhou variantu druhý týden. Na první pohled dostaly obě varianty podobný prostor, ale chování uživatelů může být v obou časových úsecích zcela odlišné. Platí, že statistiky variant je potřeba porovnávat pro stejný časový úsek.
- Testování nepatrných změn. I dvě zcela shodné varianty budou mít v AB testu mírně odlišné statistiky. Proto nepatrné změny nikdy nepovedou ke statisticky spolehlivému výsledku, takové AB testování je ztráta času.
- Testování příliš velkých změn. Testovat dvě zcela odlišné stránky sice pomůže najít vítěze, ale není v tomto případě možné zjistit, která konkrétní změna u uživatelů zabodovala. Líbivější design, poutavější nadpisy nebo odlišné barvy? Lepší je provést jednu změnu a k další přistoupit až poté, kdy jsou známy výsledky prvního AB testu.
- Příliš krátké testování. I při dostatku dat je většinou potřeba nechat test běžet alespoň 7 dnů, lépe 14 dnů, protože chování uživatelů bude v jednotlivé dny týdne často odlišné.
- Příliš dlouhé testování. Naopak test, který by trval několik měsíců, je nespolehlivý ze zcela stejného důvodu. Online prostor je příliš dynamický a pokud si na základě statistik po půl roce potvrdím nějakou hypotézu, mohlo se chování uživatelů zatím natolik změnit, že výsledek již není spolehlivý. Téměř ve všech odvětvích se zákazníci chovají úplně jinak v červenci a v listopadu.
- Testování, jen aby se testovalo. Někteří marketéři mají pocit, že protože se o AB testování hodně mluví, je neprofesionální netestovat. Ve skutečnosti řada malých a středních firem nikdy nemá tak velkou návštěvnost, aby mělo smysl se AB testováním vůbec zabývat. V takovém případě je daleko lepší podrobit web nebo reklamu kritické analýze, odstranit viditelné chyby a energii věnovat jiným věcem, než statisticky nespolehlivému AB testování.
