Při testování reklam je důležité poznat, když už lze jednu reklamu prohlásit za významně horší a nahradit ji reklamou novou. Ukážeme vám, jak to spočítat, na co si dát pozor, přidáme úsměvný příklad ze života a odkaz na online audit, který za vás v účtu všechno, o čem si píšeme, udělá automaticky.
1. Co se testuje
Nejčastější metrikou, která se u reklam testuje, je proklikovost, tedy CTR. CTR se spočítá jako podíl počtu kliknutí ku počtu zobrazení, zobrazuje se pak v procentech, to jest CTR násobené stem. Tedy ještě jednou, CTR = kliknutí / zobrazení. U reklam lze testovat i další metriky, má to však svá úskalí, proto nyní zůstaneme u CTR.
Více informací o tom, jak realizovat testování reklam – takřka krok za krokem – naleznete ve starším článku. Teď již předpokládáme, že váš experiment je v plném proudu a chcete zjistit, jestli jej lze ukončit a jak dopadl.
2. Zdánlivě různé může být stejné. A obráceně.
I při rovnoměrném střídání dvou zcela identických reklam nedostaneme zcela stejné výsledky. Kliknutí na reklamu totiž podléhá celé řadě vlivů. O tom, zda dojde ke kliknutí, rozhodují kromě textu reklamy další faktory, jako osoba uživatele, text dotazu, klíčové slovo, pozice reklamy, přítomnost konkurence, …
Než lze tedy jednu reklamu prohlásit za prokazatelně horší než je reklama druhá a nahradit ji novou, je třeba čekat na dostatečný počet zobrazení. Onen tajemný “počet zobrazení” by měl způsobit, že zmíněné vedlejší faktory se mezi obě testované reklamy rovnoměrně rozloží a budou mít na výsledek testu jen malý vliv. Rozhodující pak bude jen samotný text reklam. Jasná věc.
Takže kdy to tedy přesně je? Po kolika zobrazeních nebo kliknutích se to dá rozhodnout? Jak spočítat, že se reklamy liší “dostatečně” a jejich CTR není stejné?
3. Vyhodnocení pomocí statistického testu
Milovníci statistiky nechť laskavě zavřou oči a znalci výhradně věd přírodních nechť si k tomu přečtou knihu Zrádná nahodilost od Nassima Nicholase Taleba. A my ostatní jdeme testovat :-) .
Jako snad u všeho i při testování reklam existuje více možných přístupů včetně statistických testů. Protože zdravý rozum a pověstná Occamova břitva velí vybrat v případě více možných srovnatelných řešení to nejjednodušší, zařídili jsme se podle toho a používáme oboustranný test binomického rozložení srovnávající podobnost dvou vzorků (two sample test for binomial distribution). Srozumitelně řečeno, výsledek testu nám řekne, s jakou pravděpodobností se skutečné CTR testovaných reklam doopravdy liší (pozorovaný rozdíl není jen náhoda). Test neříká, která z reklam je ta lepší, ale věřím, že to poznáte :-)
Co k vyhodnocení testu potřebujeme vědět? Níže uvádíme návod bezohledně ořezaný na absolutní minimum. Pro naše účely je však zcela dostačující, takže začněme:
- Pro každou z testovaných reklam A a B zjistěte počet kliknutí klikA, klikB a počet zobrazení zobrA, zobrB.
- Zkontrolujte, že počet kliknutí u obou reklam je minimálně 6.
- Dále doporučujeme: i když platí bod 2., zkuste vydržet do 25 kliknutí nebo alespoň 200 zobrazení.
- Už se to nedá odkládat, jde se na vzoreček. Máme dvě reklamy A a B. U každé reklamy známe počet kliknutí a počet zobrazení, z nichž spočítáme CTRA = klikA/zobrA a CTRB = klikB / zobrB. Dále pak celkovou CTR = (klikA+klikB) / (zobrA + zobrB). Následuje výpočet testovacího kritéria “z”:
- Teď budeme porovnávat vypočítané kritérium “z” s několika hodnotami. A když bude “z” větší než tyto hodnoty, budeme mít radost. Vůbec, čím větší je absolutní hodnota “z”, tím větší je naše radost, protože je pravděpodobnější, že se CTR reklam ve skutečnosti opravdu liší a horší reklamy se můžeme zbavit.
- Nejdříve “z” nahradíme jeho absolutní hodnotou. Vyšlo-li záporné, jen změníme jeho znaménko na plus.
- A teď to nejdůležitější. Je-li nyní “z” větší než
- 1,96 – pak s pravděpodobností 0,95 se skutečné CTR reklam liší
- 2,57 – pak s pravděpodobností 0,99 se skutečné CTR reklam liší (doporučujeme)
- 3,29 – pak s pravděpodobností 0,999 se skutečné CTR reklam liší
Sláva. Máme výsledky statistického testu, je na čase začít odstraňovat reklamy. Nebo ne?
4. Pozor, výsledek statistického testu neříká vše…
Trošku straším, většinou je rozhodnutí založené na statistickém testování jednoduché a nekomplikované, nicméně použít jen výsledek testu velmi nedoporučujeme.
Vždy zkontrolujte, jestli náhodou reklama s horším CTR nepřináší větší obrat nebo nemá lepší konverzní poměr. To může nastat např. při situaci, kdy jedna reklama sice přitáhne více kliknutí, ale po kliknutí na ni uživatelé nedostávají to, co očekávali a nekonvertují. Např. “sleva 90% na vše” jistě přitáhne více kliknutí než “vše skladem”, ale pokud v e-shopu žádná sleva ve skutečnosti není…
5. Příklad ze života
Během psaní tohoto článku jsem ladil náš online audit a vyskočilo mi v rámci testování výkonů reklam upozornění na jednu sestavu. Vyklubal se z toho… no prostě příklad ze života.
Je to takový vedlejší efekt testování, ale s tak zásadním dopadem na zisk, že jsem se rozhodl o něj podělit. Má ve finále docela půvabnou pointu (tedy pro nás, ne pro majitele účtu… ).
Část první
Podívejte se na následující obrázek:
Vidíme dvě reklamy mající podobný podíl zobrazení. Ukazatel H/C (jaký obrat vygeneruje jedna koruna investovaná do reklamy) naznačuje, že druhá reklama je výrazně lepší. Druhá reklama totiž za investovanou 1 Kč vygeneruje obrat 17,32 Kč, první jen 13,77 Kč. Že bychom si tedy nechali jen tu druhou reklamu? Co vy na to?
Část druhá
A teď to přijde.
Prásk ho – CTR (jehož testování nás do této sestavy přivedlo) říká pravý opak než H/C – druhá reklama je dramaticky horší než první. A bude hůř! Když se podíváme blíže, vidíme, že:
- H/C je skvělý ukazatel výkonu, ale je relativní; bez jednoho z údajů “cena” nebo “hodnota” (tedy obrat) nevíme, jak se na výkonu účtu sledovaný prvek podílí; v tomto případě ukazatel H/C ukázkově klamal (pokud by byl použit sám o sobě).
- Google považuje druhou reklamu za výrazně horší; přestože mají reklamy stejný prostor a dostatečný počet zobrazení, průměrná pozice první reklamy je výrazně lepší (2,1) než pozice reklamy druhé (3,6).
- Ale hlavně přicházíme skoro o 50% obratu; kdyby se zobrazovala jen první reklama, možná byl obrat až dvojnásobný (druhá reklama spotřebovala polovinu zobrazení, ale jak neefektivně!); podívejte se na počet konverzí a jejich hodnotu;
- Akce: druhou reklamu obratem pozastavíme.
U všech čertů, co za texty bylo tedy v těch reklamách? Texty vám ukázat nemůžeme, nicméně … Druhá reklama lákala na slevovou akci platnou do 24.12.2016. Jenže v únoru 2017… Jedna sestava, jedna chybička, a jen za únor až 30 tisíc obratu v nenávratnu…
6. Závěrem
Statistické vyhodnocení testování reklam vám zjednoduší život. Výsledek testu za vás rozhodne, jestli už se CTR reklam liší natolik, že má cenu se jimi zbývat. Ale než budete horší reklamu mazat, vždy mějte na paměti, že CTR samo o sobě jen testuje, jak moc je reklama přitažlivá pro klikuchtivého uživatele, nikoliv to, kolik vám reklama ve skutečnosti vydělává. Hlídejte si obojí.
