Testování A / B - Jak zvýšit úspěšnost marketingu a přijetí uživatelů v dynamice 365

Přemýšlíte někdy nad tím, jak tech giganti jako Netflix a Twitter zůstávají před konkurencí meziročně? Vývojáři, kteří stojí za jejich testováním A / B, musí hodně zodpovědět.

Původně zveřejněno na https://daveclark.io/

Netflix dokonce testoval obrazy A / B používané pro filmové tituly, upoutal pohled svých diváků na nové filmové senzace, takže první kliknutí vedlo k tomu, že filmy sledovaly více minut a poskytovaly lepší uživatelský dojem.

Ve skutečnosti Netflix říká, že testování titulků A / B někdy vede k 20% až 30% většímu prohlížení tohoto titulu. Zdroj.

Co je tedy testování A / B? Jak z toho mohou mít výhody Dynamics 365 a Power Platform?

Úvod

Tento příspěvek začíná vysvětlením, co je testování A / B. Poté se podívá na případ použití a příběh o úspěchu od velké technologické firmy, aby pomohla ospravedlnit, proč bychom se my, jako konzultanti a vývojáři platformy Power, měli o tento nástroj starat.

Poté projdeme příklad v Dynamics 365, který již máme k dispozici, abychom pomohli zvýšit marketingový úspěch.

Nakonec uvažujeme o dalších způsobech, jak lze v Dynamics použít testování A / B k zapojení koncových uživatelů pro včasné přijetí a úspěšnost projektu a zvyšování produktivity.

Co je testování A / B?

Koncept testování A / B spočívá v vytvoření kontrolní skupiny a jedné nebo více experimentálních skupin a poskytnutí různých verzí produktu. Můžeme pak sledovat metriky proti každé skupině, například:

  • Množství dat vyplněných na formuláři Dynamics 365
  • Čas potřebný k otevření a uložení formuláře
  • Proklikejte marketingové e-maily

Jakákoli klíčová metrika, která vám pomůže rozhodnout, která verze produktu je úspěšnější.

Už jste někdy byli na setkání s požadavky, kde se zúčastněné strany neshodnou na rozvržení formuláře v aplikaci? Při testování A / B můžeme rozhodnout o změnách produktu spíše na základě údajů, než na nejhlasitější zúčastněné straně.

Příběh úspěchu v reálném životě

Ubisoft je vydavatel videoher se sídlem v Paříži. Možná jste o nich slyšeli nebo o některých jejich hrách, včetně Assassin's Creed, Far Cry a Splinter Cell od Toma Clancyho.

Uvolnění nové hry, Pro Honor, Ubisoft vytvořil dvě verze stránky „Koupit nyní“ a shromažďoval data o úspěchu každé stránky během prázdnin (říjen - prosinec 2017).

Před fází testování:

Předpokládalo se, že nákupní proces lze zjednodušit snížením potřeby posouvání na této stránce. Jak ukazuje obrázek výše, než si kupující bude muset vybrat svou preferovanou edici hry, přejděte dolů, vyberte konzoli, přejděte dolů, zadejte objednávku a zadejte platební údaje.

Po fázi testování:

Tato nová verze odstraňuje potřebu posouvání, protože všechny možnosti nákupu jsou volitelné v jednom sloupci. Porovnání testovacích dat mezi dvěma verzemi rozvržení prokázalo 12% nárůst generování olova.

Úplnou případovou studii si můžete přečíst zde. Nejdříve si ale vezměte legraci z tohoto příspěvku: testování A / B v Dynamics 365.

Testování A / B v Dynamics 365 pro marketingový úspěch

Navrhování dokonalého marketingového e-mailu může být obtížné. Možná máte několik podobných nápadů, které se vznášejí kolem předmětu e-mailu, snímků nebo formulace. Můžete být v pořádku při rozhodování, které zvolit na základě intuice nebo minulých zkušeností.

Nebo můžete použít testování A / B a zjistit, který z několika podobných návrhů má nejlepší výkon v podskupině publika. Pak pošlete úspěšného kandidáta do zbytku publika. Jak jsme viděli z dřívějších příkladů, rozhodnutí o návrhu založit na datech, spíše než na hrbole, by mohlo být chytrým krokem k zajištění úspěchu.

Příklad procházky v Dynamics 365 pro marketing

V tomto příkladu vytvoříme dvě verze marketingového e-mailu, verzi A a verzi B. Na mých marketingových e-mailech pak povolíme testovací funkci A / B v Dynamics 365 for Marketing. Uvidíme, co nám Dynamics 365 může nabídnout, pokud jde o:

  • Možnosti konfigurace testu A / B
  • Metriky výkonu
  • Zobrazení dat výsledků testu

Chcete-li vytvořit marketingový e-mail, postupujte podle této příručky společnosti Microsoft.

Tady je jedna, kterou jsem připravil dříve:

Po vytvoření marketingového e-mailu můžeme stisknout tlačítko Přidat test A / B zobrazené vlevo od pole předmětu na obrázku výše. Vyberte, chcete-li otestovat změny v těle e-mailu, od jména nebo předmětu e-mailu.

V mém příkladu „Verze B“ mírně změní znění v textu e-mailu:

Podrobné informace o konfiguraci šablon e-mailů pro testování A / B v aplikaci Dynamics naleznete v dokumentaci společnosti Microsoft zde.

Nyní jsme připraveni otestovat naše e-maily pomocí cesty se zákazníkem. Zde dokumentace společnosti Microsoft uvádí následující:

Abyste dosáhli spolehlivých výsledků testů, měli byste vždy poslat každou verzi (A a B) minimálně 100 příjemcům, než systému umožníte vybrat vítěze. Typické doporučené nastavení by použilo segment s 1000 členy (nebo větší), s testovací distribucí, která odešle verzi A na 10% segmentu, verzi B na dalších 10%, a pak pošle vítězný návrh na zbývajících 80%.

Moje cesta má jednoduše dva kroky: nejprve vybere podmnožinu mé kontaktní základny (nedávné účastníky události) a poté jim pošle marketingový e-mail, který jsem právě vytvořil.

Chcete-li použít dříve vytvořený marketingový e-mail, vyberte na cestě dlaždici s marketingovým e-mailem, poté na pravé straně vyberte vlastnosti a vyberte novou zprávu do vyhledávacího pole „Marketingová e-mailová zpráva“.

V podokně vlastností budete také moci určit distribuci testu A / B, výherní metriku a dobu trvání testu:

S tímto nakonfigurovaným mohu kliknout na 'Go Live' na příkazovém řádku. Pak hraju čekací hru! Všimněte si, že 1 den byl určen jako trvání testu. Během této doby se mohu posunout dolů na testovací datový panel

Po uplynutí doby trvání testu by měl být jasný vítěz: v tomto případě verze těla e-mailu, která získala nejvíce prokliků. Zbývajících 80% mé kontaktní základny pak může být zasláno úspěšnější verzi mého marketingového e-mailu.

Můj zkušební e-mail byl poslán pouze jedné osobě (mně) jako zkušební verze, nikoli 100 příjemců na úrovni výroby doporučených společností Microsoft. Snímek obrazovky stále ilustruje informace, které můžeme sledovat: odeslaná sazba, doručená rychlost, jedinečné otevírání a kliknutí. Podobné jako Google Analytics nebo ClickDimensions. Poznámka: ClickDimensions také podporuje testování A / B.

Co dál pro testování A / B v Dynamics 365?

V době psaní je marketing e-mailů v Dynamics 365 jediným modulem podporujícím testování A / B. Ale pokud jste četli tak daleko, musíte myslet: proč se zastavit?

Idea # 1: Analýza formulářů Dynamics 365 s Insight Insights Insights

Hypotéza: poskytováním podskupin uživatelů s různými verzemi podobného formuláře (např. Složitého formuláře zákaznického servisu) můžeme použít Azure Application Insights (AAI) k určení, která je produktivnější forma, a proto zvýšit produktivitu týmu. Tento testovací scénář A / B by fungoval takto:

  • Dvěma podskupinám týmu zákaznických služeb by byla přidělena jedinečná bezpečnostní role
  • Byly vytvořeny dva nové formuláře zákaznických služeb (případ); každý podobný, ale jeden se změnami, které předpokládáme, že budou produktivnější
  • Každý formulář je doručen do samostatné uživatelské podskupiny pomocí přístupu k řízení zabezpečení
  • AAI a analýzu využití lze použít k měření metrik výkonu uživatelů a určení, která forma je úspěšnější (produktivnější pro naše uživatele)
  • Úspěšnější formulář je poté uveden do provozu všem uživatelům v týmu zákaznických služeb

Idea # 2: Dynamics Portals with Google Optimize

Google Analytics je v současné době na většině portálů nainstalována. Pomáhá sledovat statistiky výkonu a využití toho, jak uživatelé reagují na naše portály.

Zdá se, že se méně často používá Google Optimize: nástroj od společnosti Google nabízející přístup založený na údajích, který umožňuje pochopit, jak lze na portálu neustále vylepšovat UX a vytvářet tak pro naše uživatele nejlepší zážitek. Google popisuje Optimize jako:

Optimalizace je nativně integrována s Analytics, která vám pomůže určit, které části vašeho webu je třeba vylepšit. Pomocí údajů z webu Analytics rychle a snadno identifikujte problémové oblasti a poté tyto statistiky proměňte v akci a poskytněte online zážitek, který bude pro vaše zákazníky nejlepší.

Optimalizační nástroje jsou příliš často vyhrazeny pro zvýšení marketingové výkonnosti, často zanedbávají výhody plynoucí z optimalizace forem používaných našimi koncovými uživateli. Dynamické portály se často používají jako tržiště s pokladnou, ale někdy jsou externím oknem do Dynamics 365 používaného správci.

Optimalizace Google používá testování A / B a ještě jednodušší je získat informace o tom, jak můžeme zvýšit produktivitu koncových uživatelů pomocí našich portálů. Vzhledem k této nové jednoduchosti si myslím, že je časová produktivita věnována více úvahám, pokud jde o optimalizaci, spíše než jen zaměření na marketingové zisky.

Pohyb vpřed

Rád bych prozkoumal výše uvedené body v budoucích příspěvcích k článkům, prozatím však budou muset žít jako nápady. Možná máte své vlastní nápady, jak by bylo možné použít testování A / B ke zvýšení uživatelské zkušenosti s aplikacemi Power Platform a Dynamics 365?

Závěr

Viděli jsme, že testování A / B je ve velké míře využíváno technologickými společnostmi s dostatečně velkým publikem, aby se test rozdělil. Dynamics 365 pro marketing využívá testování A / B pro týmy s velkým cílovým publikem potenciálních zákazníků nebo kontaktů. Nové e-maily s marketingovými kampaněmi jsou nejprve vyzkoušeny proti podskupinám příjemců, analyzovány metriky úspěchu a výherní rozložení e-mailů vybráno k odeslání zbývajícímu publiku. To umožňuje, aby rozhodnutí o návrhu e-mailového marketingu byla založena spíše na empirických důkazech než na intuici.

Testování A / B lze použít ke zlepšení uživatelské zkušenosti s Dynamics 365, za předpokladu, že existuje dostatečně velká skupina uživatelů, se kterými je možné testovat. Statistiky aplikací Google Analytics a Azure měří klíčové ukazatele výkonu změn produktu Dynamics, jako je rozvržení formulářů a toky procesů. To může představovat přístup založený na důkazech, který určuje, které změny produktů jsou pro naše uživatele produktivnější, a proto by měly být zaváděny do celé naší uživatelské základny.