Optimize Intelligence Cloud: Kiel Uzi Stats-Motoron Por A / B-Testi Pli Lerte, Kaj Pli Rapide

Se vi celas lanĉi eksperimentan programon por helpi vian komercan teston kaj lernadon, verŝajne vi uzas Optimize Intelligence Cloud - aŭ vi almenaŭ rigardis ĝin. Optimize estas unu el la plej potencaj iloj en la ludo, sed kiel tia ilo, vi povus uzi ĝin malĝuste se vi ne komprenas kiel ĝi funkcias. 

Kio igas Optimizely tiel potenca? La kerno de ĝia trajtaro kuŝas la plej informita kaj intuicia statistika motoro en tria ilo, kiu ebligas vin pli fokusigi vivajn gravajn provojn - sen neceso zorgi, ke vi misinterpretas viajn rezultojn. 

Tre kiel tradicia blinda studo pri medicino, A / B testado hazarde montros malsamajn traktoj de via retejo al malsamaj uzantoj por tiam kompari la efikecon de ĉiu traktado. 

Statistikoj tiam helpas nin fari konkludojn pri kiom efika povas esti tiu kuracado longtempe. 

Plej multaj A / B-testiloj iloj dependas de unu el du specoj de statistika konkludo: ofteca aŭ bajeza statistiko. Ĉiu lernejo havas diversajn avantaĝojn kaj malavantaĝojn - Oftaj statistikoj postulas ripari specimenan grandecon antaŭ ol fari eksperimenton, kaj Bajeza statistiko ĉefe zorgas pri farado de bonaj direktaj decidoj prefere ol specifado de iu ajn figuro por efiko, por nomi du ekzemplojn. La superpotenco de Optimizely estas, ke ĝi estas la sola ilo sur la merkato hodiaŭ por preni plej bona el ambaŭ mondoj alproksimiĝo

La fina rezulto? Optimize ebligas al uzantoj fari eksperimentojn pli rapide, pli fidinde kaj pli intuicie.

Por plene utiligi tion, tamen gravas kompreni, kio okazas malantaŭ la kulisoj. Jen 5 enrigardoj kaj strategioj, kiuj igos vin uzi la kapablojn de Optimizely kiel profesiulo.

Strategio # 1: Komprenu Ke Ne Ĉiuj Metrikoj Kreas Egale

En plej multaj testiloj, ofte preteratentata afero estas, ke ju pli multaj metrikoj vi aldonas kaj spuras kiel parto de via testo, des pli verŝajne vi vidos iujn malĝustajn konkludojn pro hazarda ŝanco (en statistikoj, ĉi tio nomiĝas "multobla testoproblemo ”). Por konservi siajn rezultojn fidindaj, Optimizely uzas serion de kontroloj kaj korektoj por teni la probablojn, ke tio okazu kiel eble plej malalte. 

Tiuj kontroloj kaj korektoj havas du implicojn kiam vi starigas testojn en Optimizely. Unue, la metriko, kiun vi nomumas via Primara Metriko atingos statistikan signifon plej rapide, ĉiuj aliaj aferoj konstantaj. Due, ju pli multaj metrikoj vi aldonos al eksperimento, des pli longas viaj postaj metrikoj por atingi statistikan signifon.

Kiam vi planas eksperimenton, certigu, ke vi scias, kiu metriko estos via Vera Nordo en via decida procezo, faru tion via Ĉefa Metriko. Poste restigu malgrandan la reston de via metrika listo forigante ĉion tro superfluan aŭ tanĝantan.

Strategio # 2: Konstruu Viajn Proprajn Proprajn Atributojn

Optimize bonege donas al vi plurajn interesajn kaj helpajn manierojn segmenti viajn eksperimentajn rezultojn. Ekzemple, vi povas ekzameni ĉu iuj traktadoj rezultas pli bone sur labortablo kontraŭ poŝtelefono, aŭ observi diferencojn inter trafikaj fontoj. Dum via eksperimenta programo maturiĝos, vi rapide deziros novajn segmentojn - ĉi tiuj povas esti specifaj por via uzokazo, kiel segmentoj por unufoje kontraŭ abonaj aĉetoj, aŭ tiel ĝeneralaj kiel "novaj kontraŭ revenantaj vizitantoj" (kiuj, sincere, ni ankoraŭ ne povas kompreni kial tio ne estas provizita el la skatolo).

La bona novaĵo estas, ke per la kampo Projekto Ĝavaskripto de Optimizely, inĝenieroj konataj kun Optimizely povas krei multajn interesajn proprajn atributojn, al kiuj vizitantoj povas esti asignitaj kaj segmentitaj. Ĉe Cro Metrics, ni konstruis kelkajn provizajn modulojn (kiel "novaj kontraŭ revenantaj vizitantoj"), kiujn ni instalas por ĉiuj niaj klientoj per ilia Projekta Ĝavaskripto. Utiligi ĉi tiun kapablon estas ŝlosila diferencilo inter maturaj teamoj, kiuj havas la taŭgajn teknikajn rimedojn por helpi ilin plenumi, kaj teamoj, kiuj luktas por realigi la plenan potencialon de eksperimentado.

Strategio # 3: Esploru Stats Accelerator de Optimizely

Unu ofte trostreĉita elprov-ilo estas la kapablo uzi "multarmajn banditojn", specon de maŝina lernado-algoritmo, kiu dinamike ŝanĝiĝas, kie via trafiko estas asignita dum eksperimento, por sendi tiom da vizitantoj al la "venkanto" variado kiel eble. La afero kun plurarmilaj banditoj estas, ke iliaj rezultoj ne estas fidindaj indikiloj de longtempa agado, do la uzokazo por ĉi tiuj specoj de eksperimentoj limiĝas al tempodilataj kazoj kiel vendaj reklamoj.

Plej bone tamen havas alian tipon de bandita algoritmo havebla al uzantoj en pli altaj planoj - Stats Accelerator (nun konata kiel la opcio "Akceli Lernojn" ene de Banditoj). En ĉi tiu aranĝo, anstataŭ provi dinamike asigni trafikon al la plej elfara variado, Optimizely dinamike asignas trafikon al la variaĵoj plej probable atingi statistikan signifon plej rapide. Tiel vi povas lerni pli rapide kaj konservi la reprodukteblecon de tradiciaj provoj de A / B.

Strategio # 4: Aldonu Emojiojn al Viaj Metrikaj Nomoj

Unuavide, ĉi tiu ideo probable sonas maloportune, eĉ sensenca. Tamen ŝlosila aspekto certigi, ke vi legas la taŭgajn eksperimentajn rezultojn, komenciĝas certigi, ke via publiko povas kompreni la demandon. 

Foje malgraŭ niaj plej bonaj klopodoj, metrikaj nomoj povas iĝi konfuzaj (atendu - ĉu tiu metriko ekfunkcias kiam la mendo estas akceptita, aŭ kiam la uzanto trafas la dankan paĝon?), Aŭ eksperimento havas tiom multe da metrikoj, kiuj movas supren kaj malsupren la rezultojn paĝo kondukas al totala kogna troŝarĝo.

Aldonado de emojioj al viaj metrikaj nomoj (celoj, verdaj markiloj, eĉ la granda monsako povus funkcii) povas rezultigi paĝojn multe pli skaneblajn. 

Fidu nin - legi rezultojn multe pli facilos.

Strategio # 5: Rekonsideru Vian Statistikan Signifan Nivelon

Rezultoj estas konsiderataj decidaj kadre de Optimizely-eksperimento kiam ili atingis statistika signifo. Statistika signifo estas malfacila matematika termino, sed esence estas la probablo, ke viaj observoj estas la rezulto de vera diferenco inter du populacioj, kaj ne nur hazarda hazardo. 

La raportitaj statistikaj signifaj niveloj de Optimizely estas "ĉiam validaj" danke al matematika koncepto nomata sinsekva testado - ĉi tio efektive faras ilin multe pli fidindaj ol tiuj de aliaj testiloj, kiuj emas ĉiajn "kaŝrigardajn" aferojn, se vi legas ilin tro frue.

Indas pripensi, kian nivelon de statistika signifo vi opinias grava por via testprogramo. Dum 95% estas la konvencio en la scienca komunumo, ni provas ŝanĝojn de retejoj, ne vakcinoj. Alia ofta elekto en la eksperimenta mondo: 90%. Sed ĉu vi pretas akcepti iom pli da necerteco por fari eksperimentojn pli rapide kaj testi pli da ideoj? Ĉu vi povus uzi 85% aŭ eĉ 80% statistikan signifon? Esti intenca pri via risko-rekompenco-ekvilibro povas pagi eksponentajn dividendojn laŭlonge de la tempo, do pripensu ĉi tion zorge.

Legu Pli Pri Optimizely Intelligence Cloud

Ĉi tiuj kvin rapidaj principoj kaj enrigardoj estos nekredeble helpemaj memori dum uzado de Optimizely. Kiel kun iu ajn ilo, ĝi resumas certigi, ke vi bone komprenas ĉiujn malantaŭkulajn agordojn, do vi povas certigi, ke vi uzas la ilon efike kaj efike. Per ĉi tiuj komprenoj, vi povas akiri la fidindajn rezultojn, kiujn vi serĉas, kiam vi bezonas ilin.