Optimāli izlūkošanas mākonis: kā izmantot statistikas dzinēju, lai A/B pārbaudītu gudrāk un ātrāk

Optimizely Stats Engine un A/B testēšanas stratēģijas

Ja vēlaties palaist eksperimentālo programmu, lai palīdzētu jūsu biznesam pārbaudīt un mācīties, iespējams, jūs to izmantojat Optimāli izlūkošanas mākonis - vai vismaz esi uz to paskatījies. Optimizely ir viens no visspēcīgākajiem spēles rīkiem, taču, tāpat kā jebkurš šāds rīks, varat to izmantot nepareizi, ja nesaprotat, kā tas darbojas. 

Kas padara Optimizely tik spēcīgu? Tās funkciju kopas pamatā ir visinformētākais un intuitīvākais statistikas dzinējs trešās puses rīkā, kas ļauj vairāk koncentrēties uz svarīgu testu tiešraidi-neraizējoties, ka nepareizi interpretējat savus rezultātus. 

Līdzīgi kā tradicionāls akls pētījums medicīnā, A / B pārbaude nejauši parādīs atšķirīgu ārstēšana no jūsu vietnes dažādiem lietotājiem, lai pēc tam salīdzinātu katras ārstēšanas efektivitāti. 

Statistika palīdz mums izdarīt secinājumus par to, cik efektīva šī ārstēšana var būt ilgtermiņā. 

Lielākā daļa A/B pārbaudes rīku balstās uz vienu no diviem statistisko secinājumu veidiem: bieža vai Bayesian statistika. Katrai skolai ir dažādi plusi un mīnusi - Biežajai statistikai ir jānosaka izlases lielums pirms eksperimenta veikšanas, un Bayesian statistika galvenokārt rūpējas par labu virziena lēmumu pieņemšanu, nevis konkrēta skaitļa ietekmi, lai minētu divus piemērus. Optimizely lielvalsts ir tas, ka tas ir vienīgais instruments, kas šodien tirgū tiek izmantots labākais no abām pasaulēm pieeju.

Gala rezultāts? Optimizācija ļauj lietotājiem ātrāk, uzticamāk un intuitīvāk veikt eksperimentus.

Tomēr, lai to pilnībā izmantotu, ir svarīgi saprast, kas notiek aizkulisēs. Šeit ir 5 ieskati un stratēģijas, kas ļaus jums izmantot Optimizely iespējas kā profesionālis.

1. stratēģija: Saprotiet, ka ne visi rādītāji ir vienādi

Lielākajā daļā testēšanas rīku bieži tiek ignorēta problēma - jo vairāk metrikas pievienojat un izsekojat testa ietvaros, jo lielāka iespēja, ka nejaušas nejaušības dēļ redzēsit nepareizus secinājumus (statistikā to sauc par “vairāku testēšanas problēmu”). ”). Lai saglabātu savu rezultātu ticamību, Optimizely izmanto virkni kontroles un labojumu, lai iespējami mazinātu to iespējamību. 

Šīm vadīklām un labojumiem ir divas sekas, kad dodaties iestatīt testus pakalpojumā Optimizely. Pirmkārt, metrika, kuru esat norādījis kā savu Primārā metrika visātrāk sasniegs statistisko nozīmīgumu, visas pārējās lietas nemainīgas. Otrkārt, jo vairāk metrikas pievienosit eksperimentam, jo ​​ilgāk būs nepieciešami jaunākie rādītāji, lai sasniegtu statistisko nozīmīgumu.

Plānojot eksperimentu, pārliecinieties, ka zināt, kurš rādītājs būs jūsu patiesie ziemeļi lēmumu pieņemšanas procesā, un padariet to par savu primāro rādītāju. Pēc tam saglabājiet pārējo metrikas sarakstu vienkāršu, noņemot visu, kas ir pārāk lieks vai pieskarams.

2. stratēģija: Izveidojiet savus pielāgotos atribūtus

Optimizely lieliski palīdz piedāvāt vairākus interesantus un noderīgus veidus, kā segmentēt eksperimenta rezultātus. Piemēram, varat pārbaudīt, vai noteiktas ārstēšanas metodes darbojas labāk, salīdzinot ar galddatoriem un mobilajām ierīcēm, vai novērot atšķirības starp datplūsmas avotiem. Tomēr, kad jūsu eksperimentu programma nobriest, jūs ātri vēlēsities jaunus segmentus-tie var būt raksturīgi jūsu lietošanas gadījumam, piemēram, segmenti vienreizējiem un abonementa pirkumiem, vai vispārīgi kā “jauni un atgriežas apmeklētāji” (kas atklāti sakot, mēs joprojām nevaram saprast, kāpēc tas nav paredzēts kastē).

Labā ziņa ir tā, ka, izmantojot Optimizely projekta Javascript lauku, inženieri, kas pārzina Optimizely, var izveidot neierobežotu skaitu interesantu pielāgotu atribūtu, kuriem apmeklētājus var piešķirt un segmentēt. Uzņēmumā Cro Metrics mēs esam izveidojuši vairākus krājumu moduļus (piemēram, “jauni un atgriežas apmeklētāji”), kurus mēs instalējam visiem mūsu klientiem, izmantojot viņu projekta Javascript. Šīs spējas izmantošana ir galvenā atšķirība starp nobriedušām komandām, kurām ir piemēroti tehniskie resursi, lai palīdzētu tām izpildīt, un komandām, kuras cenšas realizēt visu eksperimentu potenciālu.

3. stratēģija: Izpētiet Optimizely statistikas paātrinātāju

Viena bieži pārmērīga pārbaudes rīka iezīme ir iespēja izmantot “daudzroku bandītus”-mašīnmācīšanās algoritma veidu, kas eksperimenta laikā dinamiski mainās, kur jūsu datplūsma tiek piešķirta, lai nosūtītu tik daudz apmeklētāju uz “uzvarētāju” variācija pēc iespējas. Problēma ar daudzroku bandītiem ir tāda, ka viņu rezultāti nav uzticami ilgtermiņa darbības rādītāji, tāpēc šāda veida eksperimentu izmantošanas gadījums ir ierobežots ar gadījumiem, kas ir atkarīgi no laika, piemēram, pārdošanas veicināšanas.

Tomēr optimāli ir pieejams cita veida bandītu algoritms, kas pieejams lietotājiem ar augstākiem plāniem - statistikas paātrinātājs (tagad Bandītu iekšpusē pazīstams kā opcija “Paātrināt mācības”). Šajā iestatījumā tā vietā, lai mēģinātu dinamiski sadalīt trafiku visaugstākās veiktspējas variantam, Optimizely dinamiski sadala trafiku variantiem, kas visdrīzāk sasniegs statistisko nozīmīgumu. Tādā veidā jūs varat mācīties ātrāk un saglabāt tradicionālo A/B testu rezultātu atkārtojamību.

4. stratēģija: pievienojiet emocijzīmes metrikas nosaukumiem

No pirmā acu uzmetiena šī ideja, iespējams, izklausās nevietā, pat neprātīga. Tomēr galvenais aspekts, lai pārliecinātos, ka lasāt pareizos eksperimenta rezultātus, sākas ar pārliecināšanos, ka jūsu auditorija saprot šo jautājumu. 

Dažreiz, neraugoties uz mūsu centieniem, metrikas nosaukumi var kļūt mulsinoši (pagaidiet - vai šis rādītājs tiek aktivizēts, kad pasūtījums tiek pieņemts vai kad lietotājs nokļūst pateicības lapā?), Vai arī eksperimentā ir tik daudz metrikas, ka rezultāti tiek ritināti uz augšu un uz leju lapa noved pie pilnīgas kognitīvās pārslodzes.

Ja pievienojat emocijzīmes metrikas nosaukumiem (mērķi, zaļas atzīmes, pat liela naudas soma varētu darboties), lapas var būt daudz vieglāk skenējamas. 

Uzticieties mums - rezultātu nolasīšana būs daudz vieglāka.

5. stratēģija: Pārdomājiet savu statistiskās nozīmes līmeni

Rezultāti tiek uzskatīti par pārliecinošiem Optimizely eksperimenta kontekstā, kad tie ir sasniegti statistiskā nozīmība. Statistiskā nozīmība ir grūts matemātisks termins, taču būtībā tā ir varbūtība, ka jūsu novērojumi ir reālas atšķirības starp divām populācijām rezultāts, nevis tikai nejauša iespēja. 

Optimizely ziņotie statistiskās nozīmības līmeņi ir “vienmēr derīgi”, pateicoties matemātiskajam jēdzienam secīga pārbaude - tas patiesībā padara tos daudz uzticamākus par citiem testēšanas rīkiem, kas, ja tos lasāt pārāk ātri, ir pakļauti visādām “skatīšanās” problēmām.

Ir vērts padomāt, kādu statistiskās nozīmības līmeni jūs uzskatāt par svarīgu jūsu testēšanas programmai. Lai gan 95% ir zinātniskās aprindas, mēs pārbaudām vietņu izmaiņas, nevis vakcīnas. Vēl viena izplatīta izvēle eksperimentālajā pasaulē: 90%. Bet vai esat gatavs pieņemt nedaudz lielāku nenoteiktību, lai ātrāk veiktu eksperimentus un pārbaudītu vairāk ideju? Vai jūs varētu izmantot 85% vai pat 80% statistisko nozīmīgumu? Apzināta riska un atlīdzības bilances izmantošana laika gaitā var izmaksāt eksponenciālas dividendes, tāpēc rūpīgi pārdomājiet to.

Lasiet vairāk par Optimizely Intelligence Cloud

Šie pieci ātrie principi un ieskati būs neticami noderīgi, lai tos paturētu prātā, lietojot Optimizely. Tāpat kā ar jebkuru rīku, tas nozīmē, ka jums ir laba izpratne par visiem pielāgojumiem aizkulisēs, lai jūs varētu pārliecināties, ka rīku izmantojat efektīvi un lietderīgi. Izmantojot šīs izpratnes, jūs varat iegūt vajadzīgos uzticamos rezultātus, kad tie jums nepieciešami. 

Ko jūs domājat?

Šī vietne izmanto Akismet, lai samazinātu surogātpastu. Uzziniet, kā tiek apstrādāts jūsu komentārs.